JP2012195812A - Face detection device, face detection method, and program - Google Patents

Face detection device, face detection method, and program Download PDF

Info

Publication number
JP2012195812A
JP2012195812A JP2011058969A JP2011058969A JP2012195812A JP 2012195812 A JP2012195812 A JP 2012195812A JP 2011058969 A JP2011058969 A JP 2011058969A JP 2011058969 A JP2011058969 A JP 2011058969A JP 2012195812 A JP2012195812 A JP 2012195812A
Authority
JP
Japan
Prior art keywords
face
unit
area
personal information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011058969A
Other languages
Japanese (ja)
Inventor
Naoaki Ohira
直昭 大平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Saitama Ltd
Original Assignee
NEC Saitama Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Saitama Ltd filed Critical NEC Saitama Ltd
Priority to JP2011058969A priority Critical patent/JP2012195812A/en
Publication of JP2012195812A publication Critical patent/JP2012195812A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To shorten time until a face is detected.SOLUTION: The face detection device which determines whether a face is included in an image is provided with: a region determination part 104 which determines a region around designated coordinates; a face detection part 105 which detects the face from the region determined by the region determination part; and a region expansion part 106 which when the face detection part fails in the face detection, expands the region determined by the region determination part. Therefore, the face detection device does not have to scan the entire image in the determination of the presence or absence of the face, thereby shortening the time until the face is detected.

Description

本発明は、画像中に顔が存在するか否かを判定する顔検出装置、顔検出方法、及びプログラムに関する。   The present invention relates to a face detection apparatus, a face detection method, and a program for determining whether or not a face is present in an image.

携帯電話において簡易に呼を発信する方法として、専用のダイヤルボタンや短縮ダイヤルボタンに、発信先の相手の電話番号を登録しておく方法がある。しかしながら、短縮ダイヤルボタンに電話番号を登録しておくことは面倒な作業であり、また、どの短縮ダイヤルがどの発信先に対応しているかが感覚的に分かりにくく誤発信を招いてしまうおそれがあった。また、操作の手順が少ないため、誤って短縮ダイヤルボタンを押下してしまうことにより誤発信してしまうおそれもあった。   As a method for easily transmitting a call on a mobile phone, there is a method of registering a telephone number of a destination partner in a dedicated dial button or speed dial button. However, registering a phone number in the speed dial button is a tedious task, and it is difficult to understand which speed dial corresponds to which destination, which may lead to erroneous calls. It was. In addition, since there are few operation procedures, there is a possibility that an erroneous transmission is caused by pressing the speed dial button by mistake.

そこで、特許文献1や特許文献2には、顔認証機能を用いた発信制御方法が開示されている。具体的には、特許文献1や特許文献2に記載の電話端末は、発信先の相手の顔情報と電話番号とを関連付けて記憶しておく。そして、当該電話端末は、利用者によって選択された画像に対して顔認識処理を行い、画像から検出した顔情報と一致する顔情報に関連付けられた電話番号を読み出す。これにより、利用者は、感覚的に発信先の相手を確認することができ、また画像を選択するという簡易な動作で呼を発信することができる。   Therefore, Patent Literature 1 and Patent Literature 2 disclose a transmission control method using a face authentication function. Specifically, the telephone terminals described in Patent Literature 1 and Patent Literature 2 store the face information of the destination partner and the telephone number in association with each other. Then, the telephone terminal performs face recognition processing on the image selected by the user, and reads the telephone number associated with the face information that matches the face information detected from the image. As a result, the user can sensuously check the other party of the transmission destination and can send a call with a simple operation of selecting an image.

特開2007−208863号公報JP 2007-208863 A 特開2009−303210号公報JP 2009-303210 A

しかしながら、画像に対して顔認識処理を行う場合、画像全体を走査して顔の有無を判定する必要があるため、処理に時間がかかるという問題がある。特に、近年の携帯電話に搭載されたカメラは画素数が多いため、撮像された画像のサイズが大きく、処理にかかる時間がより長くなる。   However, when performing face recognition processing on an image, it is necessary to scan the entire image to determine the presence or absence of a face, and thus there is a problem that processing takes time. In particular, since a camera mounted on a recent mobile phone has a large number of pixels, the size of the captured image is large, and the processing time is longer.

本発明は上記の課題を解決するためになされたものであり、画像中に顔が存在するか否かを判定する顔検出装置であって、指定された座標を中心とする領域を決定する領域決定部と、前記画像のうち前記領域決定部が決定した領域から顔を検出する顔検出部と、前記顔検出部が顔の検出に失敗した場合に、前記領域決定部が決定した領域を拡大する領域拡大部とを備えることを特徴とする。   The present invention has been made to solve the above-described problem, and is a face detection apparatus that determines whether or not a face exists in an image, and determines an area centered on a specified coordinate A determination unit; a face detection unit that detects a face from the region determined by the region determination unit in the image; and the region determined by the region determination unit when the face detection unit fails to detect a face And an area enlargement section.

また、本発明は、画像中に顔が存在するか否かを判定する顔検出装置を用いた顔検出方法であって、領域決定部は、指定された座標を中心とする領域を決定し、顔検出部は、前記画像のうち前記領域決定部が決定した領域から顔を検出し、領域拡大部は、前記顔検出部が顔の検出に失敗した場合に、前記領域決定部が決定した領域を拡大することを特徴とする。   Further, the present invention is a face detection method using a face detection device that determines whether or not a face is present in an image, wherein the region determination unit determines a region centered on specified coordinates, The face detection unit detects a face from the region determined by the region determination unit in the image, and the region enlargement unit determines the region determined by the region determination unit when the face detection unit fails to detect a face. It is characterized by expanding.

また、本発明は、画像中に顔が存在するか否かを判定する顔検出装置を、指定された座標を中心とする領域を決定する領域決定部、前記画像のうち前記領域決定部が決定した領域から顔を検出する顔検出部、前記顔検出部が顔の検出に失敗した場合に、前記領域決定部が決定した領域を拡大する領域拡大部として機能させるためのプログラムである。   Further, the present invention provides a face detection device that determines whether or not a face is present in an image, a region determination unit that determines a region centered on a specified coordinate, and the region determination unit of the image determines A face detection unit that detects a face from a region that has been detected, and a program for causing the region detection unit to function as a region expansion unit that expands the region determined by the region determination unit when the face detection unit fails to detect a face.

本発明によれば、顔検出部は、領域決定部によって決定された領域内で顔検出を行う。また、顔が検出されなかった場合は、領域拡大部が当該領域を拡大する。これにより、顔検出装置は、顔の有無を判定する際に画像全体を走査する必要がないため、顔を検出するまでの時間を短縮することができる。   According to the present invention, the face detection unit performs face detection within the region determined by the region determination unit. When no face is detected, the area enlargement unit enlarges the area. As a result, the face detection device does not need to scan the entire image when determining the presence or absence of a face, and therefore it is possible to shorten the time until the face is detected.

本発明の第1の実施形態による携帯電話端末(顔検出装置)の構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the mobile telephone terminal (face detection apparatus) by the 1st Embodiment of this invention. 個人情報記憶部が記憶する情報の例を示す図である。It is a figure which shows the example of the information which a personal information storage part memorize | stores. 本発明の第1の実施形態による携帯電話端末の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the mobile telephone terminal by the 1st Embodiment of this invention. 本発明の第1の実施形態による携帯電話端末の動作例を示す図である。It is a figure which shows the operation example of the mobile telephone terminal by the 1st Embodiment of this invention. 第2の実施形態による個人情報参照システムの構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the personal information reference system by 2nd Embodiment. 本発明の第2の実施形態によるサーバ装置の動作を示すシーケンス図である。It is a sequence diagram which shows operation | movement of the server apparatus by the 2nd Embodiment of this invention. 本発明の第2の実施形態による個人情報参照システムの動作例を示す図である。It is a figure which shows the operation example of the personal information reference system by the 2nd Embodiment of this invention.

《第1の実施形態》
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図1は、本発明の第1の実施形態による携帯電話端末100(顔検出装置)の構成を示す概略ブロック図である。
本実施形態による携帯電話端末100は、利用者が、画像中の人物の顔が表示されている座標を指定することで、当該人物へ呼を発することができるものである。携帯電話端末100は、画像記憶部101、表示部102、座標指定部103、領域決定部104、顔検出部105、領域拡大部106、顔存在判定部107、顔情報抽出部108、個人情報記憶部109、個人情報読み出し部110、発呼部111、個人情報入力部112、個人情報記録部113を備える。
<< First Embodiment >>
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a schematic block diagram showing the configuration of the mobile phone terminal 100 (face detection device) according to the first embodiment of the present invention.
The mobile phone terminal 100 according to the present embodiment can make a call to a person by designating coordinates where the face of the person in the image is displayed. The cellular phone terminal 100 includes an image storage unit 101, a display unit 102, a coordinate specification unit 103, an area determination unit 104, a face detection unit 105, an area enlargement unit 106, a face presence determination unit 107, a face information extraction unit 108, and a personal information storage. Unit 109, personal information reading unit 110, calling unit 111, personal information input unit 112, and personal information recording unit 113.

画像記憶部101は、画像情報を記憶する。
表示部102は、画像記憶部101が記憶する画像情報及び個人情報読み出し部110が読み出した個人情報をディスプレイに表示させる。
座標指定部103は、ポインティングデバイス(タッチパネルやマウスなど)の操作により、ディスプレイに表示された画像情報の座標の指定を受け付ける。
The image storage unit 101 stores image information.
The display unit 102 displays the image information stored in the image storage unit 101 and the personal information read out by the personal information reading unit 110 on the display.
The coordinate designating unit 103 accepts designation of coordinates of image information displayed on the display by an operation of a pointing device (such as a touch panel or a mouse).

領域決定部104は、座標指定部103が指定した座標を中心とする所定の大きさの領域を決定する。また、領域拡大部106の指示により決定した領域を拡大する。
顔検出部105は、領域決定部104が決定した領域に対して顔検出処理を実行し、当該領域内に顔が存在するか否かを判定する。
領域拡大部106は、顔検出部105が顔の検出に失敗したときに領域決定部104が決定した領域を拡大させる。
The region determining unit 104 determines a region having a predetermined size centered on the coordinates specified by the coordinate specifying unit 103. Further, the area determined by the instruction of the area enlargement unit 106 is enlarged.
The face detection unit 105 performs face detection processing on the region determined by the region determination unit 104 and determines whether or not a face exists in the region.
The area enlargement unit 106 enlarges the area determined by the area determination unit 104 when the face detection unit 105 fails to detect a face.

顔存在判定部107は、座標指定部103が指定した座標に顔が存在するか否かを判定する。
顔情報抽出部108は、顔検出部105が検出した顔領域から顔の特徴を示す顔情報を抽出する。
The face presence determination unit 107 determines whether a face exists at the coordinates specified by the coordinate specification unit 103.
The face information extraction unit 108 extracts face information indicating facial features from the face area detected by the face detection unit 105.

図2は、個人情報記憶部109が記憶する情報の例を示す図である。
個人情報記憶部109は、個人情報と顔情報とを関連付けて記憶する。個人情報の例としては、図2に示すように、氏名、電話番号、メールアドレス、住所等が挙げられる。
FIG. 2 is a diagram illustrating an example of information stored in the personal information storage unit 109.
The personal information storage unit 109 stores personal information and face information in association with each other. Examples of personal information include a name, a telephone number, a mail address, an address, etc., as shown in FIG.

個人情報読み出し部110は、顔情報抽出部108が抽出した顔情報に関連付けられた個人情報を個人情報記憶部109から読み出す。
発呼部111は、個人情報読み出し部110が読み出した個人情報に含まれる電話番号が示す発信先へ呼を発する。
個人情報入力部112は、利用者により個人情報の入力を受け付ける。
個人情報記録部113は、個人情報入力部112が受け付けた個人情報を、顔情報抽出部108が抽出した顔情報に関連付けて個人情報記憶部109に記録する。
The personal information reading unit 110 reads the personal information associated with the face information extracted by the face information extraction unit 108 from the personal information storage unit 109.
The calling unit 111 makes a call to the destination indicated by the telephone number included in the personal information read by the personal information reading unit 110.
The personal information input unit 112 accepts input of personal information by the user.
The personal information recording unit 113 records the personal information received by the personal information input unit 112 in the personal information storage unit 109 in association with the face information extracted by the face information extraction unit 108.

次に、本実施形態による携帯電話端末100の動作について説明する。
図3は、本発明の第1の実施形態による携帯電話端末100の動作を示すフローチャートである。
図4は、本発明の第1の実施形態による携帯電話端末100の動作例を示す図である。
まず、表示部102は、待ち受け画面など、画像記憶部101が記憶する画像をディスプレイに表示させる(ステップS1、図4(A))。次に、座標指定部103は、利用者による画像中の座標の指定を受け付ける(ステップS2、図4(B))。利用者がタッチパネル等を介して画像中の座標を指定すると、領域決定部104は、座標指定部103によって指定された座標を中心とする所定の領域(例えば、指定された座標を中心とする10ピクセル×10ピクセルの正方領域等)を、顔検出処理の対象とする領域に決定する(ステップS3、図4(C))。
Next, the operation of the mobile phone terminal 100 according to the present embodiment will be described.
FIG. 3 is a flowchart showing the operation of the mobile phone terminal 100 according to the first embodiment of the present invention.
FIG. 4 is a diagram illustrating an operation example of the mobile phone terminal 100 according to the first embodiment of the present invention.
First, the display unit 102 displays an image stored in the image storage unit 101 such as a standby screen on the display (step S1, FIG. 4A). Next, the coordinate designating unit 103 accepts designation of coordinates in the image by the user (step S2, FIG. 4B). When the user designates coordinates in the image via the touch panel or the like, the area determination unit 104 has a predetermined area centered on the coordinates designated by the coordinate designation unit 103 (for example, 10 centered on the designated coordinates). A square region of pixels × 10 pixels or the like) is determined as a region to be subjected to face detection processing (step S3, FIG. 4C).

次に、顔検出部105は、領域決定部104が決定した領域内で顔検出処理を実行し、当該領域内で顔検出に成功したか否かを判定する(ステップS4)。顔検出部105が顔検出に失敗したと判定した場合(ステップS4:NO)、領域拡大部106は、領域決定部104に領域拡大指示を出力し、領域決定部104は、ステップS3で決定した領域を拡大させる(ステップS5、図4(D))。領域の拡大は、例えばステップS3で決定した領域より外周に1ピクセル大きい領域に決定する方法などを用いることができる。   Next, the face detection unit 105 performs face detection processing within the region determined by the region determination unit 104, and determines whether or not face detection has succeeded within the region (step S4). If the face detection unit 105 determines that face detection has failed (step S4: NO), the region enlargement unit 106 outputs a region expansion instruction to the region determination unit 104, and the region determination unit 104 determines in step S3. The area is enlarged (step S5, FIG. 4D). For example, the area may be enlarged by a method of determining an area one pixel larger than the area determined in step S3.

次に、領域決定部104は、拡大した領域が予め定められた領域の最大値より大きいか否かを判定する(ステップS6)。領域が最大でないと判定した場合(ステップS6:NO)、ステップS4に戻り、再度顔検出部105による顔検出の判定を行う。他方、領域が最大であると判定した場合(ステップS6:YES)、表示部102は、指定された座標に顔が無い旨を表示し(ステップS7)、処理を終了する。   Next, the area determination unit 104 determines whether or not the enlarged area is larger than the maximum value of the predetermined area (step S6). When it is determined that the area is not the maximum (step S6: NO), the process returns to step S4, and the face detection unit 105 determines the face detection again. On the other hand, if it is determined that the area is the maximum (step S6: YES), the display unit 102 displays that there is no face at the designated coordinates (step S7), and ends the process.

他方、ステップS4で顔検出部105が顔検出に成功したと判定した場合(ステップS4:YES)、顔検出部105は、検出された顔が含まれる最小の矩形領域である顔領域を特定する(ステップS8、図4(E))。次に、顔存在判定部107は、座標指定部103が指定した座標が、顔検出部105によって特定された顔領域内であるか否かを判定する(ステップS9)。顔存在判定部107によって、座標指定部103が指定した座標が、顔検出部105によって特定された顔領域内にないと判定された場合(ステップS9:NO)、表示部102は、指定された座標に顔が無い旨を表示し(ステップS7)、処理を終了する。   On the other hand, when it is determined in step S4 that the face detection unit 105 has succeeded in detecting the face (step S4: YES), the face detection unit 105 identifies the face region that is the smallest rectangular region including the detected face. (Step S8, FIG. 4E). Next, the face presence determination unit 107 determines whether or not the coordinates specified by the coordinate specification unit 103 are within the face area specified by the face detection unit 105 (step S9). When it is determined by the face presence determination unit 107 that the coordinates specified by the coordinate specification unit 103 are not within the face area specified by the face detection unit 105 (step S9: NO), the display unit 102 is specified. The fact that there is no face at the coordinates is displayed (step S7), and the process is terminated.

他方、顔存在判定部107によって、座標指定部103が指定した座標が、顔検出部105によって特定された顔領域内にあると判定された場合(ステップS9:YES)、顔情報抽出部108は、顔検出部105によって特定された顔領域内から、顔の特徴を示す顔情報を抽出する(ステップS10)。次に、個人情報読み出し部110は、顔情報抽出部108が抽出した顔情報との類似度が所定の閾値以上である顔情報が、個人情報記憶部109に記憶されているか否かを判定する(ステップS11)。   On the other hand, when the face presence determination unit 107 determines that the coordinates specified by the coordinate specification unit 103 are within the face area specified by the face detection unit 105 (step S9: YES), the face information extraction unit 108 Then, face information indicating the feature of the face is extracted from the face area specified by the face detection unit 105 (step S10). Next, the personal information reading unit 110 determines whether or not face information whose similarity with the face information extracted by the face information extracting unit 108 is equal to or greater than a predetermined threshold is stored in the personal information storage unit 109. (Step S11).

個人情報読み出し部110によって、顔情報抽出部108が抽出した顔情報との類似度が所定の閾値以上である顔情報が個人情報記憶部109に記憶されていないと判定された場合(ステップS11:NO)、表示部102は、「新たに個人情報を登録しますか?」など、当該顔情報に関連付けて個人情報を記録するか否かの選択を受け付ける旨をディスプレイに表示させ、個人情報入力部112は、利用者から記録するか否かの選択を受け付ける(ステップS12)。個人情報入力部112が、記録しないことを示す選択を受け付けた場合(ステップS12:NO)、処理を終了する。   When it is determined by the personal information reading unit 110 that face information whose similarity to the face information extracted by the face information extracting unit 108 is equal to or greater than a predetermined threshold is not stored in the personal information storage unit 109 (step S11: NO), the display unit 102 displays on the display that it accepts the selection of whether or not to record personal information in association with the face information, such as “Do you want to register personal information anew?” The unit 112 receives a selection as to whether or not to record from the user (step S12). When the personal information input unit 112 receives a selection indicating that recording is not to be performed (step S12: NO), the process ends.

他方、個人情報入力部112は、記録することを示す選択を受け付けた場合(ステップS12:YES)、利用者から顔情報抽出部108が抽出した顔情報が示す人物の個人情報の入力を受け付け、個人情報記録部113は、当該個人情報を、顔情報抽出部108が抽出した顔情報に関連付けて個人情報記憶部109に記録する(ステップS13)。   On the other hand, if the personal information input unit 112 accepts a selection indicating recording (step S12: YES), the personal information input unit 112 accepts input of personal information of a person indicated by the face information extracted by the face information extraction unit 108 from the user, The personal information recording unit 113 records the personal information in the personal information storage unit 109 in association with the face information extracted by the face information extraction unit 108 (step S13).

他方、顔情報抽出部108が抽出した顔情報との類似度が所定の閾値以上である顔情報が個人情報記憶部109に記憶されている場合(ステップS11:YES)、またはステップS13で個人情報記録部113が個人情報記憶部109に個人情報を記録した場合、個人情報読み出し部110は、顔情報抽出部108が抽出した顔情報との類似度が所定の閾値以上である顔情報に関連付けられた個人情報を個人情報記憶部109から読み出す。そして、表示部102は、当該個人情報に含まれる名前を、顔検出部105が特定した顔領域の下方に表示する(図4(F))。そして、利用者が携帯電話端末100の決定キー等を押下すると、表示部102は、個人情報と共に、当該人物に対する操作(例えば、電話、テレビ電話、電子メールなど)を示すボタンを表示する(ステップS14、図4(G))。   On the other hand, when face information whose similarity with the face information extracted by the face information extraction unit 108 is greater than or equal to a predetermined threshold is stored in the personal information storage unit 109 (step S11: YES), or in step S13, the personal information When the recording unit 113 records personal information in the personal information storage unit 109, the personal information reading unit 110 is associated with face information whose similarity with the face information extracted by the face information extraction unit 108 is equal to or greater than a predetermined threshold. The personal information is read from the personal information storage unit 109. Then, the display unit 102 displays the name included in the personal information below the face area specified by the face detection unit 105 (FIG. 4F). When the user presses the determination key or the like of the mobile phone terminal 100, the display unit 102 displays a button indicating an operation (for example, telephone, videophone, e-mail, etc.) for the person along with the personal information (step) S14, FIG. 4 (G)).

そして、表示されたボタンの中から利用者が何れかのボタンを選択すると、携帯電話端末100は、当該選択されたボタンに関連付けられた処理を実行する(ステップS15)。例えば、利用者が「電話する」ボタンを押下した場合、発呼部111は、個人情報読み出し部110が読み出した個人情報に含まれる電話番号を発信先として呼を発する。   Then, when the user selects any button from the displayed buttons, the mobile phone terminal 100 executes a process associated with the selected button (step S15). For example, when the user presses a “call” button, the calling unit 111 makes a call using the telephone number included in the personal information read by the personal information reading unit 110 as a callee.

このように、本実施形態によれば、顔検出部105は、領域決定部104によって決定された領域内で顔検出を行う。また、顔が検出されなかった場合は、領域拡大部106が当該領域を拡大する。これにより、顔検出装置は、顔の有無を判定する際に画像全体を走査する必要がないため、顔を検出するまでの時間を短縮することができる。   Thus, according to the present embodiment, the face detection unit 105 performs face detection within the region determined by the region determination unit 104. When no face is detected, the area enlargement unit 106 enlarges the area. As a result, the face detection device does not need to scan the entire image when determining the presence or absence of a face, and therefore it is possible to shorten the time until the face is detected.

以上、図面を参照してこの発明の第1の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、領域決定部104が決定する領域が矩形領域である場合を説明したが、これに限られず、円形など他の形状の領域を用いても良い。
As described above, the first embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to that described above, and various designs can be made without departing from the scope of the present invention. It is possible to make changes.
For example, in the present embodiment, the case where the region determined by the region determination unit 104 is a rectangular region has been described. However, the present invention is not limited to this, and a region having another shape such as a circle may be used.

《第2の実施形態》
次に、本発明の第2の実施形態について説明する。
図5は、第2の実施形態による個人情報参照システムの構成を示す概略ブロック図である。
個人情報参照システムは、携帯電話端末200とサーバ装置300を備える。携帯電話端末200は、サーバ装置から通知された情報に基づいて発呼等の処理を行う。サーバ装置300は、携帯電話端末200からの要求に基づいて電話番号等の個人情報を検索し、携帯電話端末200に通知する。なお、サーバ装置300は携帯電話端末200と比較して処理速度が高速であることが好ましい。
<< Second Embodiment >>
Next, a second embodiment of the present invention will be described.
FIG. 5 is a schematic block diagram showing the configuration of the personal information reference system according to the second embodiment.
The personal information reference system includes a mobile phone terminal 200 and a server device 300. The cellular phone terminal 200 performs processing such as calling based on information notified from the server device. The server device 300 searches for personal information such as a telephone number based on a request from the mobile phone terminal 200 and notifies the mobile phone terminal 200 of it. Server apparatus 300 preferably has a higher processing speed than mobile phone terminal 200.

携帯電話端末200は、通信部201、表示部202、座標指定部203、発呼部204を備える。
通信部201は、サーバ装置300との通信を行う。
表示部202は、通信部201がサーバ装置300から受信した情報をディスプレイに表示させる。
座標指定部203は、ポインティングデバイス(タッチパネルやマウスなど)の操作により、ディスプレイに表示された画像情報の座標の指定を受け付ける。
発呼部204は、通信部201がサーバ装置300から受信した情報に含まれる電話番号が示す発信先へ呼を発する。
The mobile phone terminal 200 includes a communication unit 201, a display unit 202, a coordinate designation unit 203, and a calling unit 204.
The communication unit 201 communicates with the server device 300.
The display unit 202 displays information received from the server device 300 by the communication unit 201 on the display.
The coordinate designation unit 203 accepts designation of coordinates of image information displayed on the display by an operation of a pointing device (such as a touch panel or a mouse).
The calling unit 204 makes a call to a call destination indicated by the telephone number included in the information received by the communication unit 201 from the server device 300.

サーバ装置300は、画像記憶部301、顔検出部302、顔情報抽出部303、通信部304、顔存在判定部305、個人情報記憶部306、個人情報読み出し部307、個人情報記録部308を備える。   The server apparatus 300 includes an image storage unit 301, a face detection unit 302, a face information extraction unit 303, a communication unit 304, a face presence determination unit 305, a personal information storage unit 306, a personal information reading unit 307, and a personal information recording unit 308. .

画像記憶部301は、画像情報を記憶する。
顔検出部302は、画像記憶部301が記憶する画像に対して顔検出処理を実行し、検出した顔が含まれる最小の矩形領域である顔領域を特定する。
顔情報抽出部303は、顔検出部302が検出した顔領域から顔の特徴を示す顔情報を抽出する。
The image storage unit 301 stores image information.
The face detection unit 302 performs face detection processing on the image stored in the image storage unit 301, and specifies a face region that is a minimum rectangular region including the detected face.
The face information extraction unit 303 extracts face information indicating facial features from the face area detected by the face detection unit 302.

通信部304は、携帯電話端末200との通信を行う。
顔存在判定部305は、携帯電話端末200によって指定された座標に顔が存在するか否かを判定する。
個人情報記憶部306は、図2に示すように、個人情報と顔情報とを関連付けて記憶する。
個人情報読み出し部307は、顔情報抽出部303が抽出した顔情報に関連付けられた個人情報を個人情報記憶部306から読み出す。
個人情報記録部308は、携帯電話端末200から受け付けた個人情報を、顔情報抽出部303が抽出した顔情報に関連付けて個人情報記憶部306に記録する。
The communication unit 304 communicates with the mobile phone terminal 200.
The face presence determination unit 305 determines whether a face exists at the coordinates designated by the mobile phone terminal 200.
As shown in FIG. 2, the personal information storage unit 306 stores personal information and face information in association with each other.
The personal information reading unit 307 reads personal information associated with the face information extracted by the face information extraction unit 303 from the personal information storage unit 306.
The personal information recording unit 308 records the personal information received from the mobile phone terminal 200 in the personal information storage unit 306 in association with the face information extracted by the face information extraction unit 303.

次に、本実施形態による個人情報参照システムの動作について説明する。
図6は、本発明の第2の実施形態によるサーバ装置300の動作を示すシーケンス図である。
図7は、本発明の第2の実施形態による個人情報参照システムの動作例を示す図である。
まず、携帯電話端末200は、通信部201を介して待ち受け画面など、ディスプレイに表示させる画像情報をサーバ装置に要求する。サーバ装置300の通信部304は、画像情報の要求を受信すると、顔検出部302は、携帯電話端末200によって要求された画像情報(図7(A))を画像記憶部301から読み出し、当該画像情報に対して顔検出処理を実行し、当該顔検出処理が成功したか否かを判定する(ステップS101)。顔検出処理に失敗した場合(ステップS101:NO)、携帯電話端末200が表示する画像の中に顔情報が含まれないため、サーバ装置300は、処理を終了する。
Next, the operation of the personal information reference system according to the present embodiment will be described.
FIG. 6 is a sequence diagram showing an operation of the server apparatus 300 according to the second embodiment of the present invention.
FIG. 7 is a diagram showing an operation example of the personal information reference system according to the second embodiment of the present invention.
First, the mobile phone terminal 200 requests image information to be displayed on the display, such as a standby screen, from the server device via the communication unit 201. When the communication unit 304 of the server apparatus 300 receives the request for image information, the face detection unit 302 reads out the image information requested by the mobile phone terminal 200 (FIG. 7A) from the image storage unit 301, and the image A face detection process is executed on the information, and it is determined whether the face detection process is successful (step S101). If the face detection process fails (step S101: NO), the face information is not included in the image displayed by the mobile phone terminal 200, and thus the server apparatus 300 ends the process.

他方、顔検出部302が顔検出処理に成功した場合(ステップS101:YES)、顔検出部302は、検出した顔に対して顔領域を特定する(ステップS102、図7(B))。なお、顔が複数検出された場合は、検出された顔のそれぞれに対して顔領域の特定を行う。次に、顔情報抽出部303は、顔検出部302が特定したそれぞれの顔領域から顔情報を抽出する(ステップS103)。そして、通信部304は、画像記憶部301が記憶する画像情報及び顔検出部302が検出した顔領域を携帯電話端末200に送信する(ステップS104)。携帯電話端末200の通信部201は、サーバ装置300から画像情報を受信し、表示部202は、当該画像情報をディスプレイに表示させる。このとき、表示部202は、顔検出部302が特定した顔領域に相当する座標に枠を表示し、画像中のどこに顔が存在するかを強調することが好ましい。   On the other hand, when the face detection unit 302 has succeeded in the face detection process (step S101: YES), the face detection unit 302 specifies a face region for the detected face (step S102, FIG. 7B). When a plurality of faces are detected, the face area is specified for each detected face. Next, the face information extraction unit 303 extracts face information from each face area specified by the face detection unit 302 (step S103). Then, the communication unit 304 transmits the image information stored in the image storage unit 301 and the face area detected by the face detection unit 302 to the mobile phone terminal 200 (step S104). The communication unit 201 of the mobile phone terminal 200 receives image information from the server device 300, and the display unit 202 displays the image information on a display. At this time, it is preferable that the display unit 202 displays a frame at coordinates corresponding to the face area specified by the face detection unit 302 to emphasize where the face exists in the image.

表示部202が画像情報を表示させると、座標指定部203は、利用者による画像中の座標の指定を受け付け、通信部201は、当該座標情報をサーバ装置に送信する。携帯電話端末200が座標情報を送信すると、サーバ装置300の通信部304は、携帯電話端末200から座標情報を受信する(ステップS105)。通信部304が座標情報を受信すると、顔存在判定部305は、受信した座標情報が、顔検出部302がステップS102で特定した何れかの顔領域に含まれるか否かを判定する(ステップS106)。顔存在判定部305によって、顔検出部302がステップS102で特定した何れの顔領域にも受信した座標情報が含まれないと判定された場合(ステップS106:NO)、ステップS105に戻り、携帯電話端末200からの再度の座標情報の受信を待機する。   When the display unit 202 displays image information, the coordinate designating unit 203 accepts designation of coordinates in the image by the user, and the communication unit 201 transmits the coordinate information to the server device. When the mobile phone terminal 200 transmits the coordinate information, the communication unit 304 of the server device 300 receives the coordinate information from the mobile phone terminal 200 (step S105). When the communication unit 304 receives the coordinate information, the face presence determination unit 305 determines whether the received coordinate information is included in any of the face areas specified by the face detection unit 302 in step S102 (step S106). ). If the face presence determination unit 305 determines that the received coordinate information is not included in any of the face areas specified by the face detection unit 302 in step S102 (step S106: NO), the process returns to step S105, and the mobile phone It waits for the reception of coordinate information from the terminal 200 again.

他方、顔存在判定部305によって、顔検出部302がステップS102で特定した何れかの顔領域に受信した座標情報が含まれると判定された場合(ステップS106:YES)、顔存在判定部305は、通信部304が受信した座標情報を含む顔領域から抽出された顔情報を、顔情報抽出部303から読み出す(ステップS107)。次に、個人情報読み出し部307は、顔情報抽出部303が抽出した顔情報との類似度が所定の閾値以上である顔情報が、個人情報記憶部306に記憶されているか否かを判定する(ステップS108)。   On the other hand, when the face presence determination unit 305 determines that the received coordinate information is included in any of the face regions specified by the face detection unit 302 in step S102 (step S106: YES), the face presence determination unit 305 The face information extracted from the face area including the coordinate information received by the communication unit 304 is read from the face information extraction unit 303 (step S107). Next, the personal information reading unit 307 determines whether or not face information whose similarity with the face information extracted by the face information extracting unit 303 is equal to or greater than a predetermined threshold is stored in the personal information storage unit 306. (Step S108).

個人情報読み出し部307によって、顔情報抽出部303が抽出した顔情報との類似度が所定の閾値以上である顔情報が、個人情報記憶部308に記憶されていないと判定された場合(ステップS108:NO)、通信部304は、選択された顔が示す人物の個人情報を記録するか否かの選択を要求する選択要求を携帯電話端末200に送信する(ステップS109)。携帯電話端末200の通信部201が選択要求を受信すると、表示部202は、「新たに個人情報を登録しますか?」など個人情報を記録するか否かの選択を受け付ける旨をディスプレイに表示させ、利用者から記録するか否かの選択を受け付ける。利用者が、個人情報を記録するか否かの何れかを示す選択情報を入力すると、通信部201は、当該選択情報をサーバ装置300に送信する。なお、選択情報が個人情報を記録することを示す場合、通信部201は、当該選択情報に加え、新たに記録する個人情報をサーバ装置300に送信する。   When it is determined by the personal information reading unit 307 that face information whose similarity to the face information extracted by the face information extracting unit 303 is greater than or equal to a predetermined threshold is not stored in the personal information storage unit 308 (step S108). : NO), the communication unit 304 transmits a selection request for requesting selection of whether or not to record the personal information of the person indicated by the selected face to the mobile phone terminal 200 (step S109). When the communication unit 201 of the mobile phone terminal 200 receives the selection request, the display unit 202 displays on the display that the selection of whether or not to record personal information such as “Do you want to register personal information newly?” Is accepted on the display. And accepting selection from the user as to whether or not to record. When the user inputs selection information indicating whether or not to record personal information, the communication unit 201 transmits the selection information to the server device 300. When the selection information indicates that personal information is to be recorded, the communication unit 201 transmits personal information to be newly recorded to the server device 300 in addition to the selection information.

サーバ装置300の通信部304が選択情報を受信すると、個人情報記録部308は、当該選択情報が個人情報を記録することを示すか否かを判定する(ステップS110)。選択情報が個人情報を記録しないことを示す場合(ステップS110:NO)、サーバ装置300は、処理を終了する。他方、選択情報が個人情報を記録することを示す場合(ステップS110:YES)、個人情報記録部308は、通信部304が受信した個人情報を、顔情報抽出部303が抽出した顔情報に関連付けて個人情報記憶部306に記録する(ステップS111)。   When the communication unit 304 of the server device 300 receives the selection information, the personal information recording unit 308 determines whether or not the selection information indicates that personal information is recorded (step S110). When the selection information indicates that personal information is not recorded (step S110: NO), the server apparatus 300 ends the process. On the other hand, when the selection information indicates that personal information is to be recorded (step S110: YES), the personal information recording unit 308 associates the personal information received by the communication unit 304 with the face information extracted by the face information extraction unit 303. Is recorded in the personal information storage unit 306 (step S111).

他方、顔情報抽出部303が抽出した顔情報との類似度が所定の閾値以上である顔情報が個人情報記憶部306に記憶されている場合(ステップS108:YES)、またはステップS111で個人情報記録部308が個人情報記憶部306に個人情報を記録した場合、個人情報読み出し部307は、顔情報抽出部303が抽出した顔情報との類似度が所定の閾値以上である顔情報に関連付けられた個人情報を個人情報記憶部306から読み出す。そして、通信部304は、当該個人情報を携帯電話端末200に送信し(ステップS112)、処理を終了する。   On the other hand, when face information whose similarity with the face information extracted by the face information extraction unit 303 is greater than or equal to a predetermined threshold is stored in the personal information storage unit 306 (step S108: YES), or in step S111 When the recording unit 308 records personal information in the personal information storage unit 306, the personal information reading unit 307 is associated with face information whose similarity with the face information extracted by the face information extraction unit 303 is equal to or greater than a predetermined threshold. The personal information is read from the personal information storage unit 306. And the communication part 304 transmits the said personal information to the mobile telephone terminal 200 (step S112), and complete | finishes a process.

携帯電話端末200の通信部201が個人情報を受信すると、表示部202は、当該個人情報に含まれる名前を、ステップS104で通信部201が受信した顔領域が示す座標の下方に表示する(図7(C))。そして、利用者が携帯電話端末200の決定キー等を押下すると、表示部202は、個人情報と共に、当該人物に対する操作(例えば、電話、テレビ電話、電子メールなど)を示すボタンを表示する(図7(D))。   When the communication unit 201 of the mobile phone terminal 200 receives personal information, the display unit 202 displays the name included in the personal information below the coordinates indicated by the face area received by the communication unit 201 in step S104 (FIG. 7 (C)). When the user presses the enter key or the like of the mobile phone terminal 200, the display unit 202 displays a button indicating an operation (for example, telephone, videophone, e-mail, etc.) for the person along with the personal information (FIG. 7 (D)).

そして、表示されたボタンの中から利用者が何れかのボタンを選択すると、携帯電話端末200は、当該選択されたボタンに関連付けられた処理を実行する。例えば、利用者が「電話する」ボタンを押下した場合、発呼部204は、通信部201が受信した個人情報に含まれる電話番号を発信先として呼を発する。   When the user selects any button from the displayed buttons, the mobile phone terminal 200 executes a process associated with the selected button. For example, when the user presses a “call” button, the calling unit 204 makes a call using the telephone number included in the personal information received by the communication unit 201 as the call destination.

このように、本実施形態によれば、顔検出処理や顔情報の抽出、比較などの計算量が多い処理をサーバ装置300にて実行する。これにより、携帯電話端末200が比較的、省電力や処理能力の低いCPUによって動作する場合であっても、時間をかけずに顔検出処理の結果を享受することができる。   As described above, according to the present embodiment, the server device 300 executes processes with a large amount of calculation such as face detection processing, face information extraction, and comparison. Thereby, even when the mobile phone terminal 200 is operated by a CPU having relatively low power saving and processing capability, the result of the face detection process can be enjoyed without taking time.

以上、図面を参照してこの発明の第2の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、顔検出処理及び顔情報の抽出を行った後に通信部304が画像情報及び顔領域を送信する場合を説明したが、これに限られず、例えば携帯電話端末200が顔領域に相当する座標に枠を表示しない場合、顔検出処理及び顔情報の抽出を実行する前に画像情報を携帯電話端末200に送信するようにしても良い。
As described above, the second embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above, and various designs can be made without departing from the scope of the present invention. It is possible to make changes.
For example, in the present embodiment, a case has been described in which the communication unit 304 transmits image information and a face area after performing face detection processing and face information extraction. However, the present invention is not limited thereto. When the frame is not displayed at the coordinates corresponding to the image information, the image information may be transmitted to the mobile phone terminal 200 before executing the face detection process and the face information extraction.

上述の携帯電話端末100、200、サーバ装置300は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。   The mobile phone terminals 100 and 200 and the server device 300 described above have a computer system therein. The operation of each processing unit described above is stored in a computer-readable recording medium in the form of a program, and the above processing is performed by the computer reading and executing this program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。   The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

100…携帯電話端末 101…画像記憶部 102…表示部 103…座標指定部 104…領域決定部 105…顔検出部 106…領域拡大部 107…顔存在判定部 108…顔情報抽出部 109…個人情報記憶部 110…個人情報読み出し部 111…発呼部 112…個人情報入力部 113…個人情報記録部   DESCRIPTION OF SYMBOLS 100 ... Mobile phone terminal 101 ... Image memory | storage part 102 ... Display part 103 ... Coordinate designation | designated part 104 ... Area | region determination part 105 ... Face detection part 106 ... Area expansion part 107 ... Face presence determination part 108 ... Face information extraction part 109 ... Personal information Storage unit 110 ... Personal information reading unit 111 ... Calling unit 112 ... Personal information input unit 113 ... Personal information recording unit

Claims (6)

画像中に顔が存在するか否かを判定する顔検出装置であって、
指定された座標を中心とする領域を決定する領域決定部と、
前記画像のうち前記領域決定部が決定した領域から顔を検出する顔検出部と、
前記顔検出部が顔の検出に失敗した場合に、前記領域決定部が決定した領域を拡大する領域拡大部と
を備えることを特徴とする顔検出装置。
A face detection device for determining whether a face is present in an image,
An area determination unit for determining an area centered on a specified coordinate;
A face detection unit for detecting a face from an area of the image determined by the area determination unit;
An area enlarging unit for enlarging the area determined by the area determining unit when the face detecting unit fails to detect a face.
前記顔検出部が検出した顔から、当該顔の特徴を示す顔情報を抽出する顔情報抽出部と、
顔情報と個人情報とを関連付けて記憶する個人情報記憶部から、前記顔情報抽出部が抽出した顔情報との一致度が所定の閾値以上となる顔情報に関連付けられた個人情報を読み出す個人情報読み出し部と
を備えることを特徴とする請求項1に記載の顔検出装置。
A face information extraction unit that extracts face information indicating the feature of the face from the face detected by the face detection unit;
Personal information that reads personal information associated with face information whose degree of coincidence with the face information extracted by the face information extraction unit is equal to or greater than a predetermined threshold value from a personal information storage unit that stores face information and personal information in association with each other The face detection apparatus according to claim 1, further comprising: a reading unit.
前記顔検出部が検出した顔との一致度が所定の閾値以上となる顔情報が存在しない場合に、当該顔情報が示す人物の前記個人情報の入力を受け付ける個人情報入力部と、
前記個人情報入力部が入力を受け付けた個人情報を、前記顔情報抽出部が抽出した顔情報に関連付けて前記個人情報記憶部に記録する個人情報記録部と
を備えることを特徴とする請求項2に記載の顔検出装置。
A personal information input unit that receives input of the personal information of the person indicated by the face information when there is no face information whose degree of coincidence with the face detected by the face detection unit is equal to or greater than a predetermined threshold;
The personal information recording unit that records the personal information received by the personal information input unit in the personal information storage unit in association with the face information extracted by the face information extraction unit. The face detection device described in 1.
指定された座標に顔が存在するか否かを判定する顔存在判定部を備え、
前記顔存在判定部は、前記顔検出部が顔を検出した場合において、顔であると判定した領域である顔領域内に前記指定された座標が含まれないとき、指定された座標に顔が存在しないと判定する
ことを特徴とする請求項1から請求項3の何れか1項に記載の顔検出装置。
A face presence determination unit that determines whether or not a face exists at a specified coordinate;
The face presence determination unit, when the face detection unit detects a face, when the specified coordinates are not included in the face area that is determined to be a face, the face is located at the specified coordinates. The face detection device according to any one of claims 1 to 3, wherein the face detection device is determined not to exist.
画像中に顔が存在するか否かを判定する顔検出装置を用いた顔検出方法であって、
領域決定部は、指定された座標を中心とする領域を決定し、
顔検出部は、前記画像のうち前記領域決定部が決定した領域から顔を検出し、
領域拡大部は、前記顔検出部が顔の検出に失敗した場合に、前記領域決定部が決定した領域を拡大する
ことを特徴とする顔検出方法。
A face detection method using a face detection device for determining whether or not a face is present in an image,
The area determination unit determines an area centered on the specified coordinates,
The face detection unit detects a face from the region determined by the region determination unit in the image,
The area enlarging unit enlarges the area determined by the area determining unit when the face detecting unit fails to detect a face.
画像中に顔が存在するか否かを判定する顔検出装置を、
指定された座標を中心とする領域を決定する領域決定部、
前記画像のうち前記領域決定部が決定した領域から顔を検出する顔検出部、
前記顔検出部が顔の検出に失敗した場合に、前記領域決定部が決定した領域を拡大する領域拡大部
として機能させるためのプログラム。
A face detection device that determines whether a face exists in an image,
An area determination unit for determining an area centered on a specified coordinate;
A face detection unit for detecting a face from an area of the image determined by the area determination unit;
A program for functioning as an area enlarging unit for enlarging an area determined by the area determining unit when the face detecting unit fails to detect a face.
JP2011058969A 2011-03-17 2011-03-17 Face detection device, face detection method, and program Pending JP2012195812A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011058969A JP2012195812A (en) 2011-03-17 2011-03-17 Face detection device, face detection method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011058969A JP2012195812A (en) 2011-03-17 2011-03-17 Face detection device, face detection method, and program

Publications (1)

Publication Number Publication Date
JP2012195812A true JP2012195812A (en) 2012-10-11

Family

ID=47087312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011058969A Pending JP2012195812A (en) 2011-03-17 2011-03-17 Face detection device, face detection method, and program

Country Status (1)

Country Link
JP (1) JP2012195812A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017529031A (en) * 2015-07-29 2017-09-28 小米科技有限責任公司Xiaomi Inc. COMMUNICATION METHOD, DEVICE, PROGRAM, AND RECORDING MEDIUM BASED ON IMAGE

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232935A (en) * 1997-02-19 1998-09-02 Canon Inc Image processor and method therefor
JP2000354247A (en) * 1999-06-10 2000-12-19 Sharp Corp Image processing unit
JP2006165822A (en) * 2004-12-03 2006-06-22 Nikon Corp Electronic camera and program
JP2006350967A (en) * 2005-06-20 2006-12-28 Canon Inc Image processing device, method and program
JP2008129664A (en) * 2006-11-17 2008-06-05 Sony Corp Image processing device, imaging device, image processing method therefor, and program for making computer execute the method
JP2009105652A (en) * 2007-10-23 2009-05-14 Nec Corp Portable communication terminal
JP2010193406A (en) * 2009-02-20 2010-09-02 Canon Inc Image input apparatus, subject detecting method, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232935A (en) * 1997-02-19 1998-09-02 Canon Inc Image processor and method therefor
JP2000354247A (en) * 1999-06-10 2000-12-19 Sharp Corp Image processing unit
JP2006165822A (en) * 2004-12-03 2006-06-22 Nikon Corp Electronic camera and program
JP2006350967A (en) * 2005-06-20 2006-12-28 Canon Inc Image processing device, method and program
JP2008129664A (en) * 2006-11-17 2008-06-05 Sony Corp Image processing device, imaging device, image processing method therefor, and program for making computer execute the method
JP2009105652A (en) * 2007-10-23 2009-05-14 Nec Corp Portable communication terminal
JP2010193406A (en) * 2009-02-20 2010-09-02 Canon Inc Image input apparatus, subject detecting method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017529031A (en) * 2015-07-29 2017-09-28 小米科技有限責任公司Xiaomi Inc. COMMUNICATION METHOD, DEVICE, PROGRAM, AND RECORDING MEDIUM BASED ON IMAGE

Similar Documents

Publication Publication Date Title
US9338293B2 (en) Communication device and communication method thereof
JP6560763B2 (en) Fingerprint recognition method, fingerprint recognition apparatus, program, and recording medium
EP3188078B1 (en) Method and device for fingerprint identification
US9258682B2 (en) Server apparatus, server control program, and server client system
EP3522054A1 (en) Apparatus and method for managing application in wireless terminal
US10001919B2 (en) Apparatus for providing integrated functions of dial and calculator and method thereof
US11243660B2 (en) Method and device for displaying application, and storage medium
US20130315439A1 (en) Method for providing service using image recognition and electronic device thereof
WO2017008348A1 (en) Data card switching control method and apparatus, and terminal device
CN110795019B (en) Key recognition method and device for soft keyboard and storage medium
JP2020525891A (en) Electronic device
CN110009004B (en) Image data processing method, computer device, and storage medium
JP2017084117A (en) Display control method, display control program and information processing device
JP2004164180A (en) Information processor, communication processor and method and computer program
CN106412481B (en) Reminding method, device and terminal based on VoLTE video calling
JP2012195812A (en) Face detection device, face detection method, and program
CN110851202A (en) Mobile terminal function page starting method and device, mobile terminal and storage medium
JP2012015657A (en) Communication device, communication method and communication program
US20140231523A1 (en) Electronic device capable of recognizing object
JP5428911B2 (en) Mobile terminal device, telephone directory search method, and telephone directory search program
KR20140103021A (en) Object recognition device
CN110891265B (en) Wireless connection control method and device, mobile terminal and storage medium
JP2013134565A (en) Individual authentication device
CN108650410B (en) Method and device for clearing fingerprint data
CN111857396A (en) Signal scanning method, device, terminal and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151124