JP2012234566A - Image retrieval device and image retrieval method - Google Patents
Image retrieval device and image retrieval method Download PDFInfo
- Publication number
- JP2012234566A JP2012234566A JP2012174892A JP2012174892A JP2012234566A JP 2012234566 A JP2012234566 A JP 2012234566A JP 2012174892 A JP2012174892 A JP 2012174892A JP 2012174892 A JP2012174892 A JP 2012174892A JP 2012234566 A JP2012234566 A JP 2012234566A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- unit
- display
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、画像検索装置および画像検索方法に関し、詳しくは、多数の写真画像の中から画像を迅速かつ分かりやすく検索可能な画像検索装置および画像検索方法に関する。 The present invention relates to an image search device and an image search method, and more particularly to an image search device and an image search method that can quickly and easily search an image from a large number of photographic images.
近年、写真画像がデジタル化され、記録メディアの大容量化が進み、また銀塩フィルムカメラを使用していた頃に比較すると、撮影頻度も高くなってきている。このため、カメラユーザーは、大量の画像を所有しており、画像検索に時間がかかっている。 In recent years, photographic images have been digitized, the capacity of recording media has increased, and the frequency of photography has increased compared to when silver film cameras were used. For this reason, the camera user owns a large amount of images, and it takes time to search for images.
そこで、画像検索を容易にする画像検索装置が種々提案されている。例えば、特許文献1には、予め登録人物の顔認識データを登録しておき、撮影画像の人物が登録された人物であるか否かを判定する電子カメラが開示されている。また、特許文献2には、人物を表すシルエットイメージのアイコンを撮影画像から作成したアイコン画像に置き換えるデジタルスチルカメラが開示されている。
このように類似画像を分類する技術は知られているが、分類された画像を液晶パネルなどの表示装置上で、少ない操作で検索する画像検索装置については知られていない。 Although a technique for classifying similar images in this way is known, an image retrieval apparatus that retrieves classified images with a small number of operations on a display device such as a liquid crystal panel is not known.
本発明は、このような事情を鑑みてなされたものであり、分類された画像を表示手段上で少ない操作で容易に検索することのできる画像検索装置および画像検索方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image search apparatus and an image search method that can easily search for classified images on the display means with few operations. To do.
上記目的を達成するため第1の発明に係わる画像検索装置は、複数の画像データを記憶する画像記録部と、表示部と、上記画像記録部に含まれる画像データから顔の部分を検出する顔検出部と、上記顔検出部によって検出された顔の部分が向いている角度を判定する角度判定部と、顔の向きがそれぞれ異なる角度を向いている複数の顔画像を記録したサムネイル部と、上記サムネイル部の記録した複数の顔画像の中から選択された顔画像と、上記顔検出部によって検出された顔との類似を判定する類似判定部と、上記類似判定部により類似すると判定された顔の部分を含む画像データを、上記表示部に表示させる表示制御部と、を有することを特徴とする。 In order to achieve the above object, an image search apparatus according to a first invention includes an image recording unit for storing a plurality of image data, a display unit, and a face for detecting a face portion from image data included in the image recording unit. A detection unit, an angle determination unit that determines an angle at which the face portion detected by the face detection unit is facing, a thumbnail unit that records a plurality of face images in which the face directions are different angles, The similarity determination unit that determines similarity between a face image selected from the plurality of face images recorded in the thumbnail portion and the face detected by the face detection unit, and the similarity determination unit determine that the images are similar. A display control unit that displays image data including a face portion on the display unit.
本発明によれば、分類された画像を表示手段上で少ない操作で容易に検索することのできる画像検索装置および画像検索方法を提供することができる。 According to the present invention, it is possible to provide an image search apparatus and an image search method that can easily search classified images on the display means with few operations.
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図1は本発明の一実施形態に係わるカメラ10の構成を示すブロック図である。カメラ10はデジタルカメラであり、制御部1、類似判定部1a、タイミング制御部1b、撮像部2、光学系制御部3、記録部4、特徴(角度)データ記録部4a、顔データベース(DB)4b、サムネイル部4c、顔検出部5、角度判定部5a、大きさ判定部5b、切出部6、動画処理部7、表示部8、表示制御部8a、マルチ画像表示部8b、動画表示制御部8c、時計部9、操作判定部11、六軸センサ12、通信部14を有し、インターネット網15を介して外部サーバー20と接続可能である。
Hereinafter, a preferred embodiment will be described using a camera to which the present invention is applied according to the drawings. FIG. 1 is a block diagram showing a configuration of a
制御部1は、カメラ10内の各部と接続され、操作判定部11によって判定された操作部材等の操作に応じ、また、タイミング制御部1bによるタイミング制御に従って、カメラ10の全体制御を行う。また、制御部1は画像処理部(不図示)を有しており、画像の圧縮処理等を行う。さらに制御部1は類似判定部1aを有しており、後述する顔検出部5によって検出された複数の顔画像の類似度を判定し、撮影画像に写っている人物が誰であるかを特定する。
The
撮像部2は、被写体像を結像するための光学系、および被写体像を光電変換する撮像素子等を含み、画像データを出力する。光学系制御部3は、撮像部2内の光学系のピント合わせ等の制御を行う。記録部4は、制御部1内の画像処理部によって圧縮処理等された画像データを撮影画像として記録する。撮影画像の記録にあたっては、後述する顔検出部5において、人物像の顔の向いている角度が検出されるので、この角度を撮影画像に関連付けて特徴(角度)データ記録部4aに記録する。
The
また、記録部4は、顔データベース(DS)4bとサムネイル部4cを有する。顔データDB4bは、記録部4に記録されている撮影画像における人物像の顔の部分を集めたデータベースであり、撮影画像毎に人物を特定し、画像と人物名の組み合わせからなる。サムネイル部4cは、切出部6によって切り出された顔画像が記録されており、顔インデックスとして一覧表示の際に使用する。
The
顔検出部5は、撮影画像中に人物像が含まれる場合に、顔パターンを判定して、顔の部分を検出する。この検出結果に基づいて、露出制御や自動焦点調節(AF)等を行い、また、人物を特定する際に、顔検出部5で検出された顔に基づいて行う。顔検出部5は、角度判定部5aと大きさ判定部5bを有する。角度判定部5aは、顔検出部5によって検出された人物の顔について、顔の向いている向き(角度)を判定する。大きさ判定部5bは、検出された顔の部分の大きさを判定する。
The face detection unit 5 determines a face pattern and detects a face portion when a captured image includes a human image. Based on the detection result, exposure control, automatic focus adjustment (AF), and the like are performed, and when a person is specified, it is performed based on the face detected by the face detection unit 5. The face detection unit 5 includes an
切出部6は、顔検出部5によって検出された人物像の顔の部分に対応する画像データを切り出す。ここで切り出された顔画像のデータは、サムネイル部4cに記録されるほか、類似判定部1aにおいて行う類似判定等において使用される。動画処理部7は、種々の角度から撮影された人物の撮影画像を順次表示する際に、単に静止画として表示するだけではなく、複数画像を少しずつ変化させて再生することにより、動画のように表示するための画像処理を行う。
The cutout unit 6 cuts out image data corresponding to the face portion of the human image detected by the face detection unit 5. The face image data cut out here is recorded in the
表示部8は、カメラ10の背面等に配置された液晶モニタ等の表示装置で構成され、記録部4に記録されている画像データの再生表示を行い、また光学式ファインダの代わりに、被写体像の観察用のライブビュー表示も行う。また、記録部4に記録されている撮影画像の検索の際の表示も行う。この表示部8の表示制御を行うのが、表示制御部8aであり、マルチ画像表示部8bと動画表示制御部8cを有する。マルチ画像表示部8bは、画像検索時等に、表示部8の表示部を分割表示する。動画表示制御部8cは、画像検索の際に、インデックス顔画像等の画像を動画処理して表示する際の制御を行う。
The
時計部9は計時機能やカレンダ機能を有し、撮影時の日時情報の取得等に用いる。ここで得られた日時情報は、撮影画像を記録部4に記録する際に、一緒に記録される。操作判定部11は、ユーザーによるカメラ10の操作部材等の操作状態を判定する。この操作状態に応じて、前述したように、制御部1はカメラ10の制御を行う。六軸センサ12は、x軸、y軸、z軸の3次元方向の軸方向および軸回りにおけるカメラ10の移動を検出するセンサである。通信部14は、インターネット網15等を介してサーバー20等の機器と送受信を行う。この通信部14を介して、撮影画像を外部に送信し、また外部から画像等を受信することができる。
The clock unit 9 has a timekeeping function and a calendar function, and is used for acquiring date and time information at the time of shooting. The date and time information obtained here is recorded together when the captured image is recorded in the
次に、このように構成された本実施形態に係わるカメラ10の動作を説明する。本実施形態においては、概略、人物の向いている角度に関する情報を撮影画像と共に記録しておき、人物像の顔をサムネイル表示させた際に、顔の向いている角度と同じ向きを向いている画像を順次表示するようにしている。
Next, the operation of the
撮像部2によって撮像された静止画像は、制御部1内の画像処理部において、圧縮処理等の画像処理が施され、記録部4に撮影画像として記録される。記録された撮影画像は、表示部8に再生表示される。この撮影制御は、操作判定部11によってユーザーのカメラ操作を判定し、この判定結果に応じて、制御部1がコントロールすることにより行われる。
The still image captured by the
また、必要に応じて、撮影画像は通信部14およびインターネット網15を介して、外部サーバー20などに送信することができる。なお、通信機能を利用することにより、本実施形態における画像処理制御の一部を外部のコンピューターが代替処理するようにしてもよい。
If necessary, the captured image can be transmitted to the
撮影画像に人物が含まれる場合、顔検出部5が顔パターンを判定し、顔の部分を検出する。そして、検出された顔と、記録部4内の顔データベース4bに記録されている顔とを、類似判定部1aによって比較し、被写体が誰であるかを特定する。また、顔の眼と鼻の陰影を分析して、角度判定部5aが、顔が左右等のどちらを向いているかを判定し(角度を検出)、撮影画像に「顔の向いている角度と被写体の人物が誰か」の情報を付加し、記録部4に記録する。
When a person is included in the photographed image, the face detection unit 5 determines a face pattern and detects a face part. Then, the detected face and the face recorded in the
この撮影時における被写体の顔に関する情報の記録について、図2を用いて、説明する。人物100を撮影すると、類似判定部1aは、撮影画像100aと顔DB4bに記録されている各画像と比較し、個人名(ここでは「Bさん」と称す)を特定することができる。撮影画像の顔の向きは、角度判定部5aによって判定され、この判定結果に基づいて、撮影画像100aと、被写体と顔角度の関係が分類信号として、特徴(角度)データ記録部4aに記録される。
Recording of information relating to the face of the subject at the time of shooting will be described with reference to FIG. When the
また、このとき顔の大きさも、大きさ判定部5bによって判定される。この判定された顔の大きさのデータを用いて顔の大きさを補正し、顔DB4bに記録されている顔画像と比較し易くしている。
At this time, the size of the face is also determined by the
このように、本実施形態においては、同一人物であっても、顔の向いている角度を顔DB4bに記録し、データベース化している。データベース作成にあたっては、図3に示すように、予め、被写体である人物100を種々の角度から連写で撮影しておき、この連写撮影から得た画像データを顔DB4bに記録するようにしてもよい。このデータベース撮影の際には、カメラ10の動きを六軸センサ12によって取得し、この情報に基づいて顔の向きに関する角度情報として撮影画像と一緒に、顔DB4bに記録しておく。
Thus, in this embodiment, even if it is the same person, the angle which the face is facing is recorded on face DB4b, and it is databased. In creating the database, as shown in FIG. 3, a
また、図3に示すような連写で得た顔画像は、画像検索用のインデックス画像として用いることもできる。すなわち、切出部6によって撮影画像の顔の部分を画像データから切り出し、顔インデックス画像化して、記録部4内のサムネイル部4cに記録し、これを画像検索に利用する。また、図3に示すような連写で顔画像を得る以外にも、通常の撮影の際に得た同一人物の顔画像を、顔の向いている角度ごとに整理し、動画処理部7によって、順次、顔を動かしているように動画処理し、顔インデックス用のサムネイル画像としてもよい。
Further, the face image obtained by continuous shooting as shown in FIG. 3 can also be used as an index image for image search. That is, the face portion of the photographed image is cut out from the image data by the cut-out unit 6, is converted into a face index image, is recorded in the
サムネイル部4cに記録されたサムネイル画像は、図1に示すように、表示部8のインデックス部84にサムネイル画像81として表示される。図1に示した例では、縦に個人別の顔インデックス画像83が並べられたサムネイル画像81が表示されており、ユーザーはサムネイル画像81の中から見たい被写体(顔インデックス画像83)を選ぶと、選択された人物で同じ方向を向いている画像82が、記録部4内の特徴(角度)データ記録部4aの中から検索され、検索表示部85に表示される。
The thumbnail image recorded in the
本実施形態においては、図2を用いて説明したように、撮影の都度、顔DB4bに記憶されている顔インデックス画像と比較し、撮影画像中の各人物画像は、どのインデックスの顔に対応し、しかも、どの角度に分類されるかを判定し、判定結果を特徴データ記録部4aに記録している。したがって、これを参照することにより、選択されたインデックス顔画像83と同一人物であって、かつ同じ向きを向いている画像82を検索することができる。
In the present embodiment, as described with reference to FIG. 2, each person image in the photographed image corresponds to which face of the index each time it is photographed and compared with the face index image stored in the
また、表示部8にサムネイル画像81として表示されるインデックス顔画像83は、動画表示制御部8cによって、右向きから左向きまたは逆方向に動画的に動かし、インデックス顔画像83の顔の動きに応じて、顔の向きと同じ向きを向いている撮影画像82を表示する。したがって、インデックス顔画像83の顔の向きが変化するに連れ、撮影画像82も切り換わる。なお、このような表示制御は、表示制御部8a、および表示制御部8a内の画面分割制御するためのマルチ画像表示部8bと、動画表示制御部8cによって行われる。
Further, the
サムネイル画像81中のインデックス顔画像83の動画的表示と、これに対応して表示される撮影画像82について、図4を用いて説明する。図4(a)(b)(c)は、図3で説明した方法で撮影したAさんの画像であり、図4(a)は顔の角度がマイナス、図4(b)は顔の角度が0、図4(c)は顔の角度がプラスの場合である。
The moving image display of the
このインデックス顔画像83の顔の向きが変化するごとに、同じ人物で、同じような向きを向いた撮影画像82が検索されて、図4の右側の列に示すような撮影画像82が表示される。つまり、インデックス顔画像83が、図4(a)→(b)→(c)→(b)→(a)と変化した場合、それに応じて検索の条件が変わり、特徴(角度)データ記録部4aから、撮影画像82が選択され、図4(d)→(e)→(f)→(e)→(d)の順に、表示される撮影画像82が変化する。
Every time the face orientation of the
このようにして作成されるインデックス顔画像83の良い点は、一人の人物を多くの角度から撮影し、その人の特徴を把握できる点と、この画像そのものを図4(a)→(b)→(c)→(b)→(a)と変化させてインデックス表示することにより、ユーザーの注意を引きやすくする点にある。また、インデックス顔画像83の動画的表示に合わせて、対応する撮影画像82を表示するようにしているので、一度に多数の画像を表示せずに、表示画像を絞り込んでいることから、検索画面を整理できる。
The good points of the
この動きのあるインデックス顔画像の表示速度は、ユーザーが選択できるようにしたり、操作ごとに変化させるようにしてもよい。また、図3に示したようなインデックス画像用として撮影を行わなくとも、多くの画像の中から同一人物の顔画像を集め、顔の向きの角度ごとに分類し、これらの顔画像をモーフィング処理し、図5に示すように、インデックス顔画像83を得るようにしてもよい。モーフィング処理されたインデックス顔画像83を用い、図4で説明したのと同様、撮影画像82の画像を、図4のように切り換える。
The display speed of the index face image with movement may be selectable by the user or may be changed for each operation. Further, even if shooting is not performed for an index image as shown in FIG. 3, face images of the same person are collected from many images, classified by angle of face orientation, and these face images are morphed. Then, as shown in FIG. 5, an
なお、ここでは、特定の個人の顔角度ごと表示を行ったが、図5に示すようなモーフィング処理を前提とするならば、不特定多数の人物の画像を顔の向きの角度ごとに分類し、インデックス顔画像を変化させ、その角度に対応する画像を順次表示するようにしてもよい。また、顔の向きの角度を変えることによって動画風にインデックス表示処理を行ったが、顔の大きさや身体全体の向きの角度、または表情の変化などを動画風に処理してインデックス化してもよい。この場合でも、動画風に変化するインデックス画像の各コマに対応して類似画像を検索し、表示することは同様である。 Here, the display is performed for each face angle of a specific individual. However, if the morphing process as shown in FIG. 5 is assumed, images of an unspecified number of persons are classified according to the angle of the face direction. The index face image may be changed, and images corresponding to the angle may be sequentially displayed. In addition, the index display processing is performed in a movie-like manner by changing the angle of the face orientation. However, the size of the face, the orientation angle of the whole body, or a change in facial expression may be processed in an animated manner to be indexed. . Even in this case, it is the same to retrieve and display a similar image corresponding to each frame of the index image that changes like a moving image.
このように本実施形態においては、特定の人物画像を高速で検索することができる。また、顔の向きによって、検索される画像が変わるので、家族写真のように同じ人物が多数に撮影された場合でも、その人物について顔の向き等の条件をつけることによって、目的とする画像を容易に検索することができる。気に入った画像が見つかれば、その画像を選択することにより、表示面の画面いっぱいに拡大表示し、楽しむことができる。 Thus, in the present embodiment, a specific person image can be searched at high speed. Also, because the searched image changes depending on the orientation of the face, even if the same person is photographed in large numbers like a family photo, the target image can be obtained by setting conditions such as the orientation of the face for that person. You can search easily. If you find an image you like, you can zoom in on the full screen and enjoy it by selecting that image.
次に、図6に示すフローチャートを用いて、前述したようなサムネイル化されたインデックス顔画像83を用いて画像検索のできるカメラ10の動作を説明する。まず、撮影者が通常撮影モードに設定し、レリーズ釦の全押し操作を行ったか否か、すなわち通常撮影を行うか否かの判定を行う(S1)。
Next, the operation of the
判定の結果、通常撮影を実行する場合には、撮像部2によって撮影を行い、静止画の画像データを取得する(S2)。この後、ステップS3からステップS6において、図2に説明したように、人物を特定し、特徴(角度)データの記録を行う。まず、取得した画像データに基づいて、顔検出部5によって顔検出を行い、類似判定部1aにおいて、類似するインデックス顔画像があるか否か顔判定を行う(S3)。この判定の際に、角度判定部5aによって、顔の向いている角度も検出する。続いて、顔判定の結果、類似する顔が有るか否か判定する(S4)。
As a result of the determination, when normal shooting is executed, shooting is performed by the
ステップS4における判定の結果、類似する顔がない場合には、撮影した画像を記録部4に記録する(S6)。一方、類似する顔が有る場合には、類似顔データ、すなわち顔DB4bに記憶されている同一人物のインデックス顔画像とリンクするためのデータと、顔の向いている角度(特徴データ)と、画像を記録部4に記録する(S5)。記録部4への記録が終わると、リターンし、ステップS1に戻る。
If the result of determination in step S4 is that there are no similar faces, the photographed image is recorded in the recording unit 4 (S6). On the other hand, when there is a similar face, similar face data, that is, data for linking with the index face image of the same person stored in the
ステップS1における判定の結果、通常の撮影ではなかった場合には、データベース撮影か否かの判定を行う(S11)。このデータベース撮影は、図3を用いて説明したような、被写体である人物を種々の角度、例えば、右から左に、連続的に撮影し、インデックス顔画像83を取得するための撮影である。このステップでは、操作判定部11の出力に基づいて、この撮影モードが設定されたか否かを判定する。
If the result of determination in step S <b> 1 is not normal shooting, it is determined whether or not database shooting is performed (S <b> 11). The database photographing is photographing for acquiring the
ステップS11における判定の結果、データベース撮影が設定された場合には、撮像部2によって画像データの取得を行い(S12)、顔検出部5や類似判定部1aにおいて顔判定を行う(S13)。続いて、六軸センサ12の出力に基づいて、カメラ10の撮影方向の角度に変化があったか否かを判定する(S14)。判定の結果、角度が変わると、この角度変化ごとに、ステップS12に戻り、撮影を行う。
If database shooting is set as a result of the determination in step S11, image data is acquired by the imaging unit 2 (S12), and face determination is performed by the face detection unit 5 or the similarity determination unit 1a (S13). Subsequently, based on the output of the six-
ステップS14における判定の結果、角度変化がなくなると、所定角度分、カメラ10が移動したかを判定する(S15)。判定の結果、所定角度分の移動があれば、顔部分のみを動かすような感じで、表示できるように画像データから顔部分を切り出し、角度ごとに整理して記録部4に記録する。これにより、図4に示したようなインデックス顔画像が
記録される。一方、所定角度分の移動がない場合には、警告表示を行う(S17)。ステップS16、S17が終わると、リターンし、ステップS1に戻る。なお、所定角度としては、インデックス顔画像として表示できる程度であればよく、例えば、15度程度の角度であればよい。
If there is no angle change as a result of the determination in step S14, it is determined whether the
ステップS11における判定の結果、データベース撮影でなかった場合には、検索再生か否かの判定を行う(S21)。本実施形態においては、選択再生と、検索再生の2つの再生モードがある。判定の結果、検索再生であれば、ステップS22において検索再生を行い、そうではなかった場合には、ステップS23において、選択再生を行う。 If the result of determination in step S11 is not database shooting, it is determined whether or not search reproduction is in effect (S21). In the present embodiment, there are two playback modes: selective playback and search playback. If the result of determination is search playback, search playback is performed in step S22. If not, selective playback is performed in step S23.
選択再生は、通常の再生モードであり、記録部4に記録されている画像データを順次、再生するか、またはサムネイル表示し、選択された画像を拡大表示する。また、検索再生は、図1に示す表示部8上で、サムネイル表示されたインデックス顔画像の顔の向きを変化させながら(図4(a)(b)(c))、同じ向きを向いている撮影画像を表示させる(図4(d)(e)(f))モードである。検索再生または選択再生が終わると、リターンし、ステップS1に戻る。
The selective reproduction is a normal reproduction mode, in which image data recorded in the
次に、ステップS22における検索再生について、図7に示すフローチャートを用いて説明する。このフローに入ると、まず、サンプル画像、すなわちサムネイル画像81を表示部8のインデックス部84に表示する(S31)。続いて、ユーザーが見たいインデックス顔画像83を選択したか否かを判定する(S32)。判定の結果、選択されていた場合には、この選択されたインデックス顔画像83が図4(a)→(b)→(c)に示したように、サイクリックに変化する。
Next, the search reproduction in step S22 will be described using the flowchart shown in FIG. In this flow, first, a sample image, that is, a
このとき、選択されていないインデックス顔画像83は静止したままである。選択したインデックス顔画像83が、静止画状態から動画状態に変換するによって、ユーザーは選択されたことを把握でき、また動画像の鑑賞も兼ねて楽しめる。
At this time, the
続いて、動画表示されているインデックス顔画像83と類似する顔で、かつ同じ方向を向いている顔が写っている撮影画像82が有るか否かを検索し判定する(S34)。判定の結果、撮影画像82が検索された場合には、その撮影画像82を表示する(S35)。これによって、インデックス顔画像83の顔の向きが順次変化し、この向きに連動して同一人物で同じ向きを向いている顔が写っている撮影画像82が順次、表示される。
Subsequently, it is searched and determined whether or not there is a photographed
次に、ユーザーによって撮影画像82が選択されたか否かの判定を行う(S36)。ステップS35における撮影画像82の表示は縮小画像によって行われており、ユーザーが撮影画像82を鑑賞するために、拡大表示を望む場合には、その撮影画像82を選択する。判定の結果、選択されていない場合には、ステップS38にジャンプし、一方、選択された場合には、その画像を表示部8の表示画面に拡大表示する(S37)。続いて、検索表示を終了するか否かの判定を行い、終了する場合には、元のルーチンに戻り、一方、終了しない場合には、ステップS32に戻る。
Next, it is determined whether or not the photographed
ステップS32における判定の結果、サムネイル画像81の中からインデックス顔画像83が選択されていなかった場合には、サンプル一覧、すなわち、サムネイル画像81の切り換えを行う(S41)。表示部8には、サムネイル画像81として記録されているすべてを同時には表示することができない場合には、その一部を表示している。このステップでは、次の優先順位のサムネイル画像81の表示を行う。
If the result of determination in step S32 is that the
ステップS41における判定の結果、切り換えがない場合には、ステップS32に戻り、一方、切り換えがなされていた場合には、次のサンプル一覧、すなわちサムネイル画像81を表示し(S41)、ステップS38にジャンプする。検索再生を続行する場合には、ステップS38からステップS32に戻り、前述のステップS33以下において、検索と表示を行う。
If the result of determination in step S41 is that there is no switching, processing returns to step S32. On the other hand, if switching has been made, the next sample list, ie, the
前述した図6のフローチャートにおいては、ステップS12からステップS16において、データベース撮影を行っていたが、これに代わるモーフィング動画によるインデックス顔画像の作成について、図8を用いて説明する。この作成方法は、図3に示した撮影方法や、図6のステップS12以下で説明した特別な撮影を不要とすることができる。 In the flowchart of FIG. 6 described above, database shooting was performed from step S12 to step S16. However, creation of an index face image using a morphing video instead will be described with reference to FIG. This creation method can eliminate the photographing method shown in FIG. 3 and the special photographing described in step S12 and subsequent steps in FIG.
このモーフィング動画作成のフローチャートに入り、ステップS2と同様に撮影が行われると、この撮影画像に写っている人物が同一人物か否かの判定を行う(S51)。すなわち、記録部4に既に記録されているインデックス顔画像に類似するか否かについて判定する。続いて、この判定の結果、既に記録されているインデックス顔画像と同一であるか、つまりサンプルと同じかを判定する(S52)。判定の結果、同一の顔画像があれば、ステップS53以下でモーフィング動画画像を作成する。
When the morphing moving image creation flowchart is entered and photographing is performed in the same manner as in step S2, it is determined whether or not the person shown in the photographed image is the same person (S51). That is, it is determined whether or not the index face image is already recorded in the
まず、顔画像の角度判定を行う(S53)。この角度判定では、角度判定部5aによって顔画像の目の位置や、鼻の位置のバランス等から、顔の向いている方向の角度を判定する。続いて、切出部6によって、顔部画像の抜き出しを行い(S54)、人物と角度の関係付けを記録する(S55)。次に、記録された複数の顔の画像を、角度ごとに並び替え、前の画像と次の画像の中間画像を、図5に示すように変形作成することによって、モーフィング動画を作成する(S56)。この時、顔の大きさを揃えるために、ステップS44では、大きさ判定部5bによって、ほぼ同じ大きさの顔になるようにしている。
First, the angle of the face image is determined (S53). In this angle determination, the
例えば、図4(d)(e)(f)に示すような画像からモーフィング動画を作成する場合には、図4(d)では顔が小さく、図4(e)は顔が大きい。このように顔の大きさが異なっている場合には、画像の拡大や縮小処理を利用し、同じ大きさの顔となるように画像を切り出し、同じ大きさの顔画像となるようにそろえている。 For example, when creating a morphing video from images as shown in FIGS. 4D, 4E, and 4F, the face is small in FIG. 4D, and the face is large in FIG. If the faces are different in size, use the image enlargement or reduction process to cut out the images so that the faces are the same size, and align them so that the faces are the same size. Yes.
ステップS52における判定の結果、サンプルに同じ人物がいない場合は、すなわち、記録部4に既に記録されているインデックス顔画像83に類似していない場合には、同一人物の画像がないことから、モーフィング動画によるインデックス顔画像83を作成することができない。この場合には、同一人物について2駒目の撮影がなされた際に、モーフィング動画を作成できるようにステップS61以下のステップを実行する。
As a result of the determination in step S52, if there is no same person in the sample, that is, if it is not similar to the
まず、ステップS53と同様に角度判定を行い(S61)、顔部の画像を抜き出し、表示した際に所定の大きさになるように、サイズを調整する(S62)。続いて、ステップS55と同様に、人物と角度の関係付けを記録し(S64)、新サンプル化、すなわちインデックス顔画像として記録する(S64)。このように、モーフィング動画を行うには、同じ人物の画像を撮影するだけでよく、図3やステップS12以下のような特別な撮影動作を行う必要がない。 First, angle determination is performed in the same manner as in step S53 (S61), and the size is adjusted so that the face image is extracted and displayed to a predetermined size (S62). Subsequently, as in step S55, the relationship between the person and the angle is recorded (S64), and a new sample, that is, an index face image is recorded (S64). As described above, in order to perform the morphing moving image, it is only necessary to shoot an image of the same person, and it is not necessary to perform a special shooting operation as in FIG.
次に、ユーザーが画像検索操作を行った場合、表示部8の表示画面の移り変わりを、図9を用いて説明する。まず、検索を始めると、表示部8に表示画面8−1が表示され、インデックス部(第1検索部)84にサムネイル画像81として人物ごとにインデックス顔画像83が表示される。
Next, transition of the display screen of the
ユーザーがカメラ10の操作部材を操作して、Aさんのインデックス顔画像83を選択すると、検索表示部85にAさんが写っている撮影画像82が表示される。そして、表示画面8−2に変化すると共に、インデックス部(第2検索部)84に表示されるAさんのインデックス顔画像83の顔の向きが変化する。Aさんの顔の向きの変化に対応して検索された撮影画像82が、検索表示部85に表示される。
When the user operates the operation member of the
次に、ユーザーがBさんのインデックス顔画像83を選択すると、表示画面8−3に切り換わり、検索表示部85に表示されていたAさんの撮影画像82は消え、Bさんのインデックス顔画像83の顔が動画のように変化する。また、検索表示部85には、Bさんのインデックス顔画像83の顔の向きと同じ角度の撮影画像82が検索され表示される。
Next, when the user selects Mr. B's
このように、本実施形態におけるカメラ10は、画像検索するにあたって、個々の個人の画像で検索するのみならず、その個人の動き(具体的には顔の向き)も考慮して、画像の絞込みを行っている。また、インデックス顔画像83が動画表示されるので、選択するにあたって分かりやすいし、動画そのものを楽しむことができる。
As described above, when searching for an image, the
以上の説明では、人物の顔の向きばかりで検索する例を示したが、本実施形態の変形例として、図10に示すように、魚や花などのテーマで、検索できるようにしてもよい。また、カメラ10内ですべてを行うのではなく、通信部14を介して外部のサーバー20と連携し、ネットに繋がったパーソナルコンピュータ(PC)21において、画像検索を行うようにしてもよい。
In the above description, an example in which a search is performed based only on the orientation of a person's face has been shown. However, as a modification of the present embodiment, a search may be performed using a theme such as fish or flowers as shown in FIG. In addition, instead of performing everything in the
顔検出の技術であれば、カメラ10内に組み込んだコンピューターで十分判定処理できる。しかし、被写体によっては、外部のサーバー20やPC21で処理する構成を採用してもよい。
With the face detection technique, a computer incorporated in the
つまり、被写体によって、単純なパターンによる部分抜き出しのみならず、より高度な主被写体抜き出しの技術が必要であり、むしろ被写体の動きによって、背景と主被写体を分離する技術などを活用した方がよい。例えば、動いているものを主被写体、動かないものを背景として処理する背景分離方法である。この処理よって抜き出されたもののうち、画面中央にあるものを、たとえば代表例として、テーマ画像(インデックス画像)化すればよい。 In other words, depending on the subject, not only partial extraction with a simple pattern but also a more advanced technique for extracting the main subject is necessary, and it is better to use a technique for separating the background and the main subject by the movement of the subject. For example, there is a background separation method that processes a moving object as a main subject and a non-moving object as a background. Of those extracted by this process, the one in the center of the screen may be converted into a theme image (index image) as a representative example.
図10に示す変形例では、表示画面8−1のインデックス部84に、「ます」や「野ばら」等のテーマが、選択可能なようにインデックス画像93として表示される。これらのテーマ対象物に動きがある場合には、背景分離が可能である。インデックス画像93のいずれかを選択すると、主被写体画像(図10の例では、ます)が、表示画面8−1→表示画面8−2に示すように動き回る。そして、この主被写体画像に類似する撮影画像82が、順次、検索表示部85に表示される。
In the modification shown in FIG. 10, themes such as “mas” and “bara” are displayed as an
次に、別のテーマのインデックス画像93が選択される(図10の例では、野ばら)と、そのテーマ対象物が動画で再生表示される(表示画面8−3では、花が風に揺れる様子など)。そして、そのテーマ対象物と類似する撮影画像82(向き等も同じ)が、検索表示部85に表示される。
Next, when an
このように、同じテーマでも、その動きや構図によって見たい画像が変わる場合があり、特に、多くの画像を取捨選択して、一つのアルバムを作成するような場合、どれとどれを組み合わせるかによって、全体の雰囲気が変わる。そこで、多数の画像の中から、一番、見栄えの良い画像を選択したいとの要望があり、本実施形態では、インデックス用の画像を動画形式で動かし、その動画で示された動きの瞬間を捉えた静止画を選択するようにしている。このため、動画を楽しみながら、かつ、効果的な瞬間で、態様の類似する静止画を選択することが可能となる。このように、様々な画像を検索するのに、動画表示をインデックスとして採用することにより、一つのテーマを、様々な切り口で同一画面上に扱うことができ、また画像検索により、画像の選択や絞込みが容易になる。 In this way, even if the theme is the same, the image you want to see may change depending on its movement and composition. Especially when you select many images and create one album, depending on which and which are combined. The whole atmosphere changes. Therefore, there is a request to select the best-looking image from among many images. In this embodiment, the index image is moved in a moving image format, and the moment of movement indicated by the moving image is displayed. The captured still image is selected. Therefore, it is possible to select a still image having a similar aspect while enjoying a moving image and at an effective moment. In this way, to search various images, by adopting video display as an index, one theme can be handled on the same screen from various perspectives. Narrowing becomes easy.
以上説明したように、本実施形態においては、インデックス用の画像を動画的に順次表示し、このインデックス用の画像の動画的変化に対応する撮影画像を検索し、表示するようにしている。このため顔の向き(角度)等、分類された画像を、表示部8上に少なく操作で容易に検索することができる。
As described above, in the present embodiment, the index images are sequentially displayed in a moving image, and the photographed image corresponding to the moving image change of the index image is retrieved and displayed. For this reason, the classified images such as the orientation (angle) of the face can be easily searched on the
また、本実施形態においては、撮影時に、画像データから検出された顔の部分に基づいて、顔の角度を画像データと一緒に記録部4に記録している。このため、画像検索する際に、この顔の角度を用いて検索し表示することができ、大変便利である。また、記録部4に記録されている画像の中から、撮影した画像の顔の部分と類似した画像を検索し、この情報を含めて画像データの記録を行っている。このため、画像検索の迅速化を図ることができる。
In the present embodiment, the angle of the face is recorded in the
なお、本実施形態においては、サムネイル画像81を表示するインデックス部84と、撮影画像82を表示する検索表示部85を同一画面で表示していたが、これに限らず、例えば、それぞれ異なる画面であっても勿論かまわない。また、撮影画像82の顔の部分を検出して、角度判定、大きさ判定や類似判定を行っていたが、顔に限らず、体全体や、目の部分等、身体で判別できる箇所であればよい。
In the present embodiment, the
また、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。また、動的表示とは、複数の静止画像を順次表示することにより、あたかも動画のように表示することと、複数の静止画像から中間の画像を画像処理によって生成し、これらの画像を順次表示することにより動画のように表示することのいずれも含まれる。 In the embodiment of the present invention, the digital camera is used as the photographing device. However, the camera may be a digital single-lens reflex camera or a compact digital camera, and may be a mobile phone or a portable information terminal ( Of course, a camera built in PDA (Personal Digital Assist) or the like may be used. Dynamic display means displaying multiple still images in sequence, displaying them as if they were moving images, generating intermediate images from multiple still images by image processing, and displaying these images sequentially. By doing so, it is included to display like a moving image.
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
1・・・制御部、1a・・・類似判定部、1b・・・タイミング制御部、2・・・撮像部、3・・・光学系制御部、4・・・記録部、4a・・・特徴(角度)データ記録部、4b・・・顔データベース(DB)、4c・・・サムネイル部、5・・・顔検出部、5a・・・角度判定部、5b・・・大きさ判定部、6・・・切出部、7・・・動画処理部、8・・・表示部、8a・・・表示制御部、8b・・・マルチ画像表示部、8c・・・動画表示制御部、9・・・時計部、11・・・操作判定部、12・・・六軸センサ、14・・・通信部、15・・・インターネット網、20・・・外部サーバー、81・・・サムネイル画像、82・・・撮影画像、83・・・インデックス顔画像、84・・・インデックス部、85・・・検索表示部、93・・・インデックス画像、8−1・・・表示画面、8−2・・・表示画面、8−3・・・表示画面
DESCRIPTION OF
Claims (4)
表示部と、
上記画像記録部に含まれる画像データから顔の部分を検出する顔検出部と、
上記顔検出部によって検出された顔の部分が向いている角度を判定する角度判定部と、
顔の向きがそれぞれ異なる角度を向いている複数の顔画像を記録したサムネイル部と、
上記サムネイル部の記録した複数の顔画像の中から選択された顔画像と、上記顔検出部によって検出された顔との類似を判定する類似判定部と、
上記類似判定部により類似すると判定された顔の部分を含む画像データを、上記表示部に表示させる表示制御部と、
を有することを特徴とする画像検索装置。 An image recording unit for storing a plurality of image data;
A display unit;
A face detection unit for detecting a face portion from the image data included in the image recording unit;
An angle determination unit that determines an angle at which the face portion detected by the face detection unit is facing;
A thumbnail part that records a plurality of face images with different face orientations,
A similarity determination unit that determines similarity between a face image selected from the plurality of face images recorded in the thumbnail portion and the face detected by the face detection unit;
A display control unit that causes the display unit to display image data including a face portion determined to be similar by the similarity determination unit;
An image search apparatus comprising:
上記検出された顔の部分が向いている角度を判定する角度判定ステップと、
大きさを揃えた顔の向きがそれぞれ異なる角度を向いている複数の顔画像の中から選択された顔画像と、上記顔検出部によって検出された顔とが類似であることを判定する類似判定ステップと、
上記類似すると判定された顔の部分を含む画像データを、上記表示部に表示させる表示制御ステップと、
を有することを特徴とする画像検索方法。 A face detection step of detecting a face portion from each image data of a plurality of images included in the image recording unit;
An angle determination step for determining an angle at which the detected face portion is facing;
Similarity determination that determines that a face image selected from a plurality of face images in which the orientations of the faces having the same size are directed at different angles are similar to the face detected by the face detection unit Steps,
A display control step for causing the display unit to display image data including the face portion determined to be similar;
An image search method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012174892A JP5368614B2 (en) | 2012-08-07 | 2012-08-07 | Image search apparatus and image search method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012174892A JP5368614B2 (en) | 2012-08-07 | 2012-08-07 | Image search apparatus and image search method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007287107A Division JP5064173B2 (en) | 2007-11-05 | 2007-11-05 | camera |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013188240A Division JP5613304B2 (en) | 2013-09-11 | 2013-09-11 | Image search apparatus and image search method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012234566A true JP2012234566A (en) | 2012-11-29 |
JP5368614B2 JP5368614B2 (en) | 2013-12-18 |
Family
ID=47434749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012174892A Expired - Fee Related JP5368614B2 (en) | 2012-08-07 | 2012-08-07 | Image search apparatus and image search method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5368614B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015049353A (en) * | 2013-08-30 | 2015-03-16 | 株式会社ベネッセコーポレーション | Information processor, information processing method, and program |
JP2020507833A (en) * | 2016-12-30 | 2020-03-12 | フェイスブック,インク. | System and method for transitioning between media content items |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004086625A (en) * | 2002-08-27 | 2004-03-18 | Hitoshi Hongo | Customer information managing device |
JP2006213146A (en) * | 2005-02-02 | 2006-08-17 | Toyota Motor Corp | Face direction determination device of driver |
JP2006338221A (en) * | 2005-06-01 | 2006-12-14 | Ntt Communications Kk | Image generation/storage device, image generation/storage method and image generation/storage program |
JP2006343791A (en) * | 2005-06-07 | 2006-12-21 | Hitachi Ltd | Face image database preparation method |
WO2007020789A1 (en) * | 2005-08-12 | 2007-02-22 | Sony Computer Entertainment Inc. | Face image display, face image display method, and face image display program |
JP2007073076A (en) * | 2006-12-04 | 2007-03-22 | Fujifilm Corp | Ic card |
-
2012
- 2012-08-07 JP JP2012174892A patent/JP5368614B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004086625A (en) * | 2002-08-27 | 2004-03-18 | Hitoshi Hongo | Customer information managing device |
JP2006213146A (en) * | 2005-02-02 | 2006-08-17 | Toyota Motor Corp | Face direction determination device of driver |
JP2006338221A (en) * | 2005-06-01 | 2006-12-14 | Ntt Communications Kk | Image generation/storage device, image generation/storage method and image generation/storage program |
JP2006343791A (en) * | 2005-06-07 | 2006-12-21 | Hitachi Ltd | Face image database preparation method |
WO2007020789A1 (en) * | 2005-08-12 | 2007-02-22 | Sony Computer Entertainment Inc. | Face image display, face image display method, and face image display program |
JP2007073076A (en) * | 2006-12-04 | 2007-03-22 | Fujifilm Corp | Ic card |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015049353A (en) * | 2013-08-30 | 2015-03-16 | 株式会社ベネッセコーポレーション | Information processor, information processing method, and program |
JP2020507833A (en) * | 2016-12-30 | 2020-03-12 | フェイスブック,インク. | System and method for transitioning between media content items |
JP7134974B2 (en) | 2016-12-30 | 2022-09-12 | メタ プラットフォームズ, インク. | Systems and methods for transitioning between media content items |
Also Published As
Publication number | Publication date |
---|---|
JP5368614B2 (en) | 2013-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9013604B2 (en) | Video summary including a particular person | |
EP1929368B1 (en) | Image capture method and device also capturing audio | |
JP4760892B2 (en) | Display control apparatus, display control method, and program | |
JP5837922B2 (en) | Ranking key video frames based on camera position | |
US20120293686A1 (en) | Video summary including a feature of interest | |
JP5025782B2 (en) | Image search apparatus and image search method | |
JP2010010936A (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
KR101739379B1 (en) | Digital photographing apparatus and control method thereof | |
JP2011160044A (en) | Imaging device | |
JP2009077026A (en) | Imaging apparatus and method, and program | |
KR101737086B1 (en) | Digital photographing apparatus and control method thereof | |
JP5064173B2 (en) | camera | |
JP5368614B2 (en) | Image search apparatus and image search method | |
JP2009060355A (en) | Imaging apparatus, imaging method, and program | |
US9407825B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and storage medium | |
JP5613304B2 (en) | Image search apparatus and image search method | |
JP5176776B2 (en) | camera | |
JP2010213052A (en) | Imaging apparatus, imaging method, and imaging program | |
JP4842232B2 (en) | Imaging apparatus and image reproduction apparatus | |
JP2012029119A (en) | Display control device, camera and display device | |
JP2012027678A (en) | Image display device and program | |
JP2015192336A (en) | Image processing device and digital camera | |
JP5269639B2 (en) | Imaging apparatus and communication system | |
JP5613285B2 (en) | IMAGING DEVICE, IMAGING METHOD, DISPLAY DEVICE, AND DISPLAY METHOD | |
JP5722399B2 (en) | Image processing apparatus, image processing method, and photographing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130531 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130819 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130912 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5368614 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |