JP2004297167A

JP2004297167A - Image display apparatus and image display system

Info

Publication number: JP2004297167A
Application number: JP2003083386A
Authority: JP
Inventors: Osamu Nonaka; 修野中
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-03-25
Filing date: 2003-03-25
Publication date: 2004-10-21

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image display apparatus that can simply be applied to a mobile phone and a camera or the like and has a personal appearance discrimination display function capable of objectively evaluating its own figure in an easily understandable way even by an unskillful person and to provide an image display system. <P>SOLUTION: The image display apparatus is provided with: an imaging element 3a for acquiring a first portrait image; an image processing section 5 for detecting a face or a whole body of the first portrait image acquired by the imaging element 3a; a second memory 12 for storing a plurality of second portrait images; a comparison search section for comparing the face or the whole body of the first portrait image detected by the image processing section 5 with the face or the whole body of the second portrait images and searching for the second portrait image similar to the first portrait image; and a reproduction control section 8 for applying display control to the image of the imaging result by the imaging element 3a and the search result by the comparison searching section. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、人物画像を検出して所定のサンプル写真又は著名なモデルや芸能人と比較する事によって、自分のイメージ、即ち自分の姿を客観的に評価できる撮影表示装置及び撮像表示システムに関する。
【０００２】
【従来の技術】
近年、カメラの分野では、フィルム式のカメラからデジタル式のカメラに移行が進んでおり、また、携帯電話にもデジタル式のカメラの技術を利用した撮像機構が内蔵されたものが普及している。一般に、これらのデジタル撮像機構を有する機器では、画像の撮像と表示とを１つの機器内で行うことが可能である。
【０００３】
一方、デジタル撮像機構を有する機器の撮像機能及び表示機能を用いて、さらにユーザに対して魅力ある商品を提供する事が模索されている。このような商品の一例として、化粧品や美容の分野では、特許文献１のように撮像手段や画像処理手段を利用した顔の判定装置や、特許文献２のような上記機能に画像処理機能を利用した髪型確認装置等の提案がなされている。
【０００４】
【特許文献１】
特開平１１−１６９３５８号公報
【０００５】
【特許文献２】
特開平８−１３０７３２号公報
【０００６】
【発明が解決しようとする課題】
しかし、これらの技術は、専ら専門家を対象としているものであり、所定の条件下での撮影が求められる。このため、一般のユーザが簡単に利用できるような装置ではなかった。
【０００７】
本発明は、上記の事情に鑑みてなされたものであり、携帯電話やカメラなどにも簡単に応用でき、しかも素人にもわかりやすく、かつ自分の姿を客観的に評価できる容姿判定表示機能を有する撮像表示装置及び撮像表示システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第１の態様の撮像表示装置は、第１の人物画像を取得する撮像手段と、上記撮像手段によって取得された第１の人物画像の少なくとも顔部若しくは全身の画像を検出する検出手段と、第２の人物画像を複数記憶する人物記憶手段と、上記検出手段で検出した第１の人物画像の顔部若しくは全身の画像と第２の人物画像の顔部若しくは全身の画像とを比較する比較手段と、上記比較手段の比較の結果に基づいて、上記第１の人物画像と類似する第２の人物画像を上記人物記憶手段の中から検索する検索手段と、上記撮像手段による撮像結果及び上記検索手段による検索結果の画像を表示させる表示制御手段とを具備する。
この第１の態様の撮像表示装置によれば、撮像した第１の人物画像がどの画像と類似しているかが容易に比較できるので、素人にもわかりやすく、自分の姿を客観的に評価できる。
【０００９】
また、上記の目的を達成するために、本発明の第２の態様の撮像表示装置は、第１の態様の撮像表示装置において、上記表示制御手段は、上記顔部若しくは上記全身の画像が、上記第１の人物画像と上記第２の人物画像とで、画面上の上下方向において同じ寸法となるように電子ズームして上記撮像結果の画像及び上記検索結果の画像を表示させる。
この第２の態様の撮像表示装置によれば、第１の画像と第２の画像を表示制御手段で表示させる時に画像の寸法が同じになるようにズームを行うので、画像の比較が容易である。
【００１０】
また、上記の目的を達成するために、本発明の第３の態様の撮像表示装置は、第１の態様の撮像表示装置において、上記の目的を達成するために、本発明の第３の態様の撮像表示装置は、上記人物記憶手段は、上記第２の人物画像と共にこの人物の詳細情報も記憶し、上記表示制御手段は、上記撮像結果の画像及び上記検索結果の画像の２つの画像を並列表示させる並列表示制御手段と、上記人物記憶手段に記憶された上記詳細情報を表示させる詳細情報表示手段とをさらに含む。
【００１１】
また、上記の目的を達成するために、本発明の第４の態様の撮像表示装置は、第３の態様の撮像表示装置において、上記詳細情報は、上記第２の人物画像に対応する人物の固有名詞情報を含む。
【００１２】
これら第３及び第４の態様の撮像表示装置によれば、第１の人物画像と第２の人物画像を並列表示できるので、画像の比較が容易であり、また、第２の人物画像に対応する人物の詳細情報も知ることが可能である。
【００１３】
また、上記の目的を達成するために、本発明の第５の態様の撮像表示装置は、第１の態様の撮像表示装置において、上記表示手制御段は、上記撮像結果の画像と上記検索結果の画像の２つの画像を重ね合わせて表示させる重ね合わせ表示制御手段を含む。
【００１４】
この第５の態様の撮像表示装置によれば、第１の人物画像と第２の人物画像を表示させる時に重ね合わせ表示が可能である。
【００１５】
また、上記の目的を達成するために、本発明の第６の態様の撮像表示装置は、第１の態様の撮像表示装置において、上記表示制御手段は、上記撮像結果の画像と上記検索結果の画像の２つの画像で相異する部分を強調して表示させる強調表示手段を含む。
【００１６】
この第６の態様の撮像表示装置によれば、第１の人物画像と第２の人物画像の相違部分を強調して表示させることができるので、２つの画像の比較が容易である。
【００１７】
また、上記の目的を達成するために、本発明の第７の態様の撮像表示装置は、第１の態様の撮像表示装置において、上記撮像結果の画像と上記検索結果の画像の２つの画像の類似度を算出し、この類似度を数値化する類似度算出手段と、上記類似度算出手段によって上記数値化された類似度を表示させる類似度表示手段とをさらに具備する。
【００１８】
また、上記の目的を達成するために、本発明の第８の態様の撮像表示装置は、第１の態様の撮像表示装置において、上記撮像結果の画像と上記検索結果の画像の２つの画像の相異度を算出し、この相異度を数値化する相異度算出手段と、上記相異度算出手段によって上記数値化された相異度を表示させる相異度表示手段とをさらに具備する。
【００１９】
これら、第７及び第８の態様の撮像表示装置によれば、類似度又は相違度を数値化して表示できるので、２つの画像の比較が視覚的にも容易である。
【００２０】
また、上記の目的を達成するために、本発明の第９の態様の撮像表示装置は、第１の態様の撮像表示装置において、上記検出手段は、上記第１の人物画像から、少なくとも顔の輪郭、目の位置、鼻の位置、口の位置を検出する顔部検出手段を含み、上記比較手段は、上記顔部検出手段によって検出された上記第１の人物画像の顔の輪郭、目の位置、鼻の位置、口の位置と、上記第２の人物画像の顔の輪郭、目の位置、鼻の位置、口の位置とを比較する。
【００２１】
この第９の態様の撮像表示装置によれば、顔部の画像により、第１の人物画像と第２の人物画像との比較が可能である。
【００２２】
また、上記の目的を達成するために、本発明の第１０の態様の撮像表示装置は、第１の態様の撮像表示装置において、上記検出手段は、上記第１の人物画像のうち、少なくとも人物の服装に相当する画像を除外して検出する全身検出手段を含み、上記比較手段は、上記全身検出手段によって検出された上記第１の人物画像の全身の画像と、上記第２の人物画像の全身の画像とを比較する。
【００２３】
この第１０の態様の撮像表示装置によれば、全身の画像により、第１の人物画像と第２の人物画像との比較が可能である。
【００２４】
また、上記の目的を達成するために、本発明の第１１の態様の撮像表示装置は、第１の態様の撮像表示装置において、光投射手段と、上記光投射手段から投射された反射光を受光して反射光量分布データを得る受光手段とをさらに具備し、上記検出手段は、上記受光手段からの反射光量分布データによって、上記検出を行う。
【００２５】
この第１１の態様の撮像表示装置によれば、光投射手段を投射することによって得られた反射光量分布データによって、より正確な検出が可能である。
【００２６】
また、上記の目的を達成するために、本発明の第１２の態様の撮像表示装置は、第１の態様の撮像表示装置において、上記第１の人物画像及び上記第２の人物画像は３次元的な画像情報を有する。
【００２７】
この第１２の態様の撮像表示装置によれば、３次元的な画像情報により、より正確な画像の検索が可能である。
【００２８】
また、上記の目的を達成するために、本発明の第１３の態様の撮像表示装置は、第１の態様の撮像表示装置において、上記撮像手段によって上記第１の人物画像を取得するときの構図状態に基づいて、上記検出手段の検出用パラメータを変更する。
【００２９】
この第１３の態様の撮像表示装置によれば、撮影時の構図状態により、検出手段の検出用パラメータを変更するので、より正確な特徴部の検出が可能である。
【００３０】
また、上記の目的を達成するために、本発明の第１４の態様の撮像表示システムは、第１の人物画像を取得する撮像手段と、この撮像手段によって取得された第１の人物画像の顔の部分若しくは全身のプロポーションの画像を検出する検出手段とを含むカメラと、第２の人物画像を複数記憶する人物記憶手段と、上記検出手段による検出結果と類似する第２の人物画像を上記人物記憶手段の中から検索する検索手段とを含む人物画像検索サーバと、上記カメラと上記人物画像検索サーバとの間の通信を行う通信手段とを具備する。
【００３１】
この第１４の態様の撮像表示システムによれば、カメラ側の構成を簡略化できる。
【００３２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。それに先立って、まず図２及び図３を用いて本発明の概念について説明する。図２は本発明の撮像表示システムの構成図であり、図３はこの撮像表示システムにおける動作を示す概念図である。この撮像表示システムは、カメラ１００と人物画像検索サーバコンピュータ（以下、サーバと称する）１０１と、これらの間の通信接続を行う通信手段１０３とから構成されている。なお、ここでのカメラ１００は、所謂デジタルカメラに限らず、デジタル撮像機構を有する携帯機器、例えばカメラ機能付きの携帯電話なども想定している。また、サーバ１０１は、例えばハードディスクからなるデータベース（人物記憶手段）１０２と接続されている。
【００３３】
即ち、カメラ１００によって撮影された被写体２０の画像（第１の人物画像）は、その画像の顔部又は全身（ここでの全身の画像とは人物のプロポーションが分かる画像のことを言う）の画像が検出された後、通信手段１０３を介してサーバ１０１に送信される。サーバ１０１では、図３（ａ）に示すように、送信された第１の人物画像とデータベース１０２に格納された複数の第２の人物画像１０２ａとが比較され、類似の画像が検索される。このデータベース１０２に格納された第２の人物画像１０２ａは、例えばモデルや著名な芸能人の画像である。また、このデータベース１０２には、第２の人物画像１０２ａの他に、このモデルに関する詳細情報を示すデータも格納されている。この詳細情報は、タレントやモデルの所属する事務所に、肖像権の許す範囲で提供してもらうものである。
【００３４】
さらに、この第２の人物画像１０２ａの人物には、グラビアやポスターに用いられるような化粧が施されていてもよいが、後に詳しく説明する画像比較及び画像検索のために、複雑なポーズの画像は格納せず、バストアップ画像や全身画像等の動きのない単純な画像を格納しておく。
【００３５】
第１の人物画像と第２の人物画像の比較の結果、第１の人物画像と類似の第２の人物画像がデータベース１０２から検索される。この検索の後、サーバ１０１から、第２の人物画像のデータがカメラ１００に送信される。カメラ１００は、データベース１０２から送信された画像と撮影した被写体２０の画像とをカメラの表示部１０に表示させる。なお、この表示部１０の表示画面において、符号１０ａで示すのが、カメラ１００で撮影された第１の人物画像である。また、符号１０ｂで示すのが、第２の人物画像である。この表示時には、第１の人物画像１０ａと第２の人物画像１０ｂとを並列表示することが好ましい（並列表示制御手段）。このような並列表示を行うことにより、自分がどのようなモデルのイメージに近いかを客観的な目で知ることができる。また、この並列表示時には、第１の人物画像１０ａと第２の人物画像１０ｂとが画面上の上下方向において同じ寸法となるように電子ズームして表示させることがより好ましい。
【００３６】
さらに、データベース１０２に格納されたモデルの詳細情報を符号１０ｃで示すようにして文字表示させてもよい（詳細情報表示手段）。この詳細情報を見たユーザは今後の化粧の参考にしたり、髪型を決める時の参考とする事ができる。
【００３７】
また、図３（ｂ）のように、被写体２０の画像と、検索された類似モデルの画像との間で相異する部分を検出して、２像を重ね合せて表示させ（重ね合わせ表示制御手段）、その中で上記相異する部分を、例えば色を変えるなどして強調表示させてもよい（強調表示制御手段）。
【００３８】
さらに、相異する部分の面積の割合を１００％から差し引いて、符号１０ｄで示すように数値表示すれば（類似度算出手段、類似度表示手段）、被写体とモデル画像との類似度を数値化でき、そのモデルのようになりたいと憧れるユーザは、その数値を１００％に近づけるように、髪型を変えたり服装を変えたりすることができる。図３（ｂ）で示す類似度を、相異する部分の面積の割合を表示することで相異度として表示させてもよい。
【００３９】
次に、このような制御手順を図４を用いて説明する。なお、この制御は、サーバ内のメインコンピュータ又はカメラ自体のＣＰＵによって行われるものであるが、ここでは、これらを総称して制御部と称する。
【００４０】
即ち、被写体２０の画像がカメラ１００で撮影されたとき、又はサーバ１０１に被写体２０の画像が送信されたときに、このフローチャートの制御が開始する。このフローチャートにおいて、まず、制御部は、撮影された画像の中から顔部に相当する画像の検出を行う（ステップＳ１）。なお、この画像の検出は、全身の画像でもよい。次に、制御部は、検出された顔部分の画像と類似する画像をデータベース１０２の中から検索する（ステップＳ２）。次に、データベース１０２の中から検索された画像とカメラ１００によって撮影された画像とを図３（ａ）のように並列表示する（ステップＳ３）。この後、制御部は、相違部を強調して表示させるか否か、即ちユーザ操作により相違部を強調して表示させるように指示されたか否かを判定する（ステップＳ４）。このステップＳ４の判定において、相違部を強調して表示させると判定した場合には、ステップＳ４をステップＳ５に分岐する。即ち、この場合に、制御部は２つの画像を重ね合わせ表示するために、何れかの画像を拡大又は縮小する、所謂電子ズームを行った後（ステップＳ５）、図３（ｂ）のように重ね合せ表示し（ステップＳ６）、さらに相異部の色を変えて強調表示を行う（ステップＳ７）。なお、相異部の色を変えずに、点滅表示にしてもよい。
【００４１】
次に制御部は、ユーザによりデータベース１０２から検索された画像のモデルの詳細情報表示の要求がなされたか否かを判定する（ステップＳ８）。このステップＳ４の判定において、モデルの詳細情報表示の要求がなされたと判定した場合に、制御部は、モデルの名前（固有名詞）や、そのモデルが持つとされるイメージ等の詳細データを文字表示する（ステップＳ９）。一方、モデルの詳細情報表示の要求がなされていないと判定した場合は、次のステップに移行する。
【００４２】
さらに、制御部は、ユーザによるアドバイスの要求があるか否かを判定する（ステップＳ１０）。このステップＳ１０の判定において、ユーザによるアドバイスの要求があると判定した場合に、制御部は、髪型や化粧方法について、どこを変えれば、さらにモデルに近づくことができるのかについてのアドバイスを行う（ステップＳ１１）。このアドバイスは、例えば幾つかのパターンのコメントをカメラ１００又はサーバ１０１に記憶させておき、ステップＳ７で強調表示した部分に応じて、最適なコメントを選択してユーザに告知すればよい。例えば、図３（ｂ）の例では、「髪型を少し軽い感じにしてみましょう」というメッセージを、例えば音声により再生する。また、相異部として、唇の色が違うことが判定された場合は、モデルが使ったルージュの銘柄を表示するようにしてもよい。一方、ステップＳ１０の判定において、アドバイスの要求がないと判定した場合は、次のステップに移行する。
【００４３】
この後、制御部は、ユーザによる画像の再撮影又は画像の再送信がなされたか否かを判定する（ステップＳ１２）。この判定において、画像の再撮影又は画像の再送信がなされたと判定した場合には、ステップＳ１に戻り、再び画像の検索を行う。また、画像の再撮影又は画像の再送信がなされていないと判定した場合には、次の類似画像を検索するように要求されたか否かを判定する（ステップＳ１３）。この判定において、次の類似画像を検索するように要求されたと判定した場合には、ステップＳ２に戻る。一方、次の類似画像を検索するように要求されていないと判定した場合には、ユーザによる終了指示がなされたか否か判定する（ステップＳ１４）。この判定において、まだ終了指示がなされていないと判定した場合には、ステップＳ１２に戻る。一方、ユーザによる終了指示がなされたと判定した場合、制御部は、このフローチャートの制御を終了する。
【００４４】
［第１の実施形態］
本発明の第１の実施形態について図１を用いて説明する。図１は、本発明の撮像表示装置としてのカメラ１００と、このカメラ１００を含む撮像表示システムの詳細な構成を示すブロック図である。なお、このカメラ１００は、画像データをサーバ１０１に通信しなくとも類似画像の検索を行うことが可能である。
【００４５】
即ち、カメラ１００は、撮影レンズ２ａ，２ｂ、撮像素子３ａ，３ｂ（撮像手段及び受光手段）、アナログ／デジタル（Ａ／Ｄ）変換部４、画像処理部５（検出手段）、第１のメモリ６、ストロボ部７（光投射手段）、再生制御部（表示制御手段）８、スピーカ９、表示部（ＬＣＤ）１０、通信部１１、第２のメモリ１２、比較検索部（比較手段及び検索手段）１３から構成されている。
【００４６】
この図１のカメラ１００において、被写体２０の像は、撮影レンズ２ａを介してＣＭＯＳセンサなどの撮像素子３ａに導かれ、この撮像素子３ａにおいて、被写体２０の像が電気信号（被写体像信号）に変換される。また、このカメラ１００は、撮影レンズ２ｂ及び撮像素子３ｂからなるサブ撮像部も有している。即ち、このカメラ１００は、別の位置からも被写体２０を撮影することもでき、これにより、３次元的な画像情報を得ることもできる。以下は、撮像素子３ｂの説明は省略し、撮像素子３ａのみについて説明する。
【００４７】
撮像素子３ａで得られた被写体像信号は、アナログ／デジタル（Ａ／Ｄ）変換部４でデジタル化された後、画像処理部５で色バランスの調整等の画像処理がなされて画像信号が生成される。このようにして生成された画像信号は、圧縮（符号化）が行われた後、第１のメモリ６に記録される。
【００４８】
ＣＰＵ１は、このような撮影制御等を行う制御部であり、操作スイッチ１ａやレリーズスイッチ１ｂ等の操作状態を判定して、それに応じた制御を開始する。また、ＣＰＵ１は、ストロボ制御も行い、撮影時の必要に応じてストロボ部７を制御して、露出用の補助光を被写体２０に対して投射する。
【００４９】
さらに、ＣＰＵ１は、再生制御部８により、ＬＣＤ１０上に画像を表示させる。このＬＣＤ１０に表示させる画像は、第１のメモリ６に記録された画像、撮影中の被写体２０の画像、又は第２のメモリ１２の画像である。さらにＣＰＵ１は、再生制御部８を制御してスピーカ９によって音声情報も再生する。
【００５０】
第１の実施形態では、第２の人物画像（以下、モデル画像と称する）の検索をカメラ１００自身に行わせることが可能である。この場合には、予めサーバ１０１から通信部１１を介してサーバ１０１と通信を行い、モデル画像のデータを取得して、カメラ１００内の第２のメモリ（人物画像記憶部）１２に記憶させておく。または、比較検索部１３の要求を受けたＣＰＵ１がその度に、データベース１０２からモデル画像のデータを取得するように制御を行い、取得したモデル画像のデータを第２のメモリに格納するようにしてもよい。なお、第１の実施形態の通信部１１によって行われる通信は、無線通信を想定している。なお、図１においては、サーバ１０１側にも比較検索部３３が設けられており、サーバ内の制御部（メインコンピュータ）３１の制御の下で類似画像の検索を行うことが可能である。
【００５１】
比較検索部１３は、第１のメモリ６に記憶された被写体２０と類似度の高いモデル画像を第２のメモリ１２から検索する。その結果に基づいて、ＣＰＵ１は、第２のメモリ１２から検索されたモデル画像をＬＣＤ１０上に表示させる。
【００５２】
図５（ａ）及び図５（ｂ）は、第１の実施形態のカメラ１００の外観図を示す。このカメラ１００の前面パネル１００ａは、図５（ａ）のように開くことが可能である。即ち、前面パネル１００ａを開くと、スピーカ９、ＬＣＤ１０、及び操作ボタン群１ａが現れる。ユーザは、この操作ボタン群１ａを操作することによって、類似画像の検索や並列表示等の操作を行うことが可能である。また、このＬＣＤ１０は、ユーザが自分自身を撮影する際のファインダ代わりにもなる。即ちユーザは、このＬＣＤ１０に表示された画像を見ながら、撮影時の構図を決定することが可能である。
【００５３】
図５（ｂ）は、カメラ１００の背面の外観図を示している。ユーザはファインダ部１０ｅを観察しながら構図を決定することができる。また、このときにレリーズボタン１ｂを押せば、上記レリーズスイッチ１ｂがＯＮして、撮影制御が開始し、一般のカメラと同様に、撮影レンズ２ａを介して得られた画像の撮影が行われる。
【００５４】
ここで、自分自身の画像を撮影する場合には、図６のように、領域１０ｆの部分（顔部）のみが撮影された画像となる。ＣＰＵ１は、顔の形の画像情報や、目と鼻の部分の陰影の情報、髪の毛の影の情報等によって撮影された画像が顔部２０ａであることを検出する。または、被写体までの距離の遠近によって顔部であることを検出してもよい。即ち、被写体までの距離が遠い場合には、顔部の画像ではないとする。
【００５５】
ここで、顔部の検出が困難な時には、ストロボ部７によりストロボ光を被写体に投射して撮影を行う。このときの顔部検出の制御を図７（ａ）のフローチャートで示して簡単に説明する。
【００５６】
即ち、顔部２０ａの検出が行えなかった場合は、ＣＰＵ１は、そのときのストロボ発光なし状態の被写体像信号をＣＰＵ１内の図示しないメモリ（ＲＡＭ）に記憶させる（ステップＳ２１）。次に、ストロボ部７を制御してストロボ光を被写体２０に投射して撮像を行い、被写体像信号を取得する（ステップＳ２２）。次に、ステップＳ２１とステップＳ２２とで取得した被写体像信号の差分信号を作成する（ステップＳ２３）。そして、その差分信号から、反射光量データの距離分布を検出する（ステップＳ２４）。そして、この距離分布のパターンを判定することにより（ステップＳ２５）、より正確な顔部検出を行う（ステップＳ２６）。被写体に、ストロボ光を投射した場合、その反射光量の分布は、距離が遠い被写体ほど小さく、近い被写体ほど大きい。即ち、図７（ｂ）に示すように、被写体にストロボ光を投射することにより、例えば、鼻等のより被写体に近い部分の反射光量が大きく検出されるので、より正確な顔部検出を行うことができる。なお、図７（ｂ）において、縦軸、横軸はそれぞれ、光量及び輝度を示している。
【００５７】
このようなカメラ１００における類似画像の表示制御は、図４のフローチャートに従って行われる。ここで、図４のステップＳ２の類似画像の比較及び検索の手順について、さらに詳しく説明する。
【００５８】
図８（ａ）は、カメラ１００によって撮影された人物画像（第１の人物画像）の例を示す。一般に、カメラ１００で被写体２０を撮影する場合のカメラ１００と被写体２０の位置関係、距離、及び角度等は、撮影時の構図等によって異なり、常に同じ画像が撮影されるとは限らない。これでは、第２のメモリ１２から類似のモデル画像（第２の人物画像）を検索することが困難であるので、第１の人物画像と第２のメモリ１２に格納されているモデル画像との比較を簡単に行うことができるように、第２のメモリ１２に格納されている画像の大きさと撮影後の画像の大きさ（顔の大きさ或いは全身像の大きさ）を合わせる。
【００５９】
このために、画像処理部５において、まず、第１の人物画像の眉から顎の距離を検出し、これをａ_０とする。そして、このａ_０が所定の値ａになるように、図８（ｂ）のように電子ズームによる画像の拡大・縮小を行う。この後、２像の顔の輪郭、目の位置、鼻の位置、口の位置とを比較するために、輪郭部（横）と鼻すじまでの距離ｂ、鼻すじと目の間の距離ｃ、目の幅ｄ、及び目と口の間の距離ｅを検出する。一般に、人物の顔は左右対称であるので、図８（ａ）に示す左向きの人物画像と図８（ｃ）に示す右向きの人物画像とは、何れか一方のデータを反転して用いることでデータを共用することが可能である。
【００６０】
これら検出した値のうち、ｂとｃの比率によって、人物の顔が正面を向いているのか又は横を向いているのかを判定する。図８（ｃ）及び図８（ｄ）は、第２のメモリ１２に格納されているモデル画像の例である。このモデル画像は、予め眉と顎の間の距離がａに正規化された状態で格納されている。ここで、図８（ｃ）は横を向いた状態のモデル画像を示し、図８（ｄ）は正面を向いた状態のモデル画像を示す。
【００６１】
なお、サーバ１０１のデータベース１０２内に格納しておくモデル画像は、季節や年度によって更新して、最もユーザが参考にしたい画像を用意できるようにする。このデータベース１０２に格納されたモデル画像が第２のメモリ１２に格納される。
【００６２】
第２のメモリ１２から類似画像を比較及び検索する場合には、上記ａ，ｂ，ｃ，ｄ，ｅの各検出用パラメータの他に、図８（ｅ）及び図８（ｆ）に示す検出用パラメータθ_１〜θ_８を用いる。
【００６３】
まず、人物が横を向いている時には、図８（ｅ）のように、顔の横側の輪郭（図中縦線で示す）を基準にして、この輪郭と両目の上まぶた（眼球とまぶたの境界線）のなす角θ_１及びθ_２、輪郭と鼻のなす角θ_３、及び輪郭と顎のなす角θ_４を用いる。
【００６４】
一方、人物が正面を向いている場合には、図８（ｆ）に示す顔の横側の輪郭（図中縦線で示す）を基準として、この輪郭と上まぶた（眼球とまぶたの境界線）のなす角θ_５、輪郭と顎のなす角θ_６、輪郭と鼻翼のなす角θ_７、及び輪郭と眉のなす角θ_８を用いる。
【００６５】
さらに、類似画像の検索は、顔部だけでなく、図９のような全身のプロポーションの類似度によっても検索できる。これは、顔は似ていなくとも、全体的にかもし出す雰囲気で、誰かに似ているという例を想定している。即ち、撮影された画像が、顔部のアップでない時には、顔部の高さｇや、髪の毛の厚みｈ、及び肩幅ｉの比率によって検索を行う。これらの各値は、予めデータベース１０２に、画像データと共に格納されているものである。
【００６６】
なお、これら検出用パラメータ、即ちａ〜ｅ、ｇ〜ｉ、θ_１〜θ_４、及びθ_５〜θ_９は、撮影された画像の陰影から算出するようにしてもよいし、モニタ上からユーザ操作により計測できるようにしてもよい。後者の場合には、モニタ（ＬＣＤ１０等）上に２つの線を表示して、これらの線をユーザ操作により移動させて各部に定規のように当てることにより、各長さの算出及び角度の算出が行われるようにプログラムを構成する。
【００６７】
第１の実施形態では、撮影された画像が顔部のアップであるか否か、又は顔部のアップでも正面を向いているか横を向いているのかといった撮影時の構図状態によって、検出用パラメータ変更して類似画像の比較検索を行う。
【００６８】
図１０は、カメラ１００のＣＰＵ１が判定することを想定した類似画像検索のフローチャートである。画像の撮影が行われた後、ＣＰＵ１は、得られた画像が顔部のアップであるか否かを判定する（ステップＳ３１）。
【００６９】
このステップＳ３１の判定において、得られた画像が顔部のアップであると判定した場合に、ＣＰＵ１は、撮影後の画像から眉と顎の間の距離ａ_０を検出する（ステップＳ３２）。このａ_０は、被写体２０とカメラ１００との距離やカメラ１００に備えられたレンズの倍率によっても変化するので、この値を一定値としておかないと、第２のメモリ１２内のモデル画像と比較することが困難になる。そこで、ＣＰＵ１は、撮影後の画像のａ_０をモデル画像のａに合わせるために、撮影後の画像をａ／ａ_０倍に電子ズーム（ステップＳ３３）する。その後、残りの検出用パラメータを検出する。顔部の画像であるので、ここでは、検出用パラメータｂ〜ｅを検出する（ステップＳ３４〜Ｓ３７）。
【００７０】
次に、ＣＰＵ１は、こうして得られた検出用パラメータのうち、ｂとｃの比率より、顔が正面を向いているか、又は横を向いているのかを検出し（ステップＳ３８）、その結果から、顔が正面を向いているか否かを判定する（ステップＳ３９）。
【００７１】
ステップＳ３９の判定において、顔が正面を向いていると判定した場合に、ＣＰＵ１は、検出用パラメータθ_５〜θ_８を検出する（ステップＳ４０）。なお、正面向きの画像では光線の具合によって鼻すじ等が検出できない場合があるので、ＣＰＵ１は、θ_５〜θ_８の検出が不可能であったか否かを判定する（ステップＳ４１）。このステップＳ４１の判定において、θ_５〜θ_８が検出できなかったと判定した場合に、ＣＰＵ１は、撮影者に、被写体２０にストロボ光を投射しての再撮影を要求し（ステップＳ４２）、得られた画像から再びθ_５〜θ_８の検出を行う（ステップＳ４３）。これでもθ_５〜θ_８が検出できなかったと判定した場合には、撮影レンズ２ｂ及び撮像素子３ｂからなるサブ撮像部のデータを利用して（ステップＳ４５）、顔の起伏を加味してθ_５〜θ_８の検出を行う（ステップＳ４６）。その後、ＣＰＵ１は、得られた撮影後の画像の各検出用パラメータと第２のメモリに格納された画像の検出用パラメータを比較して、類似のデータを持つモデル画像を検索する（ステップＳ４７）。この検索は、類似のデータを持つモデル画像の中で、最も類似度の高いものを検索するようにする。類似画像の検索が終了した後は、このフローチャートの制御を終了する。
【００７２】
一方、ステップＳ３９の判定において、顔が横を向いていると判定した場合に、ＣＰＵ１は、検出用パラメータθ_５〜θ_８を検出する（ステップＳ４８）。後の制御は、ステップＳ４１〜Ｓ４７と同様なので、ここでは説明を省略する。なお、顔が横向きの場合には顔が正面向きの場合と異なり、検出用パラメータθ_５〜θ_８が検出できる可能性が高いので、ステップＳ４９〜ステップＳ５４までの処理を省略して、ステップＳ４８の後にステップＳ５５の処理を行うようにしてもよい。
【００７３】
また、ステップＳ３１の判定において、顔のアップ写真でないと判定した場合に、ＣＰＵ１は、図９に示した検出用パラメータｇ、ｈ、ｉを検出した後（ステップＳ５６〜Ｓ５８）、検出用パラメータを比較して類似度の高い画像を検索する（ステップＳ５９）。類似画像検索が終了した後は、このフローチャートの制御を終了する。
【００７４】
以上説明したように、第１の実施形態によれば、携帯電話やカメラなどにも簡単に応用でき、しかも素人にもわかりやすく、自分の姿を客観的に評価できる容姿判定表示機能を有する撮像表示装置を提供することができる。即ち、デジタルカメラや携帯電話等に撮像部を有する場合、撮影時の条件が多種多様であるので、画面上における人物画像の大きさや角度等が一定にはならないが、第１の実施形態では、顔の大きさを正規化することで、比較時の条件を一定にしている。特に、髪型は変化する事が多いので、眉と顎の間の距離をそろえるようにしたが、頭頂部と顎の間の距離を用いたり、目と口の間の距離を利用してもよい。また、目と鼻の間の距離は、顔が横向きの時には変化するので、第１の実施形態では、この距離を用いて顔の向き判定を行っている。さらに顔画像のアップの画像と全身像では類似度算出の目的が異なるので、それぞれの比較に用いる検出用パラメータを変更している。
【００７５】
また、データベース内に、顔が正面向きや横向きなどの画像を揃えておけば、複数のパターンから選択できるので、多少の顔の向きの変化による判定誤差をなくす事ができる。さらに判定に必要な部分のみを取り出して比較するようにし、画像処理によって輪郭検出を行うが、それでも不明瞭な場合には、ストロボ等の発光を行い、反射光量分布データによって得られた像情報も加味して、背景等を判別することもできる。
【００７６】
［第２の実施の形態］
次に、本発明の第２の実施形態について説明する。この例は、カメラ１００には単に検出用パラメータの検出のみを行わせ、後の処理をサーバ１０１側に行わせるものである。このため、カメラ１００内部に、画像を比較検索するための比較検索部１３及び第２の人物画像を記憶させるための第２のメモリ１２が必要ない。なお、構成については、第１の実施形態とほぼ同様なので詳しい説明を省略する。
【００７７】
まず、カメラ１００側の制御を図１１のフローチャートを用いて説明する。即ち、カメラ１００のＣＰＵ１は、まず、画像比較のために、画像の大きさの正規化を行う。即ち、図１０と同様に眉と顎の間の距離ａ_０を検出し（ステップＳ６１）、これが所定の大きさａとなるような係数Ｋ（＝ａ／ａ_０）を算出する（ステップＳ６２）。次に、この係数Ｋが所定値Ｋ_０よりも大きいか否かを判定する（ステップＳ６３）。係数Ｋが所定値Ｋ_０よりも大きいと判定した場合には、画面内におけるａ_０の割合が小さいということである。即ち、この場合には、図１２（ａ）のような全身の画像であると判定する（ステップＳ６４）。一方、ステップＳ６３の判定において、係数Ｋが所定値Ｋ_０以下であると判定した場合には顔画像と判定する。
【００７８】
次に、ＣＰＵ１は、画像の輪郭部を検出するエッジ検出処理を行い（ステップＳ６５）、この人物の輪郭（顔又は全身）の画像を検出する（ステップＳ６６）。次に、通信された画像が顔部の画像であったか否かを判定する（ステップＳ６７）。このステップＳ６７の判定において、通信された画像が図１３（ａ）のような顔部画像であると判定した場合には、頭部、即ち顔の輪郭画像を検出する（ステップＳ６８）。次に図１３（ｂ）に示すように顔以外の背景の画像を黒く塗りつぶす処理を行う（ステップＳ６９）。ここで、背景の判定法としては、光を投射して、反射光がない部分を背景と判定するようにすればよい。このように背景を黒く塗りつぶすのは、余計なデータを用いずに、人物の顔の目鼻立ちを重視して画像の比較を行うためである。背景を黒に塗りつぶした後、人物の髪の毛の部分を図１３（ｃ）のように白く塗りつぶす処理を行う（ステップＳ７０）。髪の毛の部分を除去するのは、例えば自分に似合う髪型を、モデル画像の中から選びたい場合、現在の髪型に影響を受けた状態で類似度を算出しても意味をなさないからである。
【００７９】
一方、ステップＳ６７の判定において、通信された画像が顔部の画像ではないと判定した場合に、ＣＰＵ１は、図１２（ａ）のように人物の全身画像以外の画像を黒く塗りつぶす処理を行う（ステップＳ７１）。次に、図１２（ｂ）のように人物の服装部を白く塗りつぶす処理を行う（ステップＳ７２）。これは、服装の柄などによって、誤判断が起こるのを防止したものであり、ユーザがモデルの服装などを参考にして、ファッションを決める時に、現在被写体２０が着ている服装と類似の服装を選んでしまうのを防止している。このように、髪型を含めた体型から、似ている雰囲気又はプロポーションの人物をモデルとして選定したいので、服装部の明暗データは無視している。
【００８０】
以上のような画像処理を行った後、ＣＰＵ１は、眉と顎の間の距離ａ_０をａにする電子ズームを行う（ステップＳ７３）。この後、顔部画像の明暗変化を所定のレベルで２値化して（ステップＳ７４）、この２値化情報に付加情報を持たせてサーバ１０１に送信する（ステップＳ７５）。この付加情報は、カメラのＩＤ、撮影駒番号の情報や、送信した２値化情報が顔部画像であるのか全身画像であるのかを示す情報などを含む。カメラＩＤは、サーバ１０１から検索結果をカメラ１００に送り返す時に参照される。サーバ１０１に情報を送信した後、ＣＰＵ１は、現在どの駒番号の画像の類似度を算出しようとしているのかを内蔵のＲＡＭ等に記憶させる（ステップＳ７６）。これは、サーバ１０１から返されたデータに基づいて、図１２（ｃ）のような並列表示を行うためである。このように並列表示を行えば、自分と同じような体型のモデルがどのような服装をすれば、どのような雰囲気になるかが分かり、イメージチェンジする時のファッションの参考とする事ができる。
【００８１】
次に、サーバ１０１側の制御について図１４（ａ）及び図１４（ｂ）を用いて説明する。サーバ１０１は、２値化情報を受信すると（ステップＳ８１）、その受信した情報の付加情報より、受信した画像が顔部のアップ画像であるか否かを判定する（ステップＳ８２）。そして、その結果により、データベース１０２の母体を切りかえて検索を行う。即ち、顔部画像であると判定した場合にはデータベース１０２に格納された顔部画像データの中から類似画像の検索を行い（ステップＳ８３）、顔部画像でないと判定した場合にはデータベース１０２に格納された全身画像データの中から類似画像の検索を行う（ステップＳ８４）。このときの画像の比較は、図１５に示すように画像を重ね合せてその差異を検出するパターンマッチングなどの手法を用いる。そして、２つの画像の明暗変化が類似（白画像と黒画像の一致度が高い）のモデル画像を検索し、類似のモデル画像を取得する（ステップＳ８５）。次に、サーバ１０１は、取得した類似のモデル画像情報に、カメラＩＤ及び元の画像の駒番号情報を付加してカメラ１００側に送信する（ステップＳ８６）。
【００８２】
ユーザは、サーバ１０１に対してさらに詳細な情報を要求することもできる。このような詳細な情報を送信するように要求を受けたサーバ１０１は、図１４（ｂ）に従った制御を行う。即ち、詳細な情報の送信要求を受けたサーバ１０１は、この詳細な情報を単なる文字情報として送信すればよいのか、又は音声によるアドバイスのほうがよいのかを判定する（ステップＳ８７）。
【００８３】
ステップＳ８７の判定において、ユーザからの要求が音声によるアドバイスであると判定した場合には、サーバ１０１から、例えばメイキャップの専門家に連絡すると同時に画像の送信を行う（ステップＳ８８）。そして、専門のメイキャッププロが電話でコメントしたり相談を受けつけるようにする。
【００８４】
一方、ステップＳ８７の判定において、ユーザからの要求が文字情報による要求であると判定した場合には、検索された画像のモデル名や、ファッションのブランド名やヘアメイク、化粧品等の情報や、自分がどのようなモデルに似ていて、どうすれば、似たような印象により近づくことができるのかといった情報等を、画像と共にカメラ１００側に送信する（ステップＳ８９）。
【００８５】
図１６は、サーバ１０１から情報を受信した後のカメラ１００の制御を説明するためのフローチャートである。このカメラ１００のＣＰＵ１は、サーバ１０１からのデータを受信したか否かを判定する（ステップＳ９１）。この判定においてデータを受信したと判定すると、受信したデータの付加情報の読み取りを行う（ステップＳ９２）。これにより、サーバ１０１に何駒目の画像の類似画像を検索させたのかが分かるので、これに対応する画像を第１のメモリ６内から検索する（ステップＳ９３）。そして、図３（ａ）のようにＬＣＤ１０に並列表示を行う（ステップＳ９４）。
【００８６】
さらにＣＰＵ１は、ユーザによる操作スイッチ群１ａの操作状態を判定して、、相違部を表示するモードに切り換えられたか否かを判定する（ステップＳ９５）。このステップＳ９５の判定において相異部を表示すると判定した場合に、ＣＰＵ１は、並列表示していた２像を重ね合せ表示し（ステップＳ９６）、相違部の強調表示として、相違する部分を点滅表示させ（ステップＳ９７）、髪型決定や化粧の参考にできるようにする。なお、サーバ１０１側では、図１５のようにして行ったパターンマッチングにより１度重ね合せた時の画像情報があるので、サーバ１０１は、この重ねあわせたときの画像情報も送信するようにしてもよい。これは、実際に重ね合わせた画像データを送信すればよい。また、パターンマッチング時の座標シフトデータでもよい。
【００８７】
次に、ＣＰＵ１は、所定時間が経過したか否かを判定し（ステップＳ９８）、所定時間が経過したと判定した場合には、並列表示又は重ね合わせ表示を終了して、このフローチャートの制御を終了する。一方、ステップＳ９８の判定において、所定時間が経過していないと判定した場合には表示を続ける。なお、ここでは、所定時間で表示を終了させるようにしているが、ユーザの操作状態を判定することにより表示の終了を行うようにしてもよい。
【００８８】
以上説明したように、第２の実施形態によれば、カメラ内に膨大なデータベースや、画像比較検索用の処理回路を内蔵する必要がなくなるので、より豊富な画像データから一致度の高いものを高速で検索する事ができ、ユーザが好みに合致した画像を選ぶことができる。なお、１回の検索で最適な画像が選べるとは限らないので、幾つかの候補を選べるように、サーバから複数の画像データを送受信するようにしてもよい。
【００８９】
以上実施の形態に基づいて本発明を説明したが、本発明は前述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記した実施の形態では、カメラとサーバとの通信を無線通信としたが、カメラで撮影したデータをＵＳＢ等を用いてパーソナルコンピュータ（ＰＣ）に転送し、このＰＣからＷｅｂを経由してサーバに撮影データを送信し、逆にサーバからＰＣ経由でデータベースのモデル画像データをカメラ内の第２のメモリに格納するといった方法を用いる間接的な方法を用いてもよい。
【００９０】
さらに、上記した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【００９１】
【発明の効果】
以上説明したように、本発明によれば、携帯電話やカメラなどにも簡単に応用でき、しかも素人にもわかりやすく、かつ自分の姿を客観的に評価できる容姿判定表示機能を有する撮像表示装置及び撮像表示システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の撮像表示システムの詳細な構成を示すブロック図である。
【図２】本発明の撮像表示システムの構成図である。
【図３】本発明の撮像表示システムにおける動作を示す概念図である。
【図４】本発明の撮像表示システムにおける制御手順を示すフローチャートである。
【図５】本発明の第１の実施形態の撮像表示装置としてのカメラの外観図である。
【図６】本発明の第１の実施形態の撮像表示装置としてのカメラを用いて自分自身を撮影したときの画像例である。
【図７】顔部検出について説明するための図である。
【図８】顔部画像用の検出用パラメータを説明するための図である。
【図９】全身画像用の検出用パラメータを説明するための図である。
【図１０】本発明の第１の実施形態の撮像表示装置としてのカメラによる画像検索の制御を示すフローチャートである。
【図１１】本発明の第２の実施形態の撮像表示システムにおけるカメラがサーバにデータを転送するまでの制御を示すフローチャートである。
【図１２】全身画像に行う画像処理を説明するための図である。
【図１３】顔部画像に行う画像処理を説明するための図である。
【図１４】本発明の第２の実施形態の撮像表示システムにおけるサーバ側の制御を示すフローチャートである。
【図１５】パターンマッチングを説明するための図である。
【図１６】本発明の第２の実施形態の撮像表示システムにおけるカメラにサーバからデータが送られた後の制御を示すフローチャートである。
【符号の説明】１…ＣＰＵ、２ａ，２ｂ…撮影レンズ、３ａ，３ｂ…撮像素子、４…アナログ／デジタル（Ａ／Ｄ）変換部、５…画像処理部、６…第１のメモリ、７…ストロボ部、８…再生制御部、９…スピーカ、１０…表示部（ＬＣＤ）、１１…通信部、１２…第２のメモリ、１３…比較検索部、１００…カメラ、１０１…人物画像検索サーバコンピュータ（サーバ）、１０２…データベース、１０３…通信手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a photographing display device and a photographing display system capable of objectively evaluating one's own image, that is, one's figure by detecting a person image and comparing it with a predetermined sample photograph or a famous model or entertainer.
[0002]
[Prior art]
In recent years, in the field of cameras, the transition from a film-type camera to a digital-type camera has been progressing, and mobile phones having a built-in imaging mechanism using digital camera technology have become widespread. . In general, devices having these digital imaging mechanisms can capture and display images in a single device.
[0003]
On the other hand, it has been sought to provide more attractive products to users by using the imaging function and display function of a device having a digital imaging mechanism. As an example of such a product, in the field of cosmetics and beauty, a face determination device using an imaging unit and an image processing unit as in Patent Literature 1, and an image processing function in the above function as in Patent Literature 2 are used. There has been proposed a hairstyle checking device and the like.
[0004]
[Patent Document 1]
JP-A-11-169358
[0005]
[Patent Document 2]
JP-A-8-130732
[0006]
[Problems to be solved by the invention]
However, these techniques are intended exclusively for professionals and require imaging under predetermined conditions. For this reason, it is not an apparatus that can be easily used by general users.
[0007]
The present invention has been made in view of the above circumstances, and has a form determination display function that can be easily applied to a mobile phone, a camera, and the like, is easy for an amateur to understand, and can objectively evaluate one's figure. It is an object to provide an imaging display device and an imaging display system having the same.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, an image pickup and display device according to a first aspect of the present invention includes an image pickup unit for obtaining a first person image, and at least a face portion of the first person image obtained by the image pickup unit. Alternatively, detection means for detecting an image of the whole body, person storage means for storing a plurality of second person images, and image of the face or whole body of the first person image and the second person image detected by the detection means A comparison unit that compares the image of the face or the whole body, and a search for searching a second person image similar to the first person image from the person storage unit based on a result of the comparison by the comparison unit. Means, and display control means for displaying an image of a result of the image pickup by the image pickup means and an image of a result of the search by the search means.
According to the imaging display device of the first aspect, it is possible to easily compare with which image the captured first person image is similar, so that it is easy for an amateur to understand, and his / her figure can be objectively evaluated. .
[0009]
In order to achieve the above object, the imaging display device according to the second aspect of the present invention is the imaging display device according to the first aspect, wherein the display control means includes an image of the face or the whole body, The first person image and the second person image are electronically zoomed so that they have the same size in the vertical direction on the screen, and the image of the captured result and the image of the search result are displayed.
According to the imaging display device of the second aspect, when the first image and the second image are displayed by the display control means, the zoom is performed so that the dimensions of the images are the same, so that the comparison of the images is easy. is there.
[0010]
According to a third aspect of the present invention, there is provided an imaging and display device according to the third aspect of the present invention, wherein the third aspect of the present invention is provided to achieve the above object. In the imaging display device, the person storage means also stores detailed information of the person together with the second person image, and the display control means stores two images of the image of the imaging result and the image of the search result. The apparatus further includes a parallel display control unit for performing parallel display, and a detailed information display unit for displaying the detailed information stored in the person storage unit.
[0011]
Further, in order to achieve the above object, an imaging display device according to a fourth aspect of the present invention is the imaging display device according to the third aspect, wherein the detailed information includes information on a person corresponding to the second person image. Contains proper noun information.
[0012]
According to the imaging display devices of the third and fourth aspects, the first person image and the second person image can be displayed in parallel, so that the images can be easily compared, and the second person image can be displayed. It is also possible to know the detailed information of the person who does.
[0013]
In order to achieve the above object, a fifth aspect of the present invention is directed to the imaging and display device according to the first aspect, wherein the display hand control unit includes an image of the imaging result and the search result. And superimposed display control means for superimposing and displaying two images of the images.
[0014]
According to the imaging display device of the fifth aspect, when displaying the first person image and the second person image, it is possible to perform superimposed display.
[0015]
In order to achieve the above object, an imaging display device according to a sixth aspect of the present invention is the imaging display device according to the first aspect, wherein the display control means includes an image of the imaging result and an image of the search result. And highlighting means for highlighting different parts of the two images.
[0016]
According to the imaging display device of the sixth aspect, the difference between the first person image and the second person image can be emphasized and displayed, so that the two images can be easily compared.
[0017]
Further, in order to achieve the above object, an imaging display device according to a seventh aspect of the present invention provides the imaging display device according to the first aspect, wherein the two images of the imaging result image and the retrieval result image are obtained. The apparatus further includes a similarity calculating unit that calculates the similarity and quantifies the similarity, and a similarity displaying unit that displays the quantified similarity by the similarity calculating unit.
[0018]
In order to achieve the above object, an imaging display device according to an eighth aspect of the present invention is directed to the imaging display device according to the first aspect, wherein the two images of the image of the imaging result and the image of the search result are obtained. The apparatus further includes a dissimilarity calculating means for calculating the dissimilarity and quantifying the dissimilarity, and a dissimilarity display means for displaying the dissimilarity quantified by the dissimilarity calculating means. .
[0019]
According to the imaging display devices of the seventh and eighth aspects, the degree of similarity or the degree of difference can be quantified and displayed, so that the two images can be visually compared easily.
[0020]
In order to achieve the above object, an imaging display device according to a ninth aspect of the present invention is the imaging display device according to the first aspect, wherein the detecting means detects at least a face from the first person image. A face detection unit configured to detect a contour, an eye position, a nose position, and a mouth position; and the comparing unit includes a face outline of the first person image detected by the face detection unit; The position, nose position, and mouth position are compared with the face outline, eye position, nose position, and mouth position of the second person image.
[0021]
According to the imaging display device of the ninth aspect, the first person image and the second person image can be compared with the image of the face.
[0022]
In order to achieve the above object, an imaging and display device according to a tenth aspect of the present invention is the imaging and display device according to the first aspect, wherein the detecting means includes at least a person in the first person image. The whole person detecting means for detecting the whole body of the first person image detected by the whole body detecting means and the second person image of the second person image. Compare with whole body image.
[0023]
According to the imaging display device of the tenth aspect, it is possible to compare the first person image and the second person image with the whole body image.
[0024]
In order to achieve the above object, an imaging display device according to an eleventh aspect of the present invention is directed to the imaging display device according to the first aspect, further comprising: a light projecting unit; and a reflected light projected from the light projection unit. And a light receiving means for receiving reflected light quantity distribution data to obtain reflected light quantity distribution data. The detecting means performs the detection based on reflected light quantity distribution data from the light receiving means.
[0025]
According to the imaging display device of the eleventh aspect, more accurate detection can be performed based on the reflected light amount distribution data obtained by projecting the light projecting means.
[0026]
In order to achieve the above object, a twelfth aspect of the present invention provides the imaging display device according to the first aspect, wherein the first person image and the second person image are three-dimensional. Image information.
[0027]
According to the imaging display device of the twelfth aspect, more accurate image search can be performed by using three-dimensional image information.
[0028]
In order to achieve the above object, the imaging display device according to a thirteenth aspect of the present invention provides a composition when the first imaging device acquires the first person image in the imaging display device according to the first aspect. The detection parameter of the detection means is changed based on the state.
[0029]
According to the imaging display device of the thirteenth aspect, since the detection parameter of the detection means is changed depending on the composition state at the time of shooting, more accurate detection of the characteristic portion is possible.
[0030]
In order to achieve the above object, an imaging display system according to a fourteenth aspect of the present invention includes an imaging unit for acquiring a first person image, and a face of the first person image acquired by the imaging unit. A camera including detection means for detecting an image of a portion or a whole body proportion, a person storage means for storing a plurality of second person images, and a second person image similar to the detection result obtained by the detection means. A person image search server including a search unit for searching from the storage unit, and a communication unit for performing communication between the camera and the person image search server are provided.
[0031]
According to the imaging display system of the fourteenth aspect, the configuration on the camera side can be simplified.
[0032]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. Prior to that, the concept of the present invention will be described first with reference to FIGS. FIG. 2 is a configuration diagram of the imaging and display system of the present invention, and FIG. 3 is a conceptual diagram illustrating an operation in the imaging and display system. This imaging display system includes a camera 100, a person image search server computer (hereinafter, referred to as a server) 101, and a communication unit 103 for making a communication connection therebetween. Note that the camera 100 here is not limited to a so-called digital camera, but is also assumed to be a mobile device having a digital imaging mechanism, for example, a mobile phone with a camera function. Further, the server 101 is connected to a database (person storage means) 102 composed of, for example, a hard disk.
[0033]
That is, the image (first person image) of the subject 20 captured by the camera 100 is an image of the face or the whole body (the whole body image here is an image in which the proportions of the person can be understood). Is transmitted to the server 101 via the communication means 103. In the server 101, as shown in FIG. 3A, the transmitted first person image is compared with a plurality of second person images 102a stored in the database 102, and a similar image is searched. The second person image 102a stored in the database 102 is, for example, an image of a model or a famous celebrity. The database 102 also stores data indicating detailed information on the model in addition to the second person image 102a. This detailed information is to be provided to the talent or model's office to the extent permitted by the portrait right.
[0034]
Further, the person in the second person image 102a may be provided with makeup such as that used for gravure and posters, but the image in a complicated pose is used for image comparison and image search described in detail later. Is stored, and a simple image without motion such as a bust-up image or a whole-body image is stored.
[0035]
As a result of the comparison between the first person image and the second person image, a second person image similar to the first person image is searched from the database 102. After this search, the data of the second person image is transmitted from the server 101 to the camera 100. The camera 100 displays the image transmitted from the database 102 and the captured image of the subject 20 on the display unit 10 of the camera. Note that, on the display screen of the display unit 10, what is indicated by reference numeral 10 a is the first human image captured by the camera 100. A second person image is indicated by reference numeral 10b. During this display, it is preferable to display the first person image 10a and the second person image 10b side by side (parallel display control means). By performing such a parallel display, it is possible to objectively know what kind of model image oneself is close to. Further, at the time of this parallel display, it is more preferable that the first person image 10a and the second person image 10b are displayed by electronic zoom so that they have the same size in the vertical direction on the screen.
[0036]
Further, the detailed information of the model stored in the database 102 may be displayed as characters as indicated by reference numeral 10c (detailed information display means). The user who sees this detailed information can refer to future makeup or to determine a hairstyle.
[0037]
Further, as shown in FIG. 3B, a different part is detected between the image of the subject 20 and the searched image of the similar model, and the two images are superimposed and displayed (superimposed display control). Means), the different portions may be highlighted by changing the color, for example (highlighting control means).
[0038]
Further, if the ratio of the area of the different part is subtracted from 100% and numerically displayed as indicated by reference numeral 10d (similarity calculating means, similarity displaying means), the similarity between the subject and the model image is digitized. A user who wants to be like the model can change his hairstyle or clothes so that the numerical value approaches 100%. The similarity shown in FIG. 3B may be displayed as the degree of difference by displaying the ratio of the area of the different part.
[0039]
Next, such a control procedure will be described with reference to FIG. Note that this control is performed by the main computer in the server or the CPU of the camera itself. Here, these are collectively referred to as a control unit.
[0040]
That is, when the image of the subject 20 is captured by the camera 100 or when the image of the subject 20 is transmitted to the server 101, the control of this flowchart starts. In this flowchart, first, the control unit detects an image corresponding to the face from the captured images (step S1). The detection of this image may be an image of the whole body. Next, the control unit searches the database 102 for an image similar to the detected image of the face part (step S2). Next, an image retrieved from the database 102 and an image captured by the camera 100 are displayed side by side as shown in FIG. 3A (step S3). Thereafter, the control unit determines whether or not to display the different part in an emphasized manner, that is, whether or not an instruction has been issued by the user operation to emphasize and display the different part (step S4). If it is determined in step S4 that the different part is to be displayed in an emphasized manner, step S4 branches to step S5. That is, in this case, after performing so-called electronic zoom for enlarging or reducing one of the images to superimpose and display the two images (step S5), as shown in FIG. Superimposed display is performed (step S6), and highlighting is performed by changing the color of the different part (step S7). Note that the display may be blinking without changing the color of the different part.
[0041]
Next, the control unit determines whether or not the user has made a request for displaying detailed information of the model of the image retrieved from the database 102 (step S8). If it is determined in step S4 that a request for displaying detailed information of the model has been made, the control unit displays the model name (proper noun) and detailed data such as an image assumed to be possessed by the model in text. (Step S9). On the other hand, when it is determined that the request for displaying the detailed information of the model has not been made, the process proceeds to the next step.
[0042]
Further, the control unit determines whether there is a request for advice from the user (step S10). If it is determined in step S10 that there is a request for advice by the user, the control unit provides advice on where to change the hairstyle and the makeup method so that the model can be closer to the model (step S10). S11). For this advice, for example, some patterns of comments may be stored in the camera 100 or the server 101, and an optimum comment may be selected and notified to the user according to the portion highlighted in step S7. For example, in the example of FIG. 3B, a message “Let's make the hairstyle feel a little lighter” is reproduced, for example, by voice. When it is determined that the lips have different colors as different parts, the brand of the rouge used by the model may be displayed. On the other hand, if it is determined in step S10 that there is no request for advice, the process proceeds to the next step.
[0043]
Thereafter, the control unit determines whether or not the user has re-captured the image or re-transmitted the image (Step S12). If it is determined in this determination that the image has been recaptured or the image has been retransmitted, the process returns to step S1, and the image is searched again. If it is determined that the image has not been recaptured or retransmitted, it is determined whether or not a search for the next similar image has been requested (step S13). If it is determined in this determination that a search for the next similar image has been requested, the process returns to step S2. On the other hand, when it is determined that the search for the next similar image has not been requested, it is determined whether or not the end instruction has been given by the user (step S14). In this determination, if it is determined that the termination instruction has not been issued, the process returns to step S12. On the other hand, if it is determined that the end instruction has been given by the user, the control unit ends the control of this flowchart.
[0044]
[First Embodiment]
A first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing a detailed configuration of a camera 100 as an imaging display device of the present invention and an imaging display system including the camera 100. The camera 100 can search for a similar image without communicating image data to the server 101.
[0045]
That is, the camera 100 includes photographing lenses 2a and 2b, image pickup devices 3a and 3b (image pickup unit and light receiving unit), an analog / digital (A / D) conversion unit 4, an image processing unit 5 (detection unit), and a first memory. 6, strobe unit 7 (light projection unit), reproduction control unit (display control unit) 8, speaker 9, display unit (LCD) 10, communication unit 11, second memory 12, comparison search unit (comparison unit and search unit) 13).
[0046]
In the camera 100 shown in FIG. 1, an image of the subject 20 is guided to an image sensor 3a such as a CMOS sensor via a photographing lens 2a. In the image sensor 3a, the image of the subject 20 is converted into an electric signal (subject image signal). Is converted. The camera 100 also has a sub-imaging unit composed of a photographing lens 2b and an image sensor 3b. That is, the camera 100 can also photograph the subject 20 from another position, thereby obtaining three-dimensional image information. Hereinafter, description of the imaging element 3b will be omitted, and only the imaging element 3a will be described.
[0047]
The subject image signal obtained by the image sensor 3a is digitized by an analog / digital (A / D) converter 4 and then subjected to image processing such as color balance adjustment by an image processor 5 to generate an image signal. Is done. The image signal generated in this way is recorded in the first memory 6 after compression (encoding) is performed.
[0048]
The CPU 1 is a control unit that performs such photographing control and the like, determines the operation state of the operation switch 1a, the release switch 1b, and the like, and starts control according to the operation state. The CPU 1 also performs strobe control, controls the strobe unit 7 as necessary at the time of shooting, and projects an auxiliary light for exposure to the subject 20.
[0049]
Further, the CPU 1 causes the reproduction control unit 8 to display an image on the LCD 10. The image displayed on the LCD 10 is an image recorded in the first memory 6, an image of the subject 20 being photographed, or an image of the second memory 12. Further, the CPU 1 controls the reproduction control unit 8 to reproduce sound information through the speaker 9.
[0050]
In the first embodiment, it is possible to cause the camera 100 itself to search for a second person image (hereinafter, referred to as a model image). In this case, the server 101 communicates with the server 101 via the communication unit 11 in advance, acquires model image data, and stores the model image data in the second memory (person image storage unit) 12 in the camera 100. deep. Alternatively, the CPU 1 receiving the request of the comparison and retrieval unit 13 controls each time to acquire the model image data from the database 102 and stores the acquired model image data in the second memory. Is also good. The communication performed by the communication unit 11 of the first embodiment is assumed to be wireless communication. In FIG. 1, a comparison search unit 33 is also provided on the server 101 side, and similar images can be searched under the control of the control unit (main computer) 31 in the server.
[0051]
The comparison search unit 13 searches the second memory 12 for a model image having a high similarity to the subject 20 stored in the first memory 6. Based on the result, the CPU 1 causes the LCD 10 to display the model image retrieved from the second memory 12.
[0052]
FIGS. 5A and 5B are external views of the camera 100 according to the first embodiment. The front panel 100a of the camera 100 can be opened as shown in FIG. That is, when the front panel 100a is opened, the speaker 9, the LCD 10, and the operation button group 1a appear. By operating the operation button group 1a, the user can perform operations such as searching for similar images and parallel display. The LCD 10 also serves as a finder when the user takes a picture of himself / herself. That is, the user can determine the composition at the time of shooting while viewing the image displayed on the LCD 10.
[0053]
FIG. 5B is an external view of the rear surface of the camera 100. The user can determine the composition while observing the viewfinder 10e. If the release button 1b is pressed at this time, the release switch 1b is turned on, and the photographing control is started, and an image obtained through the photographing lens 2a is photographed as in a general camera.
[0054]
Here, when an image of one's own is taken, as shown in FIG. 6, only the portion (face) of the area 10f is an image taken. The CPU 1 detects that the image captured by the face shape image information, the shadow information of the eyes and the nose part, the shadow information of the hair, and the like is the face 20a. Alternatively, the face may be detected based on the distance to the subject. That is, when the distance to the subject is long, it is determined that the image is not a face image.
[0055]
Here, when it is difficult to detect the face, the strobe unit 7 projects strobe light onto the subject to shoot. The control of the face detection at this time will be briefly described with reference to the flowchart of FIG.
[0056]
That is, when the face portion 20a cannot be detected, the CPU 1 stores a subject image signal in a state where no flash light is emitted at that time in a memory (RAM) (not shown) in the CPU 1 (step S21). Next, the strobe unit 7 is controlled to project strobe light onto the subject 20 to capture an image and acquire a subject image signal (step S22). Next, a difference signal of the subject image signal acquired in step S21 and step S22 is created (step S23). Then, the distance distribution of the reflected light amount data is detected from the difference signal (step S24). Then, by determining the pattern of the distance distribution (step S25), more accurate face detection is performed (step S26). When strobe light is projected on a subject, the distribution of the reflected light amount is smaller for a subject at a longer distance and larger for a subject at a shorter distance. That is, as shown in FIG. 7B, by projecting strobe light on the subject, for example, the reflected light amount of a portion closer to the subject, such as the nose, is detected largely, so that more accurate face detection is performed. be able to. In FIG. 7B, the ordinate and the abscissa indicate the light amount and the luminance, respectively.
[0057]
The display control of the similar image in the camera 100 is performed according to the flowchart of FIG. Here, the procedure for comparing and searching for similar images in step S2 in FIG. 4 will be described in more detail.
[0058]
FIG. 8A shows an example of a person image (first person image) captured by the camera 100. In general, the positional relationship, the distance, the angle, and the like between the camera 100 and the subject 20 when the subject 100 is photographed by the camera 100 differ depending on the composition at the time of photographing, and the same image is not always photographed. In this case, since it is difficult to search for a similar model image (second person image) from the second memory 12, the first person image and the model image stored in the second memory 12 are compared. The size of the image stored in the second memory 12 and the size of the captured image (the size of the face or the size of the whole body image) are matched so that the comparison can be easily performed.
[0059]
For this purpose, the image processing unit 5 first detects the distance between the eyebrows and the chin of the first person image, ₀ And And this a ₀ The image is enlarged / reduced by the electronic zoom as shown in FIG. Thereafter, in order to compare the outline of the face, the position of the eyes, the position of the nose, and the position of the mouth of the two images, the distance b between the outline (horizontal) and the nose line and the distance c between the nose line and the eyes are calculated. , Eye width d, and distance e between the eye and the mouth. In general, since the face of a person is symmetrical, the left-facing person image shown in FIG. 8A and the right-facing person image shown in FIG. It is possible to share data.
[0060]
From these detected values, it is determined whether the face of the person is facing forward or sideways based on the ratio of b and c. FIGS. 8C and 8D are examples of model images stored in the second memory 12. This model image is stored in a state where the distance between the eyebrows and the chin is normalized to a. Here, FIG. 8C shows a model image in a state facing sideways, and FIG. 8D shows a model image in a state facing front.
[0061]
The model image stored in the database 102 of the server 101 is updated according to the season or year so that the user can prepare the image that the user wants to refer to most. The model image stored in the database 102 is stored in the second memory 12.
[0062]
When comparing and retrieving similar images from the second memory 12, in addition to the detection parameters a, b, c, d, and e described above, in addition to the detection parameters shown in FIGS. Parameter θ ₁ ~ Θ ₈ Is used.
[0063]
First, when the person is facing sideways, as shown in FIG. 8 (e), based on the outline on the side of the face (shown by a vertical line in the figure), this outline and the upper eyelids of both eyes (eyeball and eyelids) Angle between the boundary line ₁ And θ ₂ , The angle between the contour and the nose θ ₃ , And the angle θ between the contour and the jaw ₄ Is used.
[0064]
On the other hand, when the person is facing the front, the outline and the upper eyelid (the boundary between the eyeball and the eyelid) are determined based on the horizontal outline (shown by a vertical line in the figure) of the face shown in FIG. ) Angle θ ₅ , The angle between the contour and the jaw θ ₆ , The angle between the contour and the nose wing θ ₇ , And the angle θ between the contour and the eyebrows ₈ Is used.
[0065]
Further, similar images can be searched not only by the face but also by the similarity of the proportions of the whole body as shown in FIG. This assumes that the faces are not similar but have an overall ambience and resemble someone. That is, when the photographed image is not a close-up of the face, the search is performed based on the ratio of the face height g, the hair thickness h, and the shoulder width i. These values are stored in the database 102 in advance together with the image data.
[0066]
Note that these detection parameters, ie, a to e, g to i, θ ₁ ~ Θ ₄ , And θ ₅ ~ Θ ₉ May be calculated from the shadow of a captured image, or may be measured by a user operation on a monitor. In the latter case, two lines are displayed on a monitor (LCD 10 or the like), and these lines are moved by a user operation and applied to each part like a ruler, thereby calculating each length and calculating an angle. The program is configured so that is performed.
[0067]
In the first embodiment, the detection parameter is determined based on whether or not the captured image is a face up, or whether the face up is facing the front or side. Change and perform a comparative search for similar images.
[0068]
FIG. 10 is a flowchart of a similar image search on the assumption that the CPU 1 of the camera 100 determines. After the photographing of the image is performed, the CPU 1 determines whether or not the obtained image is a close-up of the face (step S31).
[0069]
If it is determined in step S31 that the obtained image is a close-up of the face, the CPU 1 determines the distance a between the eyebrows and the chin from the captured image. ₀ Is detected (step S32). This a ₀ Varies depending on the distance between the subject 20 and the camera 100 and the magnification of the lens provided in the camera 100. Therefore, unless this value is set to a constant value, the model image in the second memory 12 can be compared with the model image. It becomes difficult. Therefore, the CPU 1 sets a ₀ Is adjusted to a / a of the model image, ₀ The electronic zoom is doubled (step S33). After that, the remaining detection parameters are detected. Since the image is a face image, the detection parameters be are detected here (steps S34 to S37).
[0070]
Next, the CPU 1 detects whether the face is facing front or side from the ratio of b and c in the thus obtained detection parameters (step S38), and from the result, It is determined whether the face is facing the front (step S39).
[0071]
If it is determined in step S39 that the face is facing the front, the CPU 1 determines the detection parameter θ ₅ ~ Θ ₈ Is detected (step S40). It should be noted that the nose streak and the like may not be detected depending on the condition of the light beam in the front-facing image. ₅ ~ Θ ₈ It is determined whether or not it is impossible to detect (step S41). In the determination in step S41, θ ₅ ~ Θ ₈ If the CPU 1 determines that was not detected, the CPU 1 requests the photographer to re-photograph the subject 20 by projecting a strobe light (step S42), and re-enter θ from the obtained image. ₅ ~ Θ ₈ Is detected (step S43). Even this ₅ ~ Θ ₈ If it is determined that has not been detected, the data of the sub-imaging unit composed of the photographing lens 2b and the imaging element 3b is used (step S45), and θ ₅ ~ Θ ₈ Is detected (step S46). Thereafter, the CPU 1 compares each detection parameter of the obtained captured image with the detection parameter of the image stored in the second memory, and searches for a model image having similar data (step S47). . In this search, a model image having the highest similarity among model images having similar data is searched. After the similar image search ends, the control of this flowchart ends.
[0072]
On the other hand, if it is determined in step S39 that the face is facing sideways, the CPU 1 determines the detection parameter θ ₅ ~ Θ ₈ Is detected (step S48). The subsequent control is the same as in steps S41 to S47, and a description thereof will be omitted here. Note that when the face is facing sideways, the detection parameter θ is different from when the face is facing forward. ₅ ~ Θ ₈ Since there is a high possibility that can be detected, the processing from step S49 to step S54 may be omitted, and the processing in step S55 may be performed after step S48.
[0073]
If it is determined in step S31 that the image is not a close-up photograph of the face, the CPU 1 detects the detection parameters g, h, and i shown in FIG. 9 (steps S56 to S58), and then changes the detection parameters. An image having a high similarity is searched for by comparison (step S59). After the similar image search ends, the control of this flowchart ends.
[0074]
As described above, according to the first embodiment, an imaging device that can be easily applied to a mobile phone, a camera, and the like, has an appearance determination display function that can be easily understood by an amateur, and can objectively evaluate one's own shape. A display device can be provided. That is, when a digital camera, a mobile phone, or the like has an imaging unit, the conditions at the time of shooting are various, so that the size and angle of the human image on the screen are not constant. However, in the first embodiment, By normalizing the size of the face, the conditions for comparison are kept constant. In particular, since the hairstyle often changes, the distance between the eyebrows and the chin is made equal, but the distance between the crown and the chin or the distance between the eyes and the mouth may be used . Further, since the distance between the eyes and the nose changes when the face is in the sideways direction, in the first embodiment, the direction of the face is determined using this distance. Further, since the purpose of similarity calculation is different between the close-up image of the face image and the whole body image, the detection parameters used for the comparison are changed.
[0075]
In addition, if images in which the face is facing front or sideways are arranged in the database, it is possible to select from a plurality of patterns, so that it is possible to eliminate a judgment error due to a slight change in face direction. Further, only the portions necessary for the judgment are taken out and compared, and the contour detection is performed by image processing. If still unclear, a flash or the like is emitted, and the image information obtained from the reflected light amount distribution data is also obtained. In addition, the background and the like can be determined.
[0076]
[Second embodiment]
Next, a second embodiment of the present invention will be described. In this example, the camera 100 simply performs detection of a detection parameter and causes the server 101 to perform subsequent processing. For this reason, the camera 100 does not require the comparison search unit 13 for comparing and searching images and the second memory 12 for storing the second person image. Note that the configuration is almost the same as that of the first embodiment, and a detailed description thereof will be omitted.
[0077]
First, the control of the camera 100 will be described with reference to the flowchart of FIG. That is, the CPU 1 of the camera 100 first normalizes the image size for image comparison. That is, the distance a between the eyebrows and the chin as in FIG. ₀ Is detected (step S61), and the coefficient K (= a / a) is set so that this becomes a predetermined size a. ₀ ) Is calculated (step S62). Next, this coefficient K becomes a predetermined value K ₀ It is determined whether or not it is larger than (step S63). Coefficient K is a predetermined value K ₀ If it is determined to be larger than ₀ Is small. That is, in this case, it is determined that the image is a whole body image as shown in FIG. 12A (step S64). On the other hand, in the determination in step S63, the coefficient K is equal to the predetermined value K ₀ If it is determined to be below, it is determined to be a face image.
[0078]
Next, the CPU 1 performs an edge detection process for detecting a contour portion of the image (step S65), and detects an image of the contour (face or whole body) of the person (step S66). Next, it is determined whether the communicated image is an image of the face (step S67). If it is determined in step S67 that the transmitted image is a face image as shown in FIG. 13A, a head, that is, a contour image of the face is detected (step S68). Next, as shown in FIG. 13B, a process of painting a background image other than the face black is performed (step S69). Here, as a method of determining the background, light may be projected and a portion having no reflected light may be determined as the background. The reason why the background is painted black in this way is to compare images with emphasis on the eyes and nose of a person's face without using unnecessary data. After the background is painted black, a process of painting the hair portion of the person in white as shown in FIG. 13C is performed (step S70). The reason why the hair portion is removed is that, for example, when it is desired to select a hairstyle that suits the user from the model image, it does not make sense to calculate the similarity under the influence of the current hairstyle.
[0079]
On the other hand, if it is determined in step S67 that the transmitted image is not the image of the face, the CPU 1 performs a process of painting an image other than the whole body image of the person black as illustrated in FIG. Step S71). Next, as shown in FIG. 12B, a process of painting out the clothes of the person in white is performed (step S72). This is to prevent erroneous judgments from occurring due to the pattern of the clothes, etc., and when the user decides the fashion by referring to the clothes of the model, etc., he / she wears clothes similar to the clothes currently worn by the subject 20 at present. It prevents you from choosing. As described above, since it is desired to select a person having a similar atmosphere or proportion as a model from the body shape including the hairstyle, the light / dark data of the clothing part is ignored.
[0080]
After performing the above image processing, the CPU 1 determines the distance a between the eyebrows and the chin. ₀ Is performed by electronic zoom (step S73). Thereafter, the change in brightness of the face image is binarized at a predetermined level (step S74), and the binarized information is transmitted to the server 101 with additional information (step S75). This additional information includes information on the camera ID and the photographed frame number, and information indicating whether the transmitted binarized information is a face image or a whole body image. The camera ID is referred to when the server 101 sends a search result back to the camera 100. After transmitting the information to the server 101, the CPU 1 stores in a built-in RAM or the like which frame number of the image whose similarity is currently being calculated (step S76). This is for performing the parallel display as shown in FIG. 12C based on the data returned from the server 101. By performing the parallel display in this manner, it is possible to understand what kind of clothes the model of the same figure as the one who wears and what the atmosphere will be, so that it can be used as a reference for fashion when changing the image.
[0081]
Next, control on the server 101 side will be described with reference to FIGS. Upon receiving the binarized information (step S81), the server 101 determines whether or not the received image is a face-up image based on the additional information of the received information (step S82). Then, based on the result, the parent of the database 102 is switched to perform a search. That is, when it is determined that the image is a face image, a similar image is searched from the face image data stored in the database 102 (step S83). A similar image is searched from the stored whole-body image data (step S84). The comparison of the images at this time uses a technique such as pattern matching for overlapping the images and detecting the difference as shown in FIG. Then, a search is made for a model image in which the two images have similar changes in brightness (the degree of coincidence between the white image and the black image is high), and a similar model image is obtained (step S85). Next, the server 101 adds the camera ID and the frame number information of the original image to the acquired similar model image information and transmits the same to the camera 100 (step S86).
[0082]
The user can also request the server 101 for more detailed information. The server 101 that has received the request to transmit such detailed information performs control according to FIG. That is, the server 101 that has received the request for transmitting the detailed information determines whether the detailed information should be transmitted as simple character information or whether the advice by voice is better (step S87).
[0083]
If it is determined in step S87 that the request from the user is voice advice, the image is transmitted from the server 101 at the same time as, for example, contacting a makeup expert (step S88). Then, make sure that professional makeup professionals can comment and receive consultations over the phone.
[0084]
On the other hand, if it is determined in step S87 that the request from the user is a request based on character information, the information such as the model name of the searched image, fashion brand name, hair makeup, cosmetics, etc. Information such as what model is similar and how the user can get closer to a similar impression is transmitted to the camera 100 together with the image (step S89).
[0085]
FIG. 16 is a flowchart for explaining control of the camera 100 after receiving information from the server 101. The CPU 1 of the camera 100 determines whether or not data has been received from the server 101 (step S91). If it is determined in this determination that data has been received, additional information of the received data is read (step S92). As a result, since it is possible to know the number of a similar image of the image that has been searched by the server 101, the corresponding image is searched from the first memory 6 (step S93). Then, parallel display is performed on the LCD 10 as shown in FIG. 3A (step S94).
[0086]
Further, the CPU 1 determines the operation state of the operation switch group 1a by the user, and determines whether or not the mode has been switched to the mode for displaying the different part (step S95). If it is determined in step S95 that a different part is to be displayed, the CPU 1 superimposes and displays the two images displayed in parallel (step S96), and blinks the different part as a highlighted part of the different part. (Step S97), so that the hairstyle can be determined and the makeup can be referred to. It should be noted that the server 101 has image information obtained when the images are superimposed once by the pattern matching performed as shown in FIG. 15, so that the server 101 may also transmit the image information obtained when the images are superimposed. Good. This can be achieved by transmitting the actually superimposed image data. Further, coordinate shift data at the time of pattern matching may be used.
[0087]
Next, the CPU 1 determines whether or not a predetermined time has elapsed (step S98). If it is determined that the predetermined time has elapsed, the parallel display or the superimposed display ends, and the control of this flowchart is performed. finish. On the other hand, if it is determined in step S98 that the predetermined time has not elapsed, the display is continued. Here, the display is terminated in a predetermined time, but the display may be terminated by determining the operation state of the user.
[0088]
As described above, according to the second embodiment, it is not necessary to incorporate a huge database or a processing circuit for image comparison and retrieval in the camera, so that the one having a higher degree of coincidence from abundant image data can be eliminated. Searching can be performed at high speed, and the user can select an image that matches his / her preference. In addition, since an optimal image is not always selected by one search, a plurality of image data may be transmitted and received from the server so that some candidates can be selected.
[0089]
Although the present invention has been described based on the above embodiments, the present invention is not limited to the above embodiments, and various modifications and applications are possible within the scope of the present invention. is there. For example, in the above-described embodiment, the communication between the camera and the server is wireless communication. However, data captured by the camera is transferred to a personal computer (PC) using a USB or the like, and the personal computer (PC) transmits the data via the Web. Alternatively, an indirect method may be used in which the image data is transmitted to the server, and the model image data in the database is stored in the second memory in the camera from the server via the PC.
[0090]
Further, the embodiments described above include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent features. For example, even if some components are deleted from all the components shown in the embodiments, the problems described in the column of the problem to be solved by the invention can be solved and the effects described in the column of the effect of the invention can be solved. When the effect is obtained, a configuration from which this configuration requirement is deleted can be extracted as an invention.
[0091]
【The invention's effect】
As described above, according to the present invention, an imaging display device that can be easily applied to a mobile phone, a camera, and the like, is easy to understand for an amateur, and has a appearance determination display function that can objectively evaluate one's own appearance. And an imaging display system.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a detailed configuration of an imaging display system according to the present invention.
FIG. 2 is a configuration diagram of an imaging display system of the present invention.
FIG. 3 is a conceptual diagram showing an operation in the imaging display system of the present invention.
FIG. 4 is a flowchart showing a control procedure in the imaging display system of the present invention.
FIG. 5 is an external view of a camera as an imaging display device according to the first embodiment of the present invention.
FIG. 6 is an example of an image when the user himself / herself is photographed using a camera as the imaging / display apparatus according to the first embodiment of the present invention.
FIG. 7 is a diagram for describing face detection.
FIG. 8 is a diagram illustrating detection parameters for a face image.
FIG. 9 is a diagram for explaining detection parameters for a whole-body image.
FIG. 10 is a flowchart illustrating control of image search by a camera as the imaging display device according to the first embodiment of the present invention.
FIG. 11 is a flowchart showing control until a camera transfers data to a server in the imaging display system according to the second embodiment of the present invention.
FIG. 12 is a diagram for describing image processing performed on a whole-body image.
FIG. 13 is a diagram for describing image processing performed on a face image.
FIG. 14 is a flowchart illustrating control on the server side in the imaging and display system according to the second embodiment of the present invention.
FIG. 15 is a diagram for explaining pattern matching.
FIG. 16 is a flowchart illustrating control after data is sent from a server to a camera in the imaging display system according to the second embodiment of the present invention.
[Description of Symbols] 1 CPU, 2a, 2b photographing lens, 3a, 3b image sensor, 4 analog / digital (A / D) converter, 5 image processor, 6 first memory, 7 ... Strobe unit, 8 playback control unit, 9 speaker, 10 display unit (LCD), 11 communication unit, 12 second memory, 13 comparison search unit, 100 camera, 101 person image search server Computer (server), 102 ... database, 103 ... communication means

Claims

Imaging means for acquiring a first person image;
Detecting means for detecting at least a face or whole body image of the first person image acquired by the imaging means;
Person storage means for storing a plurality of second person images;
Comparing means for comparing the face or whole body image of the first person image detected by the detecting means with the face or whole body image of the second person image;
Searching means for searching the person storage means for a second person image similar to the first person image based on a result of the comparison by the comparing means;
Display control means for displaying an image of the imaging result by the imaging means and the image of the search result by the search means,
An imaging display device comprising:

The display control means electronically zooms the image of the face or the whole body so that the first person image and the second person image have the same size in the vertical direction on the screen. The imaging display device according to claim 1, wherein an image of a result and an image of the search result are displayed.

The person storage means stores detailed information of the person together with the second person image,
The display control means includes: a parallel display control means for displaying two images of the image of the imaging result and the image of the search result in parallel; and a detailed information display means for displaying the detailed information stored in the person storage means. The imaging display device according to claim 1, further comprising:

The imaging and display device according to claim 3, wherein the detailed information includes proper noun information of a person corresponding to the second person image.

2. The imaging and display device according to claim 1, wherein the display control unit includes an overlay display control unit configured to display two images of the imaging result image and the search result image in an overlapping manner. 3.

2. The imaging apparatus according to claim 1, wherein the display control unit includes a highlight display control unit that highlights and displays a different part between the two images of the image of the imaging result and the image of the search result. 3. Display device.

A similarity calculating unit that calculates a similarity between two images of the image of the imaging result and the image of the search result, and quantifies the similarity;
Similarity display means for displaying the quantified similarity by the similarity calculation means,
The imaging display device according to claim 1, further comprising:

Calculating a dissimilarity between two images of the image of the imaging result and the image of the search result, and quantifying the dissimilarity;
A dissimilarity display means for displaying the numerically dissimilarity by the dissimilarity calculation means,
The imaging display device according to claim 1, further comprising:

The detection means includes a face detection means for detecting at least a face contour, an eye position, a nose position, and a mouth position from the first person image,
The comparing means includes a face contour, an eye position, a nose position, and a mouth position of the first person image detected by the face detecting means, a face contour of the second person image, and an eye position. 2. The imaging display device according to claim 1, wherein the position of the nose, the position of the nose, and the position of the mouth are compared.

The detection means includes a whole body detection means for detecting at least an image corresponding to clothes of a person in the first person image,
The said comparison means compares the whole body image of the said 1st person image detected by the said whole body detection means with the whole body image of the said 2nd person image, The Claim 1 characterized by the above-mentioned. Imaging display device.

Light projection means;
Light receiving means for receiving reflected light projected from the light projection means and obtaining reflected light amount distribution data,
Further comprising
2. The imaging and display device according to claim 1, wherein the detection unit performs the detection based on distribution data of the amount of reflected light from the light receiving unit.

The imaging display device according to claim 1, wherein the first person image and the second person image have three-dimensional image information.

2. The imaging and display device according to claim 1, wherein a detection parameter of the detection unit is changed based on a composition state when the first imaging unit acquires the first person image. 3.

A camera including imaging means for acquiring a first person image, and detection means for detecting an image of a face portion or a whole body proportion of the first person image acquired by the imaging means;
A person image search server including a person storage unit that stores a plurality of second person images, and a search unit that searches the second person image similar to the detection result by the detection unit from the person storage unit;
An imaging display system comprising: communication means for performing communication between the camera and the person image search server.