JP2010169954A - 表示装置及び撮像装置 - Google Patents

表示装置及び撮像装置 Download PDF

Info

Publication number
JP2010169954A
JP2010169954A JP2009013134A JP2009013134A JP2010169954A JP 2010169954 A JP2010169954 A JP 2010169954A JP 2009013134 A JP2009013134 A JP 2009013134A JP 2009013134 A JP2009013134 A JP 2009013134A JP 2010169954 A JP2010169954 A JP 2010169954A
Authority
JP
Japan
Prior art keywords
image
viewer
face
subject
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009013134A
Other languages
English (en)
Other versions
JP5402018B2 (ja
Inventor
Tetsuo In
哲生 因
Masanaga Nakamura
正永 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009013134A priority Critical patent/JP5402018B2/ja
Priority to US12/689,529 priority patent/US8421901B2/en
Publication of JP2010169954A publication Critical patent/JP2010169954A/ja
Application granted granted Critical
Publication of JP5402018B2 publication Critical patent/JP5402018B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00336Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】 本発明は、画像を鑑賞する鑑賞者に応じて、画像の補正処理を行うことができる技術を提供することを目的とする。
【解決手段】 本発明は、被写体である人物を撮像した被写体画像を入力する入力部と、入力した被写体画像を表示する表示部と、被写体画像を鑑賞する鑑賞者を撮像し鑑賞者画像を生成する鑑賞者撮像部と、鑑賞者画像を用いて、鑑賞者の顔を検出する鑑賞者顔検出部と、検出された鑑賞者の顔の各部分に基づいて顔認識を行う鑑賞者顔認識部と、鑑賞者に対する顔認識の結果に基づいて、被写体画像に対して画像補正を行う画像処理部と、被写体画像から画像補正された被写体画像に表示を切り替える制御部とを備える。
【選択図】 図1

Description

本発明は、画像の補正処理を行うことができる表示装置及び撮像装置に関する。
従来、電子カメラ等で撮像した画像は、ハードディスク等の記憶装置に保存して、必要な画像についてのみプリンタ等で印刷して鑑賞していた。しかしながら、近年では、撮像した画像を印刷することなく、画像データを直接表示できる観賞用の電子写真立てが開発されている(例えば、特許文献1参照)。
特許文献1では、観賞用画像を表示部に表示するだけでなく、表示部を回転させても、鑑賞用画像の表示に邪魔にならないように、時刻やカレンダー等の文字情報を鑑賞用画像の構図に合わせて配置表示することができる技術を開示している。
しかしながら、従来技術では、例えば、ユーザが、自身が写っている観賞用画像を表示させるにあたり、もっと綺麗に画像補正して、みんなに見てほしいと思うような場合、ユーザは、コンピュータにインストールされている専用の画像処理用ソフト等を用いて、観賞用画像を画像補正してから、特許文献1のような電子写真立て等に表示させる必要がある。
上記従来技術が有する問題に鑑み、本発明の目的は、画像を鑑賞する鑑賞者に応じて、画像の補正処理を行うことができる技術を提供することにある。
上記課題を解決するために、本発明の表示装置は、被写体である人物を撮像した被写体画像を入力する入力部と、入力した被写体画像を表示する表示部と、被写体画像を鑑賞する鑑賞者を撮像し鑑賞者画像を生成する鑑賞者撮像部と、鑑賞者画像を用いて、鑑賞者の顔を検出する鑑賞者顔検出部と、検出された鑑賞者の顔の各部分に基づいて顔認識を行う鑑賞者顔認識部と、鑑賞者に対する顔認識の結果に基づいて、被写体画像に対して画像補正を行う画像処理部と、被写体画像から画像補正された被写体画像に表示を切り替える制御部とを備える。
また、本発明において、被写体画像の人物の顔を検出する被写体顔検出部と、検出された人物の顔の各部分に基づいて顔認識を行う被写体顔認識部と、顔認識された人物と鑑賞者とが同一人物か否かを判定する人物判定部とをさらに備え、画像処理部は、人物判定部によって人物と鑑賞者とが同一人物であると判定された場合には、被写体画像に対して画像補正を行う。
また、本発明において、画像処理部による画像補正の実行の有無を設定可能な操作部材をさらに備える。
また、本発明において、複数の鑑賞者の顔情報を記憶する記憶部と、鑑賞者顔認識部によって顔認識された鑑賞者と記憶部における複数の鑑賞者の顔情報のいずれかと一致するか否かの判定を行う鑑賞者判定部とをさらに備え、画像処理部は、鑑賞者判定部が一致すると判定した場合には、被写体画像に対して画像補正を行わず、鑑賞者判定部が一致しないと判定した場合には、被写体画像に対して画像補正を行う。
また、本発明において、画像処理部は、人物判定部によって人物と鑑賞者とが同一人物であると判定された場合には、画像補正を、被写体画像のうち被写体顔検出部によって検出された人物が撮像されている画像領域のみに対して行う。
また、本発明において、被写体顔認識部によって顔認識された人物と鑑賞者顔認識部によって顔認識された鑑賞者とが、互いに異性であるか否かを判定する異性判定部をさらに備え、画像処理部は、異性判定部が互いに異性であると判定した場合には、被写体画像に対して画像補正を行う。
また、本発明において、被写体となる複数の所定の人物の顔情報を記憶する記憶部と、被写体顔認識部によって顔認識された人物と記憶部における複数の所定の人物の顔情報のいずれかと一致するか否かの判定を行う被写体判定部とをさらに備え、画像処理部は、被写体判定部が一致すると判定した場合には、被写体画像に対して画像補正を行う。
本発明の撮像装置は、被写体である人物を撮像して被写体画像を生成する撮像部と、本発明の表示装置とを備える。
本発明によれば、画像を鑑賞する鑑賞者に応じて、画像の補正処理を行うことができる。
本発明の一の実施形態に係る電子カメラ100の構成例を示す図 本発明の一の実施形態に係る電子カメラ100の記憶部6に記憶される鑑賞者データ表20の一例を示す図 本発明の一の実施形態に係る電子カメラ100の画像補正モードにおける処理手順を示すフローチャート 本発明に係るフォトフレームの形状及び構成例を示す模式図 本発明の一の実施形態に係る電子カメラ100の記憶部6に記憶される被写体データ表30の一例を示す図
≪一の実施形態≫
図1は、本発明の一の実施形態に係る電子カメラ100の構成図である。
電子カメラ100は、撮像レンズ群1、撮像素子2、A/D変換部3、操作部材4、CPU5、記憶部6、フレームメモリ7、画像処理部8、カードメモリ9、カードインタフェース(カードI/F)10、鑑賞者用撮像レンズ群11、鑑賞者用撮像素子12、A/D変換部13、フレームメモリ14及び表示部15から構成される。操作部材4、CPU5、記憶部6、フレームメモリ7、画像処理部8、カードI/F10、フレームメモリ14及び表示部15は、バス16を介して情報伝達可能に接続されている。なお、図1は電子カメラ100の主要部分のみを示す。例えば、図1において、CPU5の指令に従って、撮像素子2及びA/D変換部3、又は鑑賞者用撮像素子12及びA/D変換部13に撮像指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。
撮像レンズ群1は、複数の光学レンズにより構成され、被写体像を撮像素子3の受光面に結像する。鑑賞者用撮像レンズ群11も、同様に、複数の光学レンズにより構成されており、鑑賞者である被写体像を撮像素子12の受光面に結像する。
撮像素子2及び撮像素子12は、CPU5の指令を受けてタイミングジェネレータ(不図示)が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ群1によって結像された被写体像を取得し、画像信号に変換して出力する。なお、本実施形態の撮像素子2は、CPU5の指令に基づいて、全画素による被写体像の撮像や、水平走査方向又は垂直走査方向に間引いて画素値を読み出して、ライブビュー用のスルー画や動画の被写体像の撮像を行うことができる。一方、撮像素子12は、CPU5の指令に基づいて、水平走査方向又は垂直走査方向に間引いて画素値を読み出して、鑑賞者のスルー画の撮像を行う。撮像素子2及び撮像素子12には、CCDやCMOSの半導体のイメージセンサ等を適宜選択して用いることができる。
撮像素子2から出力される画像信号は、A/D変換部3でデジタル信号に変換される。変換されたデジタルの画像信号は、フレームメモリ7に一時的に記録された後、記憶部6又は画像処理部8へ転送される。なお、A/D変換部3は、撮像素子2からのアナログ信号を、ISO感度に応じて増幅する増幅部を有するアナログフロントエンドを備えていることが好ましい。
一方、鑑賞者用撮像素子12から出力される画像信号は、A/D変換部13でデジタル信号に変換される。変換されたデジタルの画像信号は、フレームメモリ14に一時的に記録される。CPU5の要求に応じて、フレームメモリ14から読み出される。
操作部材4は、ユーザによる部材操作の内容に応じた操作信号をCPU5に出力する。操作部材4には、例えば、電源釦、撮影モード等のモード設定釦及びシャッタレリーズ釦等を有する。なお、操作部材4は、表示部15の画面に表示されるタッチパネル形式の釦であっても良い。
CPU5は、ユーザによる操作部材4の電源釦操作によって電子カメラ100の電源が入れられると、記憶部6に記憶されている制御プログラムを読み込み、電子カメラ100を初期化する。CPU5は、操作部材4を介して、ユーザからの指示を受け付けると、制御プログラムに基づいて、タイミングジェネレータ(不図示)を介して、撮像素子2に被写体像の全画素による静止画撮像又は間引き読み出しによるスルー画や動画の撮像指令を出す。CPU5は撮像された静止画像を表示部15に表示させるが、本実施形態では、後述するように、操作部材4のモード設定釦によって撮像された静止画像の補正処理モードが設定された場合、CPU5は、鑑賞者用撮像素子12でその静止画像を鑑賞する鑑賞者の画像を取得して、鑑賞者の顔検出及び顔認識を行い、鑑賞者に応じてその静止画像を補正処理してから表示部15に表示する。また、CPU5は、画像処理部8に撮像した静止画像や動画等の画像処理や処理された画像をカードメモリ9や記憶部6への記録等の制御をも行う。CPU5には、一般的なコンピュータのCPUが使用できる。
記憶部6は、電子カメラ100が撮像した静止画像や動画等や、CPU5が電子カメラ100を制御するための制御プログラムを記憶する。さらに、記憶部6は、図2に示すような、鑑賞者の顔画像と口角や目尻等の顔のパーツ情報とからなる顔情報ファイルの名前を一覧にした鑑賞者データ表20を記憶する。本実施形態における鑑賞者データ表20は、ユーザによる操作部材4の操作によって設定更新することができる。なお、鑑賞者として鑑賞者データ表20に登録される人物としては、家族や友人、或いは取引先のお客様等が考えられるが、そうした人物以外であってもよい。以下の説明において、あらかじめ複数人として、家族や友人等の顔情報ファイルの情報が、一覧として鑑賞者データ表20に登録され記憶部6に記憶されているものとする。記憶部6に記憶されるこれらのプログラムやデータは、バス16を介して、CPU5から適宜参照することができる。記憶部6は、一般的なハードディスク装置、光磁気ディスク装置又は半導体メモリである任意の不揮発性メモリ等を適宜選択して用いることができる。
フレームメモリ7及びフレームメモリ14には、半導体メモリのうち、任意の不揮発性の半導体を適宜選択して用いることができる。
画像処理部8は、デジタルフロントエンド回路で、フレームメモリ7、フレームメモリ14及び記憶部6からの静止画像、動画又はスルー画等の画像データに対して、画素補間処理、色変換処理やホワイトバランス補正等の画像処理を行う。また、上述のように、本実施形態では、CPU5に指示に応じて、表示部15に表示する際の撮像された静止画像に対する露出補正、ソフトフォーカス補正、美肌補正、痩身補正又はしわ補正等の画像補正を鑑賞者に応じて行う。
カードI/F10には、カードメモリ9が脱着可能に装着される。フレームメモリ7や記憶部6に記録された画像は、CPU5の指示に基づいて画像処理部8で画像処理された後、Exif形式やYUV形式等のファイルとしてカードメモリ9に記録される。
表示部15は、撮像素子2が撮像したスルー画等の動画や静止画像、鑑賞者に応じて画像補正された静止画像又はモード設定画面等を表示する。表示部15には、液晶モニタ等を適宜選択して用いることができる。
次に、本実施形態に係る電子カメラ100における、鑑賞者に応じて表示部15に表示する静止画像を画像補正する補正処理について、図3のフローチャートを参照しながら説明する。なお、このような処理は、撮影者(ユーザ)自身や、撮影者が被写体である人物や第三者に、静止画像を電子カメラ100の表示部15を介して、撮像した静止画像を見せる場合等を想定している。
まず、ユーザにより操作部材4の電源釦が押されると、CPU5は、電子カメラ100の記憶部6に保持されている制御プログラムを読み込み、電子カメラ100を初期化する。同時に、CPU5は、記憶部6に記録されている鑑賞者データ表20をそれぞれ読み込み、CPU5内部のメモリ(不図示)に保持する。
次に、ユーザは、操作部材4のモード設定釦を用いて、撮像した静止画像を表示部15に表示する際の画像補正モード等の設定を行う。本実施形態における電子カメラ100の画像補正モードには、鑑賞者が誰であろうと画像補正するモード、鑑賞者が誰であろうと画像補正しないモード、及び被写体である人物と鑑賞者との関係に応じて画像補正を行うモードからなる。ユーザは、そのうちのいずれかを選択して設定する。本実施形態では、ユーザは、被写体である人物と鑑賞者との関係に応じて画像補正を行うモードに設定する。また、ユーザは、撮像した静止画像に対する画像補正処理の内容の設定も行うことができる。なお、以下の説明では、デフォルトとして、あらかじめ電子カメラ100に設定されているソフトフォーカス補正、美肌補正及びしわ補正からなる画像補正処理に設定するものとする。
以上のような補正処理モード等の設定が終了すると、電子カメラ100は、次のステップS10からの処理を開始する。
ステップS10:CPU5は、ユーザからの被写体の撮像指示を受け付けるまで、所定のフレームレート(例えば、30fps)で、撮像素子2から間引き読み出しされる、被写体像のスルー画を表示部15に表示して待機する(NO側)。ユーザによって操作部材4のシャッタレリーズ釦が押されると、CPU5は、撮像指示が出されたと判断し、タイミングジェネレータ(不図示)を介して、撮像素子2に全画素による静止画像の本撮像を行う。CPU5は、フレームメモリ7とバス16を介して、静止画像を画像処理部8へ転送し、画素補間処理、色変換処理やホワイトバランス補正等の画像処理を行う。そして、CPU5は、画像処理された静止画像をExif形式等のファイル形式にして、記憶部6やカードメモリ9に記録し、ステップS11(YES側)へ移行する。また、本実施形態では、CPU5は、撮像されて画像処理部8による画像処理後の静止画像を、一時的に所定の時間の間(例えば、5秒間)、確認用のプレビュー画像として表示部15に表示する。そして、CPU5は、鑑賞者撮像素子12によって認識された鑑賞者に応じた、以下の画像補正処理を行って再び表示するまでの間、表示部15には何も表示ないものとする。
ステップS11:CPU5は、ユーザによって設定された画像処理モードが、鑑賞者が誰であろうと画像補正しないモードであるか否かを判定する。CPU5は、画像補正をしないモードに設定されていると判定した場合には、ステップS19(YES側)へ移行し、何の補正処理も行わないで撮像した静止画像を表示部15に表示して、一連の処理を終了する。一方、CPU5は、画像補正を行わないモードに設定されていないと判定した場合には、ステップS12(NO側)へ移行する。
ステップS12:CPU5は、取得した静止画像において、被写体としての人物が写っているか否かを、顔検出に基づいて判定する。ここで、CPU5が行う顔検出の手法は、公知である手法を適宜選択して行うことができる。具体的には、CPU5は、静止画像からエッジ量等の画像特徴量の特徴点を抽出して、撮像されている各人物の顔の領域、大きさ等を検出する。CPU5は、人物が撮像されていないと判定した場合には、ステップS19(NO側)へ移行し、何の補正処理も行わないで撮像した静止画像を表示部15に表示して、一連の処理を終了する。一方、人物が撮像されていると判定した場合には、CPU5は、ステップS13(YES側)へ移行する。
ステップS13:CPU5は、ステップS12において検出した人物が誰であるかの顔認識を行う。CPU5が行う顔認識の手法については、公知である手法を適宜選択して行うことができる。具体的には、CPU5は、検出した人物の顔の特徴点に基づいて、顔の特徴点の位置や顔の口角や目尻等の顔パーツの大きさ等を求める。
ステップS14:CPU5は、タイミングジェネレータ(不図示)を介して、所定のフレームレート(例えば、30fps)で、鑑賞者用撮像素子12に鑑賞者を間引き読み出して、鑑賞者のスルー画を取得する。
ステップS15:CPU5は、ステップS14で取得したスルー画中の鑑賞者の顔を検出するとともに顔認識する。ここで、CPU5が行う顔検出及び顔認識の手法は、ステップS12及びステップS13での場合と同様に、公知である手法を適宜選択して行う。CPU5は、検出した鑑賞者の顔画像及び顔認識した顔パーツの情報を取得する。
ステップS16:CPU5は、ステップS12で検出した静止画像の人物の顔画像及びステップS13で認識した顔パーツと、ステップS15で検出した鑑賞者の顔画像及び顔認識した顔パーツとを用いて、静止画像の人物と鑑賞者とが同一人物であるか否かを判定する。具体的には、CPU5は、ステップS12で検出した静止画像の人物の顔画像及びステップS13で認識した顔パーツと、ステップS15で検出した鑑賞者の顔画像及び顔認識した顔パーツとを互いに比較して、特徴点の相対位置や大きさ等を調節しながら相似度を求める。CPU5は、その相似度が所定値(例えば、80%)以上ならば、静止画像の人物と鑑賞者とは同一人物であると判定し、ステップS18(YES側)へ移行する。一方、相似度が所定値より小さい場合には、CPU5は、静止画像の人物と鑑賞者とは同一人物でないと判定し、ステップS17(NO側)へ移行する。
ステップS17:CPU5は、ステップS15で検出した鑑賞者の顔画像及び顔認識した顔パーツを基に、鑑賞者が記憶部6に記憶されている鑑賞者データ表20に登録された人物であるか否かの判定を行う。具体的には、ステップS16の場合と同様に、CPU5は、ステップS15で検出した鑑賞者の顔画像及び認識した顔パーツと、鑑賞者データ表20に登録されている各人物の顔画像及び顔情報とを互いに比較して、特徴点の相対位置や大きさ等を調節しながら相似度を求める。CPU5は、その相似度が所定値(例えば、80%)以上ならば、鑑賞者は鑑賞者データ表20に登録されている人物であると判定して、ステップS19(YES側)へ移行する。そして、例えば、登録されている人物が家族や友人等であるならば、CPU5は、何の補正処理も行わないで撮像した静止画像を表示部15に表示し、一連の処理を終了する。一方、相似度が所定値より小さい場合には、CPU5は、鑑賞者は登録されていないと判定し、ステップS18(NO側)へ移行する。
ステップS18:CPU5は、ステップS16又はステップS17における判定結果に基づいて、静止画像を画像処理部8に転送して、画像処理部8は、電子カメラ100にあらかじめ設定されている内容の画像補正を静止画像に対して行う。
ステップS19:CPU5は、ステップS18において画像処理部8で画像補正された静止画像、又は何も画像補正されなかった静止画像を表示部15に表示し、一連の画像補正処理を終了する。
このように本実施形態は、鑑賞者用データ表20の登録に基づいて、静止画像の人物及び鑑賞者を顔認識するとともに、鑑賞者と静止画像の人物との関係に応じて、静止画像の補正処理を行うことにより、鑑賞者に対して、静止画像を最適な状態で表示することができる。
また、そのような画像補正処理を行うことにより。静止画像に写っている人物にとっても、鑑賞者に対して好印象を与えることができる。
≪実施形態の補足事項≫
本実施形態では、被写体の本撮像の前に、ユーザが操作部材4のモード設定釦を用いて、画像補正モードを設定したが、本発明はこれに限定されない。例えば、ユーザが操作部材4のモード設定釦によって、風景モード、パーティーモード又は夜景モード等の撮影モードを設定した場合には、画像補正モードよりも優先されて、撮影モードに応じて所定の画像補正モードが強制的に設定されるようにしてもよい。
なお、本実施形態では、鑑賞者がいる場合についての画像補正処理について説明したが、本発明はこれに限定されない。例えば、CPU5が、鑑賞者用撮像素子12によって取得したスルー画中に鑑賞者を検出できなかった場合には、画像補正されていない静止画像を表示部15に表示してもよいし、前の鑑賞者の時の画像補正された静止画像を表示し続けてもよい。
なお、本実施形態では、CPU5は、撮像されて静止画像を画像処理部8による画像処理後、一時的に所定の時間の間、確認用のプレビュー画像として表示部15に表示し、その後、鑑賞者撮像素子12によって認識される鑑賞者に応じた画像補正がなされた後再び表示するまでの間、表示部15には何も表示しないとしたが、本発明はこれに限定されず、画像補正された静止画像が表示されるまで、補正前の静止画像を表示部15に表示してもよい。
なお、本実施形態では、ステップS19において画像処理部8で画像補正された静止画像、又は何も画像補正されなかった静止画像を表示部15に表示するとしたが、本発明はこれに限定されない。例えば、静止画像とともに、静止画像に対してどのような補正処理が行われたかを表示部15に表示してもよい。
なお、本実施形態では、ステップS17において、鑑賞者が鑑賞者データ表20に登録されていない人物である場合、画像処理部8は、電子カメラ100にあらかじめ設定されているデフォルトの画像補正処理を、静止画像に対して行ったが、本発明はこれに限定されない。例えば、ユーザが操作部材4を介して、画像補正処理の内容を任意に設定するようにしてもよい。
また、例えば、CPU5は、ステップS15で鑑賞者の顔認識(例えば、しわの多さ、表情、年齢推定等)に基づいて、小学生のような小さな子供、ご年配の方、男性又は女性等を判別し、画像補正の内容(画像補正を行わない場合も含む)を決定し、その内容で、画像処理部8に画像補正させるようにしてもよい。さらに、静止画像の人物と鑑賞者とが異性の関係である場合には、CPU5は、画像処理部8に静止画像を画像補正させて、綺麗に見せるようにするのが好ましい。
また、静止画像の人物が、モデルや女優等のような場合には、鑑賞者全てに対して綺麗に表示してほしいと望むものと、一般的に考えられる。そこで、例えば、図5に示すように、所定の人物として複数のモデルや女優等の顔情報ファイルを一覧にした被写体データ表30を記憶部6に記憶させておき、被写体データ表30に登録されたモデルや女優等が撮像された時には、鑑賞者が誰であれ、必ず設定された内容の画像補正を行わせるようにして、表示部15に綺麗に表示することが好ましい。
なお、本実施形態では、CPU5は、画像処理部8に静止画像全体に対して補正処理を行ったが、本発明はこれに限定されない。例えば、静止画像に複数の人物が撮像された場合で、鑑賞者がその複数の人物のうちの1人である場合、CPU5は、ステップS12で顔検出した静止画像に写っている鑑賞者の領域に対してのみ、画像処理部8に画像補正を行うようにしてもよい。
なお、本実施形態では、電子カメラ100について説明したが、本発明はこれに限定されず、図4に示すようなフォトフレームに対しても適用可能である。
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
1 撮像レンズ群、2 撮像素子、3、13 A/D変換部、4 操作部材、5 CPU、6 記憶部、7、14 フレームメモリ、8 画像処理部、9 カードメモリ、10 カードI/F、11 鑑賞者用撮像レンズ群、12 鑑賞者用撮像素子、15 表示部、16 バス、100 電子カメラ
特開2001−67004号公報

Claims (8)

  1. 被写体である人物を撮像した被写体画像を入力する入力部と、
    入力した前記被写体画像を表示する表示部と、
    前記被写体画像を鑑賞する鑑賞者を撮像し鑑賞者画像を生成する鑑賞者撮像部と、
    前記鑑賞者画像を用いて、前記鑑賞者の顔を検出する鑑賞者顔検出部と、
    検出された前記鑑賞者の顔の各部分に基づいて顔認識を行う鑑賞者顔認識部と、
    前記鑑賞者に対する顔認識の結果に基づいて、前記被写体画像に対して画像補正を行う画像処理部と、
    前記被写体画像から前記画像補正された被写体画像に表示を切り替える制御部と
    を備えることを特徴とする表示装置。
  2. 請求項1に記載の表示装置において、
    前記被写体画像の人物の顔を検出する被写体顔検出部と、
    検出された前記人物の顔の各部分に基づいて顔認識を行う被写体顔認識部と、
    顔認識された前記人物と前記鑑賞者とが同一人物か否かを判定する人物判定部とをさらに備え、
    前記画像処理部は、
    前記人物判定部によって前記人物と前記鑑賞者とが同一人物であると判定された場合には、前記被写体画像に対して前記画像補正を行う
    ことを特徴とする表示装置。
  3. 請求項1または請求項2に記載の表示装置において、
    前記画像処理部による前記画像補正の実行の有無を設定可能な操作部材をさらに備えることを特徴とする表示装置。
  4. 請求項1または請求項2に記載の表示装置において、
    複数の鑑賞者の顔情報を記憶する記憶部と、
    前記鑑賞者顔認識部によって顔認識された前記鑑賞者と前記記憶部における前記複数の鑑賞者の顔情報のいずれかと一致するか否かの判定を行う鑑賞者判定部とをさらに備え、
    前記画像処理部は、
    前記鑑賞者判定部が一致すると判定した場合には、前記被写体画像に対して前記画像補正を行わず、前記鑑賞者判定部が一致しないと判定した場合には、前記被写体画像に対して前記画像補正を行う
    ことを特徴とする表示装置。
  5. 請求項2に記載の表示装置において、
    前記画像処理部は、
    前記人物判定部によって前記人物と前記鑑賞者とが同一人物であると判定された場合には、前記画像補正を、前記被写体画像のうち前記被写体顔検出部によって検出された前記人物が撮像されている画像領域のみに対して行う
    ことを特徴とする表示装置。
  6. 請求項2または請求項5に記載の表示装置において、
    前記被写体顔認識部によって顔認識された前記人物と前記鑑賞者顔認識部によって顔認識された前記鑑賞者とが、互いに異性であるか否かを判定する異性判定部をさらに備え、
    前記画像処理部は、前記異性判定部が互いに異性であると判定した場合には、前記被写体画像に対して前記画像補正を行う
    ことを特徴とする表示装置。
  7. 請求項2または請求項5に記載の表示装置において、
    前記被写体となる複数の所定の人物の顔情報をあらかじめ記憶する記憶部と、
    前記被写体顔認識部によって顔認識された前記人物と前記記憶部における前記複数の所定の人物の顔情報のいずれかと一致するか否かの判定を行う被写体判定部とをさらに備え、
    前記画像処理部は、前記被写体判定部が一致すると判定した場合には、前記被写体画像に対して前記画像補正を行う
    ことを特徴とする表示装置。
  8. 被写体である人物を撮像して被写体画像を生成する撮像部と、
    請求項1ないし請求項7のいずれかに記載の表示装置と
    を備えることを特徴とする撮像装置。

JP2009013134A 2009-01-23 2009-01-23 表示装置及び撮像装置 Expired - Fee Related JP5402018B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009013134A JP5402018B2 (ja) 2009-01-23 2009-01-23 表示装置及び撮像装置
US12/689,529 US8421901B2 (en) 2009-01-23 2010-01-19 Display apparatus and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009013134A JP5402018B2 (ja) 2009-01-23 2009-01-23 表示装置及び撮像装置

Publications (2)

Publication Number Publication Date
JP2010169954A true JP2010169954A (ja) 2010-08-05
JP5402018B2 JP5402018B2 (ja) 2014-01-29

Family

ID=42397364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009013134A Expired - Fee Related JP5402018B2 (ja) 2009-01-23 2009-01-23 表示装置及び撮像装置

Country Status (2)

Country Link
US (1) US8421901B2 (ja)
JP (1) JP5402018B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011164243A (ja) * 2010-02-08 2011-08-25 Casio Computer Co Ltd 表示処理装置、及び、プログラム
JP2012089983A (ja) * 2010-10-18 2012-05-10 Casio Comput Co Ltd 画像表示装置及びプログラム
CN102682743A (zh) * 2011-03-08 2012-09-19 卡西欧计算机株式会社 图像显示控制装置
JP2012209894A (ja) * 2011-03-30 2012-10-25 Fujitsu Ltd 情報処理装置及びプログラム
JP2013141215A (ja) * 2011-12-12 2013-07-18 Canon Inc 撮像装置で撮像された画像の選択方法、システム及び装置
JP2014207572A (ja) * 2013-04-12 2014-10-30 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
JP2017123176A (ja) * 2017-02-07 2017-07-13 カシオ計算機株式会社 表示制御装置及びプログラム
JP7451171B2 (ja) 2019-12-24 2024-03-18 キヤノン株式会社 画像処理装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150249792A1 (en) * 2012-08-17 2015-09-03 Nikon Corporation Image processing device, imaging device, and program
TWI490792B (zh) * 2012-10-22 2015-07-01 Pixart Imaging Inc 使用者辨識及確認裝置、方法以及使用該裝置之車用中央控制系統
US10382692B1 (en) * 2016-11-01 2019-08-13 Amazon Technologies, Inc. Digital photo frames with personalized content

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164649A (ja) * 2002-11-14 2004-06-10 Eastman Kodak Co 刺激に応じてポートレート画像を変更するシステム及び方法
JP2005354210A (ja) * 2004-06-08 2005-12-22 Olympus Corp 画像再生システムおよび画像ファイリングシステム
JP2006081021A (ja) * 2004-09-10 2006-03-23 Fuji Photo Film Co Ltd 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2007280291A (ja) * 2006-04-11 2007-10-25 Nikon Corp 電子カメラ
JP2009141678A (ja) * 2007-12-06 2009-06-25 Fujifilm Corp デジタルフォトフレームおよびその画像表示方法
JP2009171176A (ja) * 2008-01-16 2009-07-30 Seiko Epson Corp 再生装置およびその制御方法並びにプログラム
JP2009204817A (ja) * 2008-02-27 2009-09-10 Seiko Epson Corp 画像表示装置およびその制御方法
JP2010016432A (ja) * 2008-07-01 2010-01-21 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
JP3755343B2 (ja) 1999-06-30 2006-03-15 オムロン株式会社 歩行者観測装置、およびその装置を用いた歩行者認識システム、扉開閉制御システムならびに建造物
JP4227257B2 (ja) 1999-08-12 2009-02-18 キヤノン株式会社 カメラ
JP2001067004A (ja) 1999-08-25 2001-03-16 Nikon Gijutsu Kobo:Kk 電子写真立て
JP2004046591A (ja) 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
WO2005052673A2 (en) * 2003-11-21 2005-06-09 Sharp Laboratories Of America, Inc. Liquid crystal display with adaptive color
JP4411059B2 (ja) * 2003-12-12 2010-02-10 キヤノン株式会社 カメラ付きディスプレイ装置、通信装置および通信システム
JP2006115406A (ja) * 2004-10-18 2006-04-27 Omron Corp 撮像装置
JP4380524B2 (ja) * 2004-12-17 2009-12-09 ソニー株式会社 情報処理装置及び情報処理方法
US7460150B1 (en) * 2005-03-14 2008-12-02 Avaya Inc. Using gaze detection to determine an area of interest within a scene
US8154615B2 (en) * 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164649A (ja) * 2002-11-14 2004-06-10 Eastman Kodak Co 刺激に応じてポートレート画像を変更するシステム及び方法
JP2005354210A (ja) * 2004-06-08 2005-12-22 Olympus Corp 画像再生システムおよび画像ファイリングシステム
JP2006081021A (ja) * 2004-09-10 2006-03-23 Fuji Photo Film Co Ltd 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2007280291A (ja) * 2006-04-11 2007-10-25 Nikon Corp 電子カメラ
JP2009141678A (ja) * 2007-12-06 2009-06-25 Fujifilm Corp デジタルフォトフレームおよびその画像表示方法
JP2009171176A (ja) * 2008-01-16 2009-07-30 Seiko Epson Corp 再生装置およびその制御方法並びにプログラム
JP2009204817A (ja) * 2008-02-27 2009-09-10 Seiko Epson Corp 画像表示装置およびその制御方法
JP2010016432A (ja) * 2008-07-01 2010-01-21 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011164243A (ja) * 2010-02-08 2011-08-25 Casio Computer Co Ltd 表示処理装置、及び、プログラム
JP2012089983A (ja) * 2010-10-18 2012-05-10 Casio Comput Co Ltd 画像表示装置及びプログラム
CN102682743A (zh) * 2011-03-08 2012-09-19 卡西欧计算机株式会社 图像显示控制装置
JP2012185753A (ja) * 2011-03-08 2012-09-27 Casio Comput Co Ltd 画像表示制御装置及びプログラム
CN102682743B (zh) * 2011-03-08 2014-06-25 卡西欧计算机株式会社 图像显示控制装置
US8928583B2 (en) 2011-03-08 2015-01-06 Casio Computer Co., Ltd. Image display control apparatus including image shooting unit
JP2012209894A (ja) * 2011-03-30 2012-10-25 Fujitsu Ltd 情報処理装置及びプログラム
JP2013141215A (ja) * 2011-12-12 2013-07-18 Canon Inc 撮像装置で撮像された画像の選択方法、システム及び装置
US9344631B2 (en) 2011-12-12 2016-05-17 Canon Kabushiki Kaisha Method, system and apparatus for selecting an image captured on an image capture device
JP2014207572A (ja) * 2013-04-12 2014-10-30 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
JP2017123176A (ja) * 2017-02-07 2017-07-13 カシオ計算機株式会社 表示制御装置及びプログラム
JP7451171B2 (ja) 2019-12-24 2024-03-18 キヤノン株式会社 画像処理装置

Also Published As

Publication number Publication date
JP5402018B2 (ja) 2014-01-29
US20100194906A1 (en) 2010-08-05
US8421901B2 (en) 2013-04-16

Similar Documents

Publication Publication Date Title
JP5402018B2 (ja) 表示装置及び撮像装置
JP5880182B2 (ja) 画像生成装置、画像生成方法及びプログラム
TWI406564B (zh) 攝影裝置及攝影方法
JP5467992B2 (ja) 撮像装置
WO2007129438A1 (ja) 電子カメラ
JP4732303B2 (ja) 撮像装置
US20100188520A1 (en) Imaging device and storage medium storing program
US20100033591A1 (en) Image capturing apparatus and control method therefor
JP5604285B2 (ja) 撮像装置
JP2009088768A (ja) 撮影装置、及び撮影方法
JP4802884B2 (ja) 撮像装置、撮像画像記録方法、及び、プログラム
JP2004349750A (ja) ディジタル・カメラおよびその制御方法
JP2009089220A (ja) 撮像装置
JP2010161547A (ja) 構図選択装置及びプログラム
JP5530548B2 (ja) 表情データベース登録方法及び表情データベース登録装置
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP2019169985A (ja) 画像処理装置
JP2010199968A (ja) デジタルカメラ
JP4865631B2 (ja) 撮像装置
JP2004104426A (ja) 撮像装置
JP2009089083A (ja) 年齢推定撮影装置及び年齢推定撮影方法
JP5270744B2 (ja) 撮像装置及び撮像方法
JP5711296B2 (ja) 撮像方法及び撮像装置
JP2012205114A (ja) 画像処理装置及び画像処理方法、並びにプログラム
JP2011077790A (ja) 撮像装置、補正処理プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131014

R150 Certificate of patent or registration of utility model

Ref document number: 5402018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees