JP2012023501A - 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム - Google Patents

撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム Download PDF

Info

Publication number
JP2012023501A
JP2012023501A JP2010159008A JP2010159008A JP2012023501A JP 2012023501 A JP2012023501 A JP 2012023501A JP 2010159008 A JP2010159008 A JP 2010159008A JP 2010159008 A JP2010159008 A JP 2010159008A JP 2012023501 A JP2012023501 A JP 2012023501A
Authority
JP
Japan
Prior art keywords
subject
information
image
imaging
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010159008A
Other languages
English (en)
Other versions
JP5562154B2 (ja
JP2012023501A5 (ja
Inventor
Shigeki Mori
重樹 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010159008A priority Critical patent/JP5562154B2/ja
Priority to US13/179,449 priority patent/US8717479B2/en
Priority to CN2011101968571A priority patent/CN102332091A/zh
Publication of JP2012023501A publication Critical patent/JP2012023501A/ja
Publication of JP2012023501A5 publication Critical patent/JP2012023501A5/ja
Application granted granted Critical
Publication of JP5562154B2 publication Critical patent/JP5562154B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147PVR [Personal Video Recorder]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00183Photography assistance, e.g. displaying suggestions to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】 撮影画像を用いてアルバムを構成する際、撮影枚数は同じでも、被写体によっては、中心位置における写真が数枚あるほかは画面の端ばかりで小さく写る画像のみばかりである等の構図上の偏りが起き得る。
【解決手段】 撮像手段により取得された映像を表示する表示手段と、前記映像中の被写体の、集計対象となる画像データにおける1画像中の登場人数及び被写体の位置情報に基づく構図情報を集計した情報を取得する取得手段と、前記撮影指示情報を提示させる提示手段とを有することを特徴とする撮像装置を提供する。
【選択図】 図5

Description

本発明は、撮影補助システム、特にアルバム作成用途に適した撮像装置及び撮影補助システムに関する。
グループや集団での旅行や各種イベントへの参加、またテーマパークなどへの行楽においては、参加者個人の写真撮影のみならず、同行のカメラマンの撮影した写真を用いたアルバムを作成する場合が多い。特に近年では、アルバムを作成するサービスが普及し、アルバムを作成する機会は増えつつある。また、アルバムを作成する際には、被写体となる複数の参加者が均等に現れる様に写真を選択する事が求められる場合が多い。あるいは、アルバムが贈答用など用いられる場合など、特定の参加者がより多く現れる様に写真を選択する事が行われている。
この様なアルバム作成の作業を効率化する為に、以下の様な技術が存在する。例えば特許文献1には、撮像装置が撮影前に捉えた画像の人物を識別し、人物毎の撮影枚数情報を集計する事で、撮影枚数の偏りを通知し警告するものである。また、撮影した画像の合焦位置、中心近傍等の所定の位置に写る被写体を主要被写体としてその撮影枚数を管理するものである。
特開2007−020104号公報
しかしながら、特許文献1の撮像装置においては、主要被写体として管理される被写体は1撮影につき1人物であり、撮影画像に登場する他の被写体の位置情報等は考慮されず、被写体の構図を考慮した撮影支援としては改善の余地がある。つまり、撮影画像を用いてアルバムを構成する際、撮影枚数は同じでも、被写体によっては、中心位置における写真が数枚あるほかは画面の端ばかりで小さく写る画像のみばかりである等の構図上の偏りが起き得る課題が存在した。
本発明は上述の課題に鑑みて成されたものであり、課題を解決するための手段として、撮像手段により取得された画像を表示する表示手段と、集計対象となる画像データにおける1画像中の被写体人数及び被写体の位置情報に基づく構図情報を集計した情報を取得する取得手段と、前記集計した情報を提示させる提示手段とを有することを特徴とする撮像装置を提供することである。
本発明によれば、撮影者は表示手段に提示された撮影指示情報を確認することで、構図上の偏りが少ない撮影を行う事が可能となる。したがって、被写体の登場枚数かつ構図上の偏りの少ないアルバムを容易に作成することが可能となる。
本発明による第一の実施形態に係る撮像装置の構成を示すブロック図である。 本発明による第一の実施形態に係る撮影指示情報提示処理を説明するフローチャートである。 本発明による第二の実施形態に係る撮影処理を説明するフローチャートである。 本発明による第一の実施形態に係る撮像装置の概略を示す図である。 本発明による各実施形態に係る撮影指示情報提示の一例を示す図である。 本発明による各実施形態に係る構図情報に基づく点数テーブルの一例及び撮影指示情報の演算の一例を説明するための図である。 本発明による各実施形態に係る撮影指示情報の提示方法を説明するための図である。 本発明による第二の実施形態に係る撮影処理の際に被写体撮影情報の再集計を行う構成を示すフローチャートである。 本発明による第三の実施形態に係る撮影補助システムを示す図である。 本発明による各実施の形態に係る被写体の状態が適切でない場合を説明する図である。 本発明による各実施の形態に係る被写体集計データ取得処理を示すフローチャートである。 本発明による各実施の形態に係る被写体集計データの一例を示す図である。 本発明による第四の実施形態に係る撮影補助システムの構成を示すブロック図である。
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
<実施形態1>
実施形態1では、表示手段の被写体画像上に被写体毎に撮影指示情報を提示する撮像装置を説明する。本実施の形態では、集計対象となる画像データの解析を行い、被写体毎の撮影枚数および構図情報等に基づいた撮影指示情報を撮像装置に表示する。図1は、本実施形態を実現する撮像装置の構成を示すブロック図である。
101はCPUであり、各種処理のための演算や論理判断等を行い、バス110に接続された各構成要素を制御する演算装置である。また、CPU101は、メモリに格納されている制御プログラムに基づき、後述する撮影処理、撮影指示情報提示処理、被写体集計データ取得処理などの制御を行う。102はROMであり、CPU101で実行される制御プログラム等が格納されており、プログラムメモリとして動作する。また、後述する点数テーブルも記憶されている。103はRAMで、CPU101のワークメモリとして用いられる。また、外部記憶装置などからプログラムをロードし、プログラムメモリとしても動作可能である。
104は入力デバイスであり、例えば、撮像装置に搭載されたシャッターボタン等の各種ボタン、マウスやキーボード、あるいはタッチパネルデバイスなどがこれに該当する。ユーザの入力デバイス104の操作により、撮像装置の撮影条件の設定や各種情報の入力を行うことが可能となる。また、入力デバイス104に含まれるシャッターボタンの操作により、実行中のプログラムに割り込み信号を発生させ、撮影処理を開始することが可能である。
105は出力デバイスであり、例えば、CPU101により出力された画像データを表示する液晶パネル等の表示部で、各種設定されたモードやその他の撮影情報などの表示や撮影画像の表示を行う。106は撮影デバイスであり、撮影レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子、前記撮像素子から出力された撮像信号を画像データに変換して出力するA/D変換部等から構成される。107はI/Oデバイスであり、外部機器との入出力インターフェースとして動作する。例えば、CPU101の制御によりメモリーカードなどの外部メモリへデータの書き込み及び読み出しを行う外部メモリ入出力デバイス、USBケーブルなどの入出力部、無線信号の送受信部を備えるインターフェース部である。メモリーカード108はI/Oデバイス107によって制御される着脱式の記憶装置であり、撮像装置で取得された画像等のデータを記憶する。109はファインダであり、スクリーン、スクリーン上に配置されたファインダ内表示デバイス等から構成される被写体画像の確認用表示部である。スクリーンは撮像デバイス106の撮影レンズを介して入射した被写体光を投射され、被写体画像を表示する。また、ファインダ内表示デバイスの表示は、スクリーン上の画像に重畳する事で、様々な情報を被写体画像上に表示することができる。後述する撮影指示情報もファインダ内表示デバイス上に表示する。なお、撮影者は、スクリーン及びファインダ内表示デバイスにより表示される被写体画像は光学系を介して確認可能となる。
以下、本実施形態における撮像装置の概略図を示す図4を用いて、撮像装置の細部をさらに説明する。
図4において、401は撮像装置の被写体である。402は撮影レンズ装置であり、撮像装置と脱着可能な構成となっている。403は撮影レンズ装置402を通して得られた被写体光を404の撮像素子及び405のスクリーンに振り分けるハーフミラーである。ハーフミラー403は、レリーズ動作による露光時には跳ね上がり格納される事で、ハーフミラー等の余分な光学系を介さず被写体光を撮像素子404に送る事が出来る。408のファインダ内表示デバイスは透過型の表示装置であり、ここに表示された情報はスクリーン405に表示される被写体の画像に重畳して表示することが可能である。スクリーン405及びファインダ内表示デバイス408に表示された被写体画像は、406のペンタプリズム及び407の接眼レンズを介して、撮影者に伝達可能となる。409は表示装置であり、図1に示す出力デバイス105に対応する。なお図4における撮像装置は、図1に示すCPU101に各部を制御され、図4では不図示のROM102、RAM103等の記憶装置、入力デバイス104である各種の操作ボタンやメモリーカード108を保持している。
以上のような撮像装置の構成を用いた本実施形態の動作を説明する。まず、本実施形態における特徴的な撮影指示情報提示処理を図2のフローチャート、図1及び図4に基づき説明する。
図2のS201においては、撮像装置において被写体の個人識別を精度良く効率的に行う為に、識別対象となる被写体についての顔画像のリファレンスデータを取得する。このリファレンスデータは、本撮像装置において撮影が行われるイベントなどの受付などで撮影した画像データを用いる事が、被写体自身の時間的な経過が少なく好ましい。もちろん事前に取得されたものであっても構わない。また、顔画像を取得する際には正面からだけでは無く上下左右の方向から取得した画像をリファレンスデータとして用いる事でより精度の良い個人識別が可能である。
S201における具体的な処理として、CPU101は撮影処理又はメモリーカード108より取得した画像データから顔領域の検出を行う。検出された顔領域を切り出し、画像データをリファレンスデータとしてRAM103またはメモリーカード108等の記憶装置に記憶する。なお、リファレンスデータについては、個々の被写体の顔領域画像から算出した特徴情報を用いても良い。また、識別対象となる個々の被写体に対応する識別コード、例えば被写体の氏名などが対応付けられてリファレンスデータと共に登録し、RAM103上にリファレンスデータベースを構築する。
S202において、撮像装置は、被写体画像の取得を行う。撮像装置は、レリーズ動作以前の被写体光が撮影レンズ装置402及びハーフミラー403を透過して撮像素子404により受光することで被写体画像を取得する。また、撮影者は、同様にスクリーン405に投射され表示されるファインダ画像によって、撮像素子404と同様の被写体画像を確認することが出来る。撮影指示情報提示処理でのS202における被写体画像取得は、CPU101が撮影準備動作のスイッチであるシャッターボタンの半押し状態を検知した時に実行するように構成する。撮影者が撮影意思を有している場合にのみ、以降の処理を実行し、CPU101の負荷を低減するためである。
続くS203において、CPU101はS202で取得した被写体画像の解析を行い、被写体の顔を検出する。また、被写体画像の解析により顔領域の大きさを取得する。なお、昨今様々な顔検出技術が実用化され、デジタルカメラ装置に搭載されている。例えば、複数の顔を高速に検出する事や顔検出に基づく自動焦点機能や自動露出機能が実用化されている。したがって、顔検出機能の詳細については、ここでは詳細を省略する。
S204においては、CPU101はS203において検出された個々の顔について、S201で取得されたリファレンスデータを基に識別を行う。
顔識別機能の詳細についても、昨今顔の特徴点データを基にした様々な技術が実用化され、デジタルカメラ装置などに搭載されている。また、適切な条件の被写体においては顔識別の識別精度は高く、実用性の高いものとなっている。したがって、ここでは顔識別機能の詳細を省略する。
CPU101は、検出された個々の顔について、S201において登録した何れの被写体かの識別を行う。ここで、CPU101は、S203において検出された被写体がリファレンスデータとして登録されたものであるか否かの判断も行う。登録したものでないと判断した場合は、その被写体について登録者でない旨を示すフラグをRAM103上に立てる。そして、以降の処理についてはその被写体については行わない。このように、構成することで登録された被写体にのみ撮影指示情報を提示できるので、撮影者は登録者に着目した撮影を行うことが出来る。なお、登録者でない被写体を被写体画像として捉えた場合、撮影者の入力デバイス104の操作により、新たなにその被写体を識別対象者として登録できる構成としても良い。この場合、CPU101は入力デバイス104の入力を検知すると、S201に示すリファレンスデータ取得処理を実行する。そして、検出された顔領域をリファレンスデータとして登録する。このように構成することにより、イベントに遅刻して参加した被写体であっても同様に撮影指示を行うことが出来る。
続くS205において、CPU101はS204で識別された個々の被写体の顔が、被写体全体画像中のどの位置に検出されたかの位置解析を行う。そして、解析結果である位置情報をRAM103等の記憶装置に記憶し、取得する。
S206において、CPU101はS203で検出された被写体の全ての顔について、S204からS205の処理が行われたかどうかの判定を行う。この判定は、全ての顔についての処理が完了するまで繰り返される。全ての顔について処理が行われていないと判定されるとS204に戻り、次の検出された顔の被写体を識別する。一方、全ての顔についての処理が完了したと判定された場合は、次のS207に進む。
S207において、CPU101は、被写体集計データの取得を行う。ここで、被写体集計データとは、メモリーカード108等に記憶されている集計対象となる画像データにおける、1画像中の登場人数及び被写体毎の位置情報に基づく構図情報の集計結果である。即ち、被写体集計データには、記憶装置に記憶されている集計対象となる画像データにおいて、被写体毎に何枚の画像データに登場したか(登場画像データ数)が反映されている情報が含まれている。さらに、被写体集計データには、被写体が登場した画像データそれぞれにおいて、1画像中での位置情報及び他の被写体の登場人数に関する情報が反映されている。
ここで、被写体集計データ取得サブルーチンを図11に示すフローチャートを用いて詳細に説明する。S1101において、CPU101はメモリーカード108に記憶されている過去に撮影された画像データを読み込み、RAM103上に展開する。ここで、読み込まれ、集計対象となる画像データは、撮影日時等で任意に制限することができる。撮影者は入力デバイスの操作により、集計対象となる画像データの制限を設定することが出来る。また、読み込む画像データは本装置で撮影された画像データでなくてもよい。集計対象となる画像データに関する情報は後述する被写体集計データ上に画像IDとして記憶される。このように被写体集計データの対象となる画像データを制限する構成により、メモリーカード108に過去の撮影画像データが残存している場合であっても、イベント毎など適切な区切りで集計データを生成することが可能となる。
続く、S1102では、CPU101はS1101において読み込んだ画像データが表す1画像中の被写体の顔を検出し、画像における登場人数を検出する。
そして、S1103において、CPU101は、S1102で検出された顔に基づき、画像データの解析を行う。具体的には、S1102で検出された被写体人数、それぞれの被写体の顔領域の大きさ及びそれぞれの被写体の顔領域の位置解析を行う。また、併せてそれぞれの被写体の顔の向きや表情等も解析する構成としてもよい。さらに、顔検出だけでなく、画像データの構成を解析すべく、物体の形状認識等を行っても良い。例えば、集合写真であるのか、風景と共に写っているのか等の撮影環境を解析する。
次のS1104では、CPU101は、前述のS201において取得したリファレンスデータを基に、S1102で検出した被写体の識別が行う。また、登録された識別対象ではない被写体が検出された場合は、その被写体について登録者でない旨を示すフラグを立て、後述する処理は行わない。
S1105において、CPU101は、被写体毎に集計データを書き込み、更新を行う。集計データはRAM103などの記憶装置上に作成される。ここで、被写体集計データの一例を図12(a)に示す。1201は識別コードでありリファレンスデータと共に取得する。1202は画像IDであり、メモリーカード108に記憶されている集計対象となる画像データに関する情報である。画像データのファイル名等と対応する。1203は1画像中に何名の被写体が検出されたかを示し、その画像における被写体の登場数(被写体人数)である。また、人数だけでなく、その画像における他の登場被写体の識別コードを併せて記憶するように構成しても良い。1204は、被写体毎の画像中の位置情報を示す。例えば、画像における、顔領域の中心位置の座標等を格納している。1205は被写体毎の画像における顔領域の大きさを示す。例えば、顔領域の横方向及び縦方向のピクセル数を格納している。また、併せて表情、顔の向きの情報も格納するように構成しても良い。また、図12(b)は、S1103によって解析された画像データの撮影環境を示す画像情報である。被写体集計データと共に記憶される。
このように、画像が解析されると被写体毎に何れの画像に、どの位置で、どのような大きさで、誰と、どのような環境でといった構図情報及び登場枚数等の情報が被写体集計データに書き込まれていく。つまり、被写体集計データを参照すれば集計対象の画像データのうち被写体の登場する画像データ数を求めることができる。
図11に戻り、続くS1106において、CPU101は集計対象となっている全ての画像データの解析が終了しているかの判断を行う。終了していないと判断された場合は、S1101に戻り、次の画像データを読み込む。そして、終了していると判断された場合は、S1107に進み、CPU101は、集計結果である生成した被写体集計データをRAM103に展開し、被写体集計データを取得する。そして、被写体集計データ取得のサブルーチンを終了する。このように、記憶装置に保存されている画像データの解析を行い、被写体ごとの登場画像データ数や登場画像データごとの位置情報などの被写体集計データを取得することが可能となる。
そして、図2に戻り、S208において、CPU101は、S204からS205によって検出し、識別されたそれぞれの被写体について、S207で取得した集計データとの照合が行われる。そして、識別されたそれぞれの被写体について該当する被写体集計データの結果が抽出される。即ち、識別された被写体毎に、画像データ中の位置情報等の構図情報及び記憶装置に記憶されている画像データ中に何枚の撮影結果が存在するか(登場画像データ数)の情報が取得される。
S209においてCPU101は、S208で取得された被写体毎の被写体集計データと、ROM102に記憶されている点数テーブルを基に、被写体毎に撮影指示に用いる情報である構図指示ポイントの導出を行う。
構図情報に基づく点数テーブルの一例及び撮影指示情報の演算の一例を図6に示す。図6(a)は、S209での演算に用いられる構図情報に基づく点数テーブルの一例である。609は画像における登場人数である被写体人数、610は被写体に応じた画像上の撮影位置、611は被写体人数及び撮影位置における被写体毎に付与されるポイントである。また、図6(b)は、図6(a)の610に示される画像中の撮影位置を説明する為の画像データの一例である。ここで601は画像データが表す全体画像、602、603、604は全体画像に存在する3名の被写体人物を示している。605は画像データが表す全体画像を3分割する仮想補助線であり、実際には全体画像には存在しない線である。即ち、全体画像601は中央位置である607の領域と両端位置である606及び608の領域に識別される。図6(a)の610に示される中央位置及び両端位置は、図6(b)の中央位置である607と両端位置である606及び608に対応付けられる。例示として、図6(b)の被写体の点数を算出する。CPU101は、図6(b)に示す601の全体画像を解析し、3人の被写体を検出する。そして、中央位置の被写体603は図6(a)の構図情報に基づく点数テーブルにより4点が付与される。また、両端位置に位置する被写体604及び602は同様に2点が付与される。
上述のように、S209において、CPU101は、撮像デバイス106によって取得された被写体画像中の識別された被写体毎に、S207において取得した被写体集計データを参照する。そして、被写体ごとの被写体集計データから図6(a)の構図情報に基づく点数テーブルに従って、撮影指示情報に用いる情報としてポイントの導出が行われ、登場画像データ数分、画像データ毎に集計される。
そして、S210おいて、CPU101は、撮像デバイス106によって取得された被写体画像中の識別された被写体の顔毎に、S209によって取得された撮影指示に用いる情報の提示方法を決定する。
図7(a)は、S209の登場画像データ数分集計された構図指示ポイントに対応した撮影指示に用いる情報の提示方法決定の一例を示す図である。701に示す集計された構図指示ポイント数に応じて、対応する提示方法が決定される。なお、701の提示方法を決定する集計された構図指示ポイント数はメモリーカード108の被写体集計データの対象となる画像数やリファレンスデータとして登録した人数により、適宜変更される。また、撮像デバイス106によって取得された被写体画像中の被写体毎の構図指示ポイント数の相対的な大小によって提示方法が変更される構成としても良い。
図7(b)、図7(c)、図7(d)は、それぞれ702の3種類の提示方法に対応する具体的な提示方法の一例を示す図である。図7(b)の703は強調表示、図7(c)の704は通常の表示、図7(d)の705は弱表示の場合を示す。それぞれ吹き出しの形状になっており、吹き出しの内部には、識別された被写体の顔に対応する氏名情報や構図指示ポイント数が表示され、吹き出しの枠部分の表示の提示種類が異なるものである。このように、撮影指示情報の内容によって、その提示方法を変えるので、撮影者は枚数が足りていない被写体やより中心位置に位置づけたほうが良い被写体を一見して判別することが可能である。
続く、S211ではCPU101は、S210において決定された図7(a)、図7(b)、図7(c)に示される吹き出し状の情報提示を、被写体画像のどの位置に配置するかが決定される。例えば、CPU101は、前述のS203において行った被写体画像の解析および顔検出の際に取得した位置解析による解析結果である被写体毎の顔領域の位置や大きさを参照する。そして、解析結果に基づき、吹き出しを被写体の顔に被らないように吹き出しの大きさや位置に配置するよう決定する。このように、被写体画像の解析結果に基づき撮影指示情報を適切に配置するよう表示制御を行うので、撮影者はファインダ画像上に撮影指示情報が表示されていても適切な構図で撮影を行うことが出来る。
S212では、CPU101は、S211で決定した撮影指示情報の配置位置に被写体画像内のそれぞれの被写体毎に撮影指示情報を表示する制御を行う。集計された構図指示ポイントに対応した吹き出し図形が、氏名情報や構図指示ポイント数と共にファインダ内表示デバイス408に被写体毎に表示されるよう制御を行う。
図5は、本実施形態における撮像装置において、撮像デバイス106によって被写体画像を取得した際の撮影指示情報を撮影者に提示するファインダ画像を示す図である。ここで507は撮像装置が捉えたファインダ画像であり、502、503、504は撮像装置が捉えた3名の被写体である。この時撮像装置においては、ファインダ画像507と同等の画像がハーフミラー403を透過して撮像素子404でも捉えられている。そして、S203からS206の処理が繰り返され、3名の被写体の顔が識別されている。また、S207からS211の処理により、メモリーカード108に記憶されている画像データにおいて、画像データ毎に識別された3名がそれぞれ画像中のどの位置で何回撮影されているかがそれぞれ登場画像データ数分集計される。同時に、それぞれの被写体に対応する吹き出し枠の種類、吹き出し内に表示される氏名、及び構図指示ポイント数が取得される。
S212では、前述の取得された構図指示ポイント数を基に、撮像装置のファインダ内表示デバイス408に512、513、514からなる情報が表示され、被写体画像が投射されたスクリーン405の画像と重畳した画像となる。その結果、撮影者には撮像装置のファインダ109を介して図5に示される画像が提供される。撮影指示情報512、513、514では、氏名、516の取得した構図指示ポイント数がそれぞれ表示される。また、517はS205において位置解析され取得した位置情報に基づき、現在の構図において撮影処理が行われた場合の撮影後のポイントである。さらに、518は今までの撮影枚数、つまり集計対象となる画像データにおける登場回数(登場画像データ数)である。以上の情報がそれぞれ被写体毎にファインダ内表示デバイス408に表示される。また、515は識別対象の被写体の平均構図指示ポイント数及び平均撮影枚数を表示している。撮影者はこのように被写体画像に重畳して提示された撮影指示情報により、被写体をそれぞれどのような構図で撮影を行えばよいかを、ポイント等を参照することで容易に決定できる。また、被写体の撮影枚数のみならず構図情報も加味した撮影指示情報を提示しているので、枚数のみならず構図上の偏りの少ない撮影が可能となる。さらに、今までに撮影した画像データに基づき、被写体毎にさらなる撮影が必要か否かを容易に理解可能な撮影指示情報を表示することで被写体毎の撮影枚数の偏りの少ない撮影が可能となる。
以降、S213で、CPU101は、撮影者への撮影指示情報の提示が終了か否かを判定する。つまり、CPU101は、入力デバイス104の半押し状態の検知を終了した場合に撮影指示情報の提示を終了する。つまり、CPU101は、撮影者がシャッター半押し状態を止めた場合かシャッターの全押し状態である撮影処理の開始信号を検出した場合は撮影指示情報の提示を終了する。なお、本実施の形態ではシャッターボタンの半押しの状態を検知した場合に撮影指示情報の提示を行う構成としたが、これに限られるものではない。例えば、ライブビューモードの場合は、被写体が検出され、識別された場合は撮影指示情報を随時提示するように構成してもよい。S213に示す撮影指示情報の提示の判断は、撮影者の撮影指示情報を提示のキャンセルを意図する入力デバイス104への入力により、撮影指示情報の提示を終了する。もちろん、画角や撮像装置の位置を変更し新たな被写体画像を取得したと判定された場合などはS202へと戻り、撮像装置における撮影指示情報提示の処理が連続して繰り返される事になる。
以上説明した様に、本実施形態によれば、撮影者がイベント等の参加者を撮影する際に、被写体毎に提示された撮影指示情報である構図指示ポイントを参照する事で、撮影枚数が少ない参加者を識別することが可能となる。さらに、構図情報も加味しているため、枚数は多いが撮影データの端にしか写っていない参加者を識別する事が可能となる。したがって、構図上のバランスのとれた撮影が可能となる。また、撮影指示情報に記憶装置に記憶された画像データにおける被写体毎の構図情報に基づき、ポイント化した数値を含めている。したがって、撮影者は構図指示ポイントを参照し、全被写体の構図指示ポイントを平準化するように撮影を行っていけば、意識せずとも枚数及び構図上のバランスのとれた撮影を容易に行うことが可能となる。また、撮影指示情報を提示する際には、提示方法を構図指示ポイントに応じて変更するので、構図指示ポイントの点数に注目していなくても一見して被写体毎の撮影判断が可能となる。したがって、撮影者にとって使い勝手が良い情報の提示が可能となる。
また、撮像手段によって取得した被写体画像の被写体毎にそれぞれ撮影指示情報を提示するので、撮影者は通常行う被写体画像確認動作を行いながら構図を決定できるので特別な操作を必要とせず使い勝手がよい。
なお、本実施形態においては、図6に示すように取得された被写体画像を検出された被写体数に応じて領域分割し構図指示ポイントを対応付けた。しかし、このような形態に限られるものではなく、図2に示す撮影指示情報提示処理のS203で検出された顔の大きさに応じて構図指示ポイントの対応付けを変更する構成としても良い。例えば、図6の(d)に示すように領域分割だけでは、被写体毎の撮像装置からの距離による構図を反映したとは言い難い。したがって、図6の(c)の対応表に基づき、検出された顔の大きさに対応したポイントを導出し集計する様にしても良い。また、領域分割と顔の大きさを組み合わせて構図指示ポイントの対応づけてもよい。さらには、合焦位置付近にいる被写体の構図指示ポイントを割り増しにする構成にしても良い。さらには、被写体の表情によってポイントを変化するように構成しても良い。このように、状況に応じたポイントを導出するため複数の点数テーブルをROM102等の記憶装置に記憶し、CPU101は状況に応じた点数テーブルを用いたポイントの演算を行う構成とすることができる。
さらには、撮影環境によってポイントを変化させても良い。例えば、集合写真のような集団が写る撮影環境では被写体の位置によって、ポイントの優劣をつけるのは適切ではないからである。つまり、検出された被写体の領域等の構図情報とポイントの対応付けについても、撮影対象や状況に応じて変更できる構成として構わない。この場合、CPU101は図12(b)に示す画像情報を参照し、その撮影環境にあった点数テーブルを用いてポイントの演算を行う。
またさらには、特定の撮影対象である被写体、例えば主賓である被写体については、ポイントに定数を乗じてポイントを少なく導出し集計する様にしても良い。この場合は、入力デバイス104の操作により、主賓の設定を行うことが出来る。そして、主賓と設定された被写体のリファレンスデータ上に主賓である旨の主賓情報が加えられる。CPU101はS209に示す構図指示ポイントの導出の際に、主賓情報に基づき主賓と設定された被写体のポイントを定数を乗じて演算する。このように、主賓設定手段を設けることで意図的に主賓である被写体をより多く撮影する様に指示する事が可能である。
また、本実施の形態において撮影指示情報をファインダ109で表示する構成としたが、ライブビューモードのように出力デバイス105で示す液晶パネル等の表示部で表示する構成としても良い。
なお、提示方法の一例として吹き出しを用いて説明したが、一見して構図指示ポイントの優劣等が識別可能な提示方法であればどのよう提示方法でも構わない。例えば、さらなる撮影が必要だと判断した被写体には、ファインダ内表示デバイス408上で、検出した顔領域を赤い枠で囲む。また、撮影枚数が十分であると判断した被写体には、検出した顔領域を点線で囲む表示をファインダ内表示デバイス408上で行う構成などが考えられる。
また、適切な構図を支援するために、撮影指示情報として被写体を撮影すべき構図を指示する情報も表示することが望ましい。例えば、中心位置での撮影枚数が足りていない被写体Aを被写体画像でとらえた場合、ファインダ内表示デバイス408上に「Aさんを中心位置で撮影して下さい」等のメッセージを表示するようにすればよい。図5の519は構図指示情報提示の一例である。CPU101は、被写体画像の捉えた被写体の構図指示ポイントおよび撮影枚数に基づき、構図指示を行うべき被写体を決定する。そして、決定された被写体の構図指示ポイントおよび撮影枚数から、構図指示する撮影位置を決定し、ファインダ内表示デバイス上に構図指示情報519を提示する。このように、構図指示情報を提示することで、構図上のバランスがよいアルバムの制作のために被写体毎に様々な構図での撮影を支援することが可能となる。
また、識別された被写体においては全て吹き出しによる撮影指示情報の提示を行う構成としたが、被写体の状態がアルバムに使用する画像として適切ではない場合には、情報提示自体を停止する構成としても良い。
図10は被写体の状態が適切でない場合を説明する図である。ここで1001は撮像装置が取得した被写体画像であり、1002及び1003は撮像装置が識別した被写体に対して行われている撮影指示情報を示している。
この時、CPU101は、被写体1005については図2のS203において顔検出は行われているものの、検出された顔領域の大きさが規定の大きさより小さい為に被写体としては適切ではないと判定する。その結果、CPU101は、被写体1005については撮影指示情報の吹き出しが提示しないよう制御を行う。同様に、被写体1004についても顔検出は行われているものの、検出された顔の向きが規定の角度よりも大きい為に被写体としては適切ではないと判定する。この様な構成とする事で、撮影者は、撮影指示情報の吹き出しのみに集中して撮影を行う事が可能となる。
なお、上記の様に、被写体としては適切では無いと判定された被写体についても、なぜ不適切であるかを示す特別な撮影指示の提示を行っても構わない。例えば、1006に示す撮影指示情報は前述の様な状況において、検出された顔の向きが規定の角度よりも大きい為に被写体としては適切ではない旨を表示している。さらに、CPU101はS203において行った画像解析により、「ズーム」あるいは「正面に移動」など、適切な被写体となるような構図を指示する撮影指示情報を生成する。このような構成にすることにより、撮影者に全ての被写体にとってアルバムに適した写真となるような撮影の指示を行うことが出来る。したがって、アルバムに用いる写真の選定等の編集作業が容易になる。
また、集計対象となる画像データを規定する集計対象となる画像データに関する情報を被写体集計データの画像IDとしたがこれに限られるものではない。例えば、被写体集計データ取得処理の際に、読み込む画像データを記憶しているフォルダ等のアドレスをRAM103に保持するように構成しても良い。
<実施形態2>
実施形態1では、本撮像装置において、被写体画像を捉え、登録した被写体を識別した際には、記憶装置の画像データに基づき、さらなる撮影が必要か否か及び被写体の構図上の配置の指示となる撮影指示情報を提示した。また、図11のフローに示す被写体集計データ取得処理では、記憶装置に保存されている画像データを画像データ毎に解析し、被写体毎の撮影枚数及び構図情報を取得していた。
実施形態2では、本実施形態における撮像装置において撮影操作が行われた際に取得した画像データにメタデータとして識別された被写体の氏名、取得した画像データにおける構図情報が付加される構成を示す。本実施形態における撮影処理動作を図3に示すフローチャートに基づき説明する。
撮影処理は、図2に示す撮影指示情報提示処理を実行中に、撮影者により入力デバイス104に含まれるシャッターボタンの入力等の撮影を指示する操作が行われた際に、割り込み動作的に開始される。
図3のS301では撮像装置における撮影処理である。メモリーカード108等の記憶装置に撮影された画像データの書き込みが実行される前に、S202からなる処理が実行される。
S302においては、CPU101は撮影処理が開始された直前に図2に示すフローのS204において識別された被写体の情報が取得される。S303においては、CPU101は図2のS205において位置解析し、RAM103等に記憶された被写体の位置情報を取得する。S304においては、CPU101はS302及びS303で取得された情報、即ち、識別された被写体の氏名、取得した画像データにおける構図情報を取得した画像データに付帯するメタデータとして付加する。S305においては、CPU101はS304で追記されたメタデータと共に画像データをメモリーカード108に書き込みが行われるようI/Oデバイス107の制御を行う。
以上のように、実施形態2では、撮影された画像データ毎にメタデータとして識別された被写体の氏名、取得した画像データにおける構図情報等を付加する構成とした。したがって、図11に示す被写体集計データ取得処理において、S1101に示す画像データを読み込む際にメタデータも併せて取得すれば後のS1102からS1104の処理を省略することが可能となる。また、画像データにメタデータを付加するので、PC等の外部機器上で識別された被写体の氏名、構図情報等に基づき、容易に編集作業が可能となる。例えば、当該撮影データを用いてアルバム作成を行う際にも、被写体毎の登場頻度を平等にする等の考慮した撮影画像データの選択及び抽出が容易となる。また、特定の被写体からなるアルバムの作成を行う際にも撮影画像データからの選択が容易となるのは言うまでもない。
また、実施形態1においては、構図指示ポイントの集計は、図2の撮影指示情報提示処理において、その都度集計を行っていたが、これを撮影処理の際に行う構成としても良い。図8は撮影処理の際に、被写体撮影情報の再集計を行う構成とした撮影処理を示すフローチャートである。S305で撮影データの書き込みを実施した後に、S306においてCPU101は、被写体撮影情報の再集計を行う。CPU101は、予めRAM103等に記憶している、図12に示す被写体集計データに本処理によって撮影された画像データの情報を逐次書き足す様に被写体撮影情報の再集計を行う構成としている。
つまり、本実施形態では図2に示す撮影指示情報提示処理におけるS207の被写体集計データ取得処理は、CPU101はRAM103に記憶されている被写体集計データを参照することにより取得可能となる。したがって、撮影指示情報提示処理の処理負荷が低減される構成とすることができる。
<実施形態3>
実施形態1および2においては、被写体の識別に顔認識を用いたが、他の方法を用いて被写体を識別しても良い。例えば、結婚式披露宴等の会場においては座席が座席表により決められている場合が殆どである。その為、会場内における撮像装置の位置及び向きを特定する事で、撮像装置が撮影している被写体を特定する事が可能となる。
図9は、上記を実現する為の撮像装置を含む撮影補助システムの会場内における概略図である。ここで901は会場に設けられたテーブルであり、周囲には8脚の椅子が配置されているものである。902、903、904はそれぞれ被写体である。905は撮像装置であり、上部に赤外線等を発する位置検出源部を有する。さらに、撮像装置905は方位センサ等の方位検出部を有す。また、撮像装置905は無線LAN等の通信部を有しており、無線装置910を介して後述するコンピュータ911とデータの送受信が可能である。906は撮像装置905の撮影範囲を模式的に表す線であり、撮像装置で設定する撮影条件である画角によりその撮影範囲は変化する。907、908、909は、会場の天井の定められた位置に設置された光学センサであり、撮像装置905の上部から発光される赤外線などを検出し、受信角度等の情報を演算する事で撮像装置の位置特定を可能とするものである。
910は撮像装置905、光学センサ907、908、909、コンピュータ911それぞれと各種情報の通信を行う為の無線装置である。撮像装置905は、向きを検出する方位センサの情報を911のコンピュータに送信する。また、光学センサ907、908、909、は赤外線の受信角度等の情報をコンピュータ911に送信する。
911はコンピュータであり、CPU等の演算装置を有し、座席表データから被写体位置情報取得を行う。そして、コンピュータ911は撮影装置の位置と向き情報と被写体位置情報取得によりと被写体を識別する識別部を有する情報処理装置である。912は会場における座席の位置とそこに着席する被写体候補の氏名などとの対応表となる座席表(被写体位置情報)のデータベースである。この時、特定の被写体候補について、会の余興などで席を外す時間帯を取得する為のスケジュール表データベースを併せ持つものでも良い。以上のような構成となる撮影補助システムの動作として、撮像装置の捉えている被写体画像と共に方位センサの情報と画角などの撮影情報とを無線装置910を介してコンピュータ911に送信する。また、光学センサ907、908、909は赤外線の受信角度等の情報を無線装置910を介してコンピュータ911に送信する。コンピュータ911において、受信したデータに基づき撮像装置の位置、向き、撮影範囲を特定する。続いてコンピュータ911は座席表データから被写体位置情報取得を行う。そして、特定した撮像装置の位置、向き、撮影範囲情報と被写体位置情報取得により撮像装置の捉えている被写体を識別する。そして、コンピュータ911は、被写体画像中の位置と対応づけて識別された被写体の情報を無線装置910を介して撮像装置に送信する。撮像装置は、受信した情報により、被写体を識別する。そして、識別された被写体毎に撮影指示情報を提示する。なお、被写体を識別する方法以外の構成については、第一の実施形態と同一である為に詳細な説明は省略する。
以上のように、本実施形態では撮影範囲と被写体位置情報取得により被写体を識別する。この様な構成にする事で、撮像装置は被写体を識別する情報を保持することなく被写体画像の被写体を識別する事が可能である。
<実施形態4>
実施形態3においては、被写体の識別方法について、情報処理装置であるサーバが、撮像装置の位置と向きから座席表データと照合演算し、撮像装置に被写体識別情報を送信する構成を説明した。本実施形態においては、被写体の識別方法について、サーバとなるコンピュータ装置に撮像装置が取得した被写体画像を逐次通信によって送信し、サーバ上で被写体を識別するものである。実施形態4に示す撮影補助システムのブロック図を図13に示す。なお、図1と同一のものは同じ符号を用いている。1301は撮像装置であり、撮像デバイス106、ファインダ109を有している。1302は画像データ取得部であり、撮像デバイス106が備える撮像素子から出力された撮像信号を画像データに変換して出力するA/D変換部からの画像データを取得する。1303はデータ送信部であり、画像データ取得部1302が取得した画像データを後述するサーバ1309に送信する。1304は、データ受信部であり、サーバ1309から各種情報を受信する。1309はサーバであり、ネットワークを介して撮像装置1301と接続する。サーバ1309は、演算装置であるCPU等を有し、撮像装置1301から取得した画像データを解析し、撮影指示情報を撮像装置1301に送信する情報処理装置である。1306顔検出部であり、取得した画像データから顔を検出する。1307は顔識別部であり、記憶装置1312に予め保存されているリファレンスデータに基づき、検出した顔を識別する。1308は被写体集計データ取得部であり、図11に示した被写体集計データ取得処理を記憶装置1312に記憶されている画像データに基づき行う。1310は、撮影指示情報作成部であり、識別された被写体毎に被写体集計データに基づき、撮影指示情報を作成する。1311は、データ送信部であり、作成された撮影指示情報を撮像装置1301に送信する。1312は記憶装置であり、リファレンスデータ、被写体集計データ、撮像装置1301で撮影された画像データを記憶する。
以上の構成を用いて撮影指示情報提示について説明する。撮像装置1301は、不図示のシャッターボタンの半押しの入力を検知すると、画像データ取得部1302によって取得された被写体画像を表す画像データを、データ送信部1303を介してサーバ1309に送信する。そして、サーバ1309は、データ受信部1305によって被写体画像を取得する。そして、顔検出部1306、顔識別部1307によって被写体画像の顔を検出し、識別する。そして、サーバ1309は取得した被写体集計データに基づき、撮影指示情報作成部1310により識別された被写体毎の撮影指示情報をデータ送信部1311を介して撮像装置1301に送信する。ここで、併せて撮像装置1301のファインダ109に撮影指示情報を提示する際の座標データも送信する。そして、撮像装置1301は取得した撮影指示情報をファインダ109上に受信した座標データに基づき、被写体毎に提示する。
また、撮像装置1301において撮影された画像データはデータ送信部1303を介してサーバに送信する。そして、サーバ1309は受信した画像データを記憶装置1312に記憶する。また、被写体集計データ取得部により、記憶された撮影画像データを解析し、被写体集計データの再集計を行う。
以上のような構成にすることで、サーバ上で被写体集計データの取得や撮影指示情報の作成を行うため、撮像装置の演算処理機能への負荷が少なくなる。したがって、撮像装置の演算処理機能は、画像処理などに専念できるため、連続撮影等にかかる処理時間を低減できる。また、サーバのより高スペックな演算処理機能を利用することにより、より高速に、精度の良い認識処理や撮影指示情報作成処理を実行する事が可能となる。
また、本実施形態では、撮影した画像データをサーバに送信し、サーバが撮影した画像データを管理している。また、サーバが管理している画像データを集計対象として、撮影指示情報を作成している。つまり、撮像装置で撮影された画像データが集計対象として追加する構成になっている。したがって、複数の撮像装置を使用した撮影を行う際にも、個々の撮像装置で撮影された画像データであっても集計対象として追加することが可能となるので、複数の撮像装置で被写体集計データを共有することが出来る。この際、複数の撮像装置それぞれにおいて撮影を行った画像データについては、サーバ1309に送信して、記憶装置1312に記憶する。そして、複数の撮像装置で撮影されて画像データを集計対象として追加し撮影指示情報を作成することができる。したがって、個々の撮像装置に対して、他の撮像装置での撮影結果を考慮した撮影指示情報を送付する事が可能となる。つまり、撮像装置間で被写体集計データを共有することができる。
<実施形態5>
前述の実施形態においては、複数の撮像装置を用いて被写体集計データを共有し撮影を行う際には、サーバとなるコンピュータ装置が管理する画像データを集計対象として個々の撮像装置に撮影指示情報を送信する構成とした。
本実施形態においては、複数の撮像装置間で直接情報の通信を行う構成とする。即ち、撮像装置間において、識別すべき被写体情報であるリファレンスデータ、被写体集計データ等を相互に交換し、共有する。例えば、撮像装置A、B、Cの3台で撮影を行う場合を例として説明する。撮像装置Aにおいて、新たに図2のS201に示すリファレンスデータ取得処理を行い、新たな識別対象を登録したとする。撮像装置Aは撮像装置B及びCに対して登録したリファレンスデータを送信する。撮像装置B及びCでは、撮像装置Aから送信されたリファレンスデータを受信し、自身のリファレンスデータベース上に受信したリファレンスデータを追加する。また、撮像装置Aにおいて図8に示す撮影処置が行われた場合はS306において再集計された被写体集計データを同様に撮像装置B及びCに送信する。撮像装置B及びCにおいても同様に受信した被写体集計データに基づき被写体集計データの更新を行う。なお、撮影した画像データを直接他の撮像装置に送信するように構成しても良い。このように直接画像データを送信する構成とすると、他の撮像装置で撮影された画像を容易に確認することができる。したがって、撮影者間で重複した構図の被写体を撮影することが低減され、無駄の少ない撮影ができる。
以上説明したように、複数の撮像装置間で直接情報の通信を行う構成とすることで、イベント等の撮影を複数の撮像装置で行うことができる。また、個々の撮像装置において、他の撮像装置の撮影結果を反映した撮影指示情報の提示を行う事が可能となる。
なお、認識処理などの演算において、複数の撮像装置の演算装置で分担あるいは負荷分散を行う構成としてもよい。このように構成することで、単体の撮像装置における認識処理に比較して処理能力の余剰分を分配する事で効率良く行う事が可能となる。
<実施形態6>
前述の実施形態においては、被写体の識別として被写体認識及び撮像装置の位置情報及び被写体の座席データ等の位置情報を利用する構成としていた。
本実施形態においては、被写体に無線タグを持たせ、これを撮像装置において、無線タグの情報を受信する事で被写体の識別を行う構成とする。
即ち、被写体の持つ無線タグには、被写体IDである氏名やその他の情報を記憶させる。また、撮像装置においては、前面に電子スキャンアンテナ等のアンテナビームの指向性を変化させる素子を配置する。そして、電子スキャンアンテナにより、被写体の持つ無線タグを検知し、無線タグから情報を受信することで、被写体を識別するものである。この様な構成とする事で、被写体の識別の精度を著しく向上させる事が可能である。
<実施形態7>
前述の実施形態においては、被写体の識別方法として、画像処理による顔識別、位置情報の利用等の特定の識別手段により被写体識別を行った。本実施の形態では、画像処理による顔識別と位置情報の利用による被写体識別手段を併用する構成とする。
実施形態3においては、被写体の識別方法として、撮像装置の位置情報と座席表データを用いた被写体の位置情報により識別する構成とした。この場合、会の途中で被写体が席を移動した場合などは識別が正確に行われない結果となる。
本実施形態では、会の初期時間においては、撮像装置の位置情報及び座席表データを用いた被写体位置情報により被写体の識別を行う。また、被写体位置情報により識別した被写体の画像データと氏名などの被写体情報との紐付けを行う。つまり、撮影を行うことでリファレンスデータとしての顔画像を取得する。そして、会の中盤以降においては、会の初期時間において撮影し取得した被写体の画像データを識別に用いるリファレンスデータとして用い、被写体の顔識別を行う。
この様な構成とする事で、会の受付におけるリファレンスデータの取得が不要になるため、利用者(被写体)の負担が少なくなる。また、会の途中で被写体が席を移動した場合でも誤識別が少なくなる。また、位置情報による識別を行った際の誤識別についても検出が可能となり、誤識別を訂正することが可能となる。
<実施形態8>
前述の各実施形態においては、撮影指示情報は、過去の撮影データに関する集計を行う構成としていた。本実施形態においては、撮影データに関する集計情報を任意のタイミングでリセットできる手段を設けるものである。撮像装置の入力デバイス104の入力によりリセットの設定を行う。また、実施形態4等の撮影補助システムでは、サーバにおいて不図示のマウスやキーボードの入力により被写体集計データのリセットを設定し、実行する構成としても良い。また、集計対象となる画像データに関する情報である被写体集計データの画像IDが消去される。
この様な構成にする事で、イベントの構成毎にバランスよく被写体の撮影を行うことが出来る。例えば、結婚式、披露宴、二次会等同日におけるイベントが複数ある場合がある。被写体によっては結婚式の撮影枚数が多い場合、その後のイベントでは撮影指示情報としては撮影枚数が十分と判断され撮影が行われない可能性がある。しかし、このようにリセット手段を設けることによりイベント毎に偏りの少ない被写体の撮影が行われる撮影指示を提示することができる。
<その他の実施形態>
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。また、ASIC等のプロセッサに各種機能を実行する構成としても良い。また、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
101 CPU
102 ROM
103 RAM
104 入力デバイス
105 出力デバイス
106 撮影デバイス
107 I/Oデバイス
108 メモリカード
109 ファインダ
110 バス
401 被写体
402 レンズ装置
403 ハーフミラー
404 撮像素子
405 スクリーン
406 ペンタプリズム
407 接眼レンズ
408 ファインダ内表示デバイス
409 表示装置

Claims (17)

  1. 撮像手段により取得された画像を表示する表示手段と、
    集計対象となる画像データにおける1画像中の被写体人数及び被写体の位置情報に基づく構図情報を集計した情報を取得する取得手段と、
    前記集計した情報を提示させる提示手段とを有することを特徴とする撮像装置。
  2. 前記画像における被写体を識別する識別手段を更に有し、
    前記提示手段は識別された被写体毎に前記集計した情報を提示することを特徴とした請求項1記載の撮像装置。
  3. 前記提示手段は、前記集計した情報をポイントとして提示することを特徴とする請求項1又は2記載の撮像装置。
  4. 前記提示手段は、前記ポイントに応じて前記集計した情報の提示方法を異ならせることを特徴とする請求項1乃至3いずれか1項記載の撮像装置。
  5. 撮影者に撮影すべき構図を指示する指示手段をさらに有すことを特徴とする請求項1乃至4いずれか1項記載の撮像装置。
  6. 前記集計対象となる画像データにおける1画像中の被写体人数及び被写体毎の位置情報に基づく構図情報を集計する集計手段をさらに有すことを特徴とする請求項1乃至5いずれか1項記載の撮像装置。
  7. 前記構図情報を集計した情報をリセットするリセット手段を更に有することを特徴とする請求項1乃至6いずれか1項記載の撮像装置。
  8. 通信手段を更に有し、
    前記集計した情報を前記通信手段を介して外部装置と共有することを特徴とする請求項1乃至7いずれか1項記載の撮像装置。
  9. 前記識別手段によって識別された被写体の前記画像中の顔領域を解析する解析手段と、
    前記提示手段は、前記解析結果に基づき前記画像の前記被写体の顔領域に重ならないように前記画像上に重畳して前記集計した情報を提示させることを特徴とする請求項2記載の撮像装置。
  10. 前記識別手段によって識別された被写体の前記画像中の位置を解析する位置解析手段と、
    前記撮像手段によって取得された画像データに前記位置解析手段によって解析された位置と前記識別手段によって識別された被写体の情報とを付加する付加手段をさらに有すことを特徴とする請求項2又は9記載の撮像装置。
  11. 前記取得手段は集計対象の画像データのうち被写体の登場する画像データ数をさらに取得し、
    前記提示手段は前記画像データ数も提示させることを特徴とする請求項1乃至10いずれか1項記載の撮像装置。
  12. 撮像装置に撮影指示情報を送信する撮影補助システムであって、
    前記撮像装置により取得された画像における被写体を識別する識別手段と、
    集計対象となる画像データにおける1画像中の被写体人数及び被写体の位置情報に基づく構図情報を集計した情報を取得する取得手段と、
    前記集計した情報を撮影指示情報として前記撮像装置に送信する送信手段とを有することを特徴とする撮影補助システム。
  13. 複数の撮像装置によって撮影された撮影画像データを集計対象として追加することを特徴とする請求項12記載の撮影補助システム。
  14. 前記撮像装置の位置及び向きを特定する特定手段と
    被写体の位置情報を取得する被写体位置情報取得手段とを更に有し、
    前記識別手段は前記撮像装置の位置及び向きと前記被写体の位置情報に基づき被写体を識別することを特徴とする請求項12又は13項記載の撮影補助システム。
  15. 撮像装置が撮影指示情報を取得する方法であって、
    前記撮像装置により取得された画像における被写体を識別する識別ステップと、
    前記撮像装置が、集計対象の画像データにおける1画像中の被写体人数及び被写体の位置情報に基づく構図情報を集計した情報のうち前記識別ステップにより識別された被写体の情報に対応した撮影指示情報を取得するステップとを有することを特徴とする撮影指示情報を取得する方法。
  16. 複数の画像データを解析する方法であって、
    画像データが表す画像における被写体を検出するステップと、
    前記検出ステップにおいて検出された被写体を識別するステップと、
    前記識別ステップにおいて識別された被写体毎に位置情報を取得するステップと、
    画像データ毎に前記被写体毎の位置情報に基づき、ポイントを導出する導出ステップと、
    前記ポイントを被写体毎に集計する集計ステップを有することを特徴とする画像データ解析方法。
  17. 請求項16記載の方法を演算装置に実行させるためのプログラム。
JP2010159008A 2010-07-13 2010-07-13 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム Active JP5562154B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010159008A JP5562154B2 (ja) 2010-07-13 2010-07-13 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム
US13/179,449 US8717479B2 (en) 2010-07-13 2011-07-08 Imaging apparatus, shooting assistance system, imaging apparatus control method, and method for evaluating individuals in an image
CN2011101968571A CN102332091A (zh) 2010-07-13 2011-07-13 摄像装置及其控制方法、拍摄支持系统及个体评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010159008A JP5562154B2 (ja) 2010-07-13 2010-07-13 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2012023501A true JP2012023501A (ja) 2012-02-02
JP2012023501A5 JP2012023501A5 (ja) 2013-08-29
JP5562154B2 JP5562154B2 (ja) 2014-07-30

Family

ID=45466679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010159008A Active JP5562154B2 (ja) 2010-07-13 2010-07-13 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム

Country Status (3)

Country Link
US (1) US8717479B2 (ja)
JP (1) JP5562154B2 (ja)
CN (1) CN102332091A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014086799A (ja) * 2012-10-22 2014-05-12 Nikon Corp 補助撮像装置、主撮像装置、及びそれらに用いるプログラム
WO2014073275A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
WO2014148209A1 (ja) 2013-03-19 2014-09-25 富士フイルム株式会社 電子アルバム作成装置および電子アルバムの製造方法
JP2017054523A (ja) * 2016-10-19 2017-03-16 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法、及びプログラム
JP2018055699A (ja) * 2017-11-02 2018-04-05 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法、及びプログラム
US10044930B2 (en) 2014-03-28 2018-08-07 Fujitsu Limited Photographing assisting system, photographing apparatus, information processing apparatus and photographing assisting method
WO2019069606A1 (ja) * 2017-10-02 2019-04-11 富士フイルム株式会社 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP2019160329A (ja) * 2019-04-18 2019-09-19 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法、及びプログラム
JP2021010079A (ja) * 2019-06-28 2021-01-28 キヤノン株式会社 画像提供システム、画像提供装置、制御方法及びプログラム
JP2021010088A (ja) * 2019-06-28 2021-01-28 キヤノン株式会社 画像提供システム、画像提供装置、その制御方法、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5439455B2 (ja) * 2011-10-21 2014-03-12 富士フイルム株式会社 電子コミック編集装置、方法及びプログラム
US8854452B1 (en) * 2012-05-16 2014-10-07 Google Inc. Functionality of a multi-state button of a computing device
CN111277749A (zh) * 2012-05-23 2020-06-12 杭州美盛红外光电技术有限公司 红外拍摄装置和红外拍摄方法
CN104349024B (zh) * 2013-08-09 2019-09-24 联想(北京)有限公司 一种采集图像的方法和电子设备
CN109348120B (zh) * 2018-09-30 2021-07-20 烽火通信科技股份有限公司 一种拍摄方法、图像的显示方法、系统及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020104A (ja) * 2005-07-11 2007-01-25 Fujifilm Holdings Corp 撮像装置、撮影枚数管理方法及び撮影枚数管理プログラム
JP2008244903A (ja) * 2007-03-28 2008-10-09 Casio Comput Co Ltd 撮像装置、制御プログラム及び表示制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028555A (ja) 2005-07-21 2007-02-01 Sony Corp カメラシステム,情報処理装置,情報処理方法,およびコンピュータプログラム
JP4315148B2 (ja) 2005-11-25 2009-08-19 株式会社ニコン 電子カメラ
WO2007072663A1 (en) 2005-12-22 2007-06-28 Olympus Corporation Photographing system and photographing method
JP4254873B2 (ja) 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US20080239363A1 (en) 2007-03-27 2008-10-02 Konica Minolta Systems Laboratory, Inc. Copier device capable of electronically storing and recalling copied documents
JP2009044602A (ja) * 2007-08-10 2009-02-26 Olympus Imaging Corp 撮像装置、撮像システム及び撮像方法
JP2009055448A (ja) 2007-08-28 2009-03-12 Fujifilm Corp 撮影装置
JP5231178B2 (ja) 2008-11-11 2013-07-10 オリンパスイメージング株式会社 カメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020104A (ja) * 2005-07-11 2007-01-25 Fujifilm Holdings Corp 撮像装置、撮影枚数管理方法及び撮影枚数管理プログラム
JP2008244903A (ja) * 2007-03-28 2008-10-09 Casio Comput Co Ltd 撮像装置、制御プログラム及び表示制御方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014086799A (ja) * 2012-10-22 2014-05-12 Nikon Corp 補助撮像装置、主撮像装置、及びそれらに用いるプログラム
WO2014073275A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JPWO2014073275A1 (ja) * 2012-11-09 2016-09-08 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US9646196B2 (en) 2012-11-09 2017-05-09 Sony Corporation Image processing device, image processing method, and program
WO2014148209A1 (ja) 2013-03-19 2014-09-25 富士フイルム株式会社 電子アルバム作成装置および電子アルバムの製造方法
US9851873B2 (en) 2013-03-19 2017-12-26 Fujifilm Corporation Electronic album creating apparatus and method of producing electronic album
US10044930B2 (en) 2014-03-28 2018-08-07 Fujitsu Limited Photographing assisting system, photographing apparatus, information processing apparatus and photographing assisting method
JP2017054523A (ja) * 2016-10-19 2017-03-16 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法、及びプログラム
US11062122B2 (en) 2017-10-02 2021-07-13 Fujifilm Corporation Image candidate determination apparatus, image candidate determination method, program for controlling image candidate determination apparatus, and recording medium storing program
WO2019069606A1 (ja) * 2017-10-02 2019-04-11 富士フイルム株式会社 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
CN111164642A (zh) * 2017-10-02 2020-05-15 富士胶片株式会社 图像候选确定装置、图像候选确定方法、控制图像候选确定装置的程序以及存储该程序的记录介质
JPWO2019069606A1 (ja) * 2017-10-02 2020-10-15 富士フイルム株式会社 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP2022008833A (ja) * 2017-10-02 2022-01-14 富士フイルム株式会社 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP7167283B2 (ja) 2017-10-02 2022-11-08 富士フイルム株式会社 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP7463473B2 (ja) 2017-10-02 2024-04-08 富士フイルム株式会社 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP2018055699A (ja) * 2017-11-02 2018-04-05 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法、及びプログラム
JP2019160329A (ja) * 2019-04-18 2019-09-19 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法、及びプログラム
JP2021010079A (ja) * 2019-06-28 2021-01-28 キヤノン株式会社 画像提供システム、画像提供装置、制御方法及びプログラム
JP2021010088A (ja) * 2019-06-28 2021-01-28 キヤノン株式会社 画像提供システム、画像提供装置、その制御方法、及びプログラム
JP7305461B2 (ja) 2019-06-28 2023-07-10 キヤノン株式会社 画像提供システム、画像提供装置、その制御方法、及びプログラム
JP7366606B2 (ja) 2019-06-28 2023-10-23 キヤノン株式会社 画像提供システム、画像提供装置、制御方法及びプログラム

Also Published As

Publication number Publication date
US20120013782A1 (en) 2012-01-19
JP5562154B2 (ja) 2014-07-30
US8717479B2 (en) 2014-05-06
CN102332091A (zh) 2012-01-25

Similar Documents

Publication Publication Date Title
JP5562154B2 (ja) 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム
JP5206095B2 (ja) 構図判定装置、構図判定方法、プログラム
JP2005128156A (ja) 焦点調節装置及び焦点調節方法
JP2016143919A (ja) 画像処理装置およびその制御方法
US10832460B2 (en) Method and apparatus for generating image by using multi-sticker
KR20090114101A (ko) 카메라 및 촬영 안내 정보 제공 방법
EP3076660B1 (en) Method and apparatus for displaying framing information
JP2017118472A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014038429A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2015215720A (ja) 画像表示撮影システム、撮影装置、表示装置、画像の表示および撮影の方法、およびコンピュータープログラム
RU2635873C2 (ru) Способ и устройство для отображения информации кадрирования
JP2017085204A (ja) メタデータの登録制御
JP6635573B2 (ja) 画像処理システム、画像処理方法、及びプログラム
JP2009258005A (ja) 三次元測定装置及び三次元測定方法
KR20160022247A (ko) 이미지 추출 장치, 이미지 추출 방법 및 기록 매체에 저장된 컴퓨터 프로그램
JP2016081428A (ja) 情報端末、情報処理装置、およびプログラム
JP2015139001A (ja) 情報処理装置、情報処理方法及びプログラム
KR101514346B1 (ko) 합성 사진 촬영 장치 및 방법
JP6600450B2 (ja) 場所情報指定装置、場所情報指定方法及び場所情報指定プログラム
JP5718502B2 (ja) 画像作成装置及び画像作成方法
CN108317954B (zh) 一种激光引导扫描系统和方法
JP5967422B2 (ja) 撮像装置及び撮像処理方法並びにプログラム
JP2005189051A (ja) サイズ測定装置およびプログラム
JP6450890B2 (ja) 画像提供システム、画像提供方法、およびプログラム
JP2005181034A (ja) サイズ測定装置およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130716

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140610

R151 Written notification of patent or utility model registration

Ref document number: 5562154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151