JP2010109567A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】撮影中に推奨される構図を示す情報処理装置において、推奨構図を判定する際、１つ以上の動的なオブジェクトを対象とした推奨構図判定が難しいという問題があった。
【解決手段】オブジェクト認識回路３５により、撮像中の１つ以上のオブジェクトを検出し、オブジェクトの画角中における配置情報を取得する。推奨構図処理回路３８はこれらの情報を基に、オブジェクトの推奨される構図を判定し表示する。必要に応じて、ユーザが構図の条件を指定し、また推奨される構図から任意の一つを選択できるようにする。
【選択図】図１

Description

本発明は情報処理装置および情報処理方法に係わり、特に動的なオブジェクトを画角内で好適な配置で撮像できる情報処理装置および情報処理方法に関する。

従来、デジタルスチルカメラまたはデジタルビデオカメラなどを用いて、被写体を撮像し映像として記録することが広く行なわれている。一方、映像をできるだけ簡便に綺麗に残したいという欲求が高まっており、撮像中のオブジェクトを検出あるいは特定し、被写体に合わせて映像処理を施すあるいは情報を印加するなど、近年はユーザをサポートするさまざま撮像システムが提案されている。

本技術の背景技術として、例えば特許文献１「情報取得装置及びこれを用いたマルチメディア情報作成システム」がある。

特許文献１には、課題として「静止画・動画を問わず、様々な映像情報と、これに関連する情報とを融合させ、さらなる情報の活用を図ることができる新たなマルチメディア情報作成システムを提供すること」と記載されており、解決方法として「静止画や動画などの画像データ（以下、「撮影データ」と総称する。）を撮影するための撮影装置を機軸としたシステムであり、基本的には撮影装置により撮影された撮影データに関連する付加情報（関連情報）を、撮影装置の外部から取得し、撮影データと対応する関連情報とを関連付けしておき、再生処理においては撮影データに対して関連情報を付加した形式で出力するシステム」に関するマルチメディア情報作成システムを提案している。

特開２００５−１９１８９２号公報

さらに特許文献１では、ＧＰＳなどによる位置情報や時計による時間情報などの撮影情報に基づき、推奨される構図を取得することを開示している。しかし、文献中の「推奨構図」とは、位置情報に基づく「撮像すべき著名な風景や建造物等を表す画像のこと」と記載されており、例えば動物や乗り物、特定の人物のような動的なオブジェクトを被写体としたときの推奨構図を提供する場合には、位置情報に依らないオブジェクトの検知が必要であり、オブジェクトが画角内で適正な配置となるような方法が必要であった。

本発明の目的はこの課題を解決し、動的なオブジェクトを画角内で好適な配置で撮像できる情報処理装置および情報処理方法を提供することにある。

前記目的を達成するため、本発明は撮像した映像情報を記録する情報処理装置であって、記録媒体に対して映像音声情報を記録する記録部と、前記映像情報を表示する表示部と、前記映像情報に含まれる１つ以上のオブジェクトを検出する検出部と、前記検出部によって検出された前記１つ以上のオブジェクトの、画角内における位置もしくは大きさを判定する配置判定部と、前記検出部により検出された前記１つ以上のオブジェクトの位置もしくは大きさに基づき、推奨するオブジェクトの位置関係を判定し、推奨する画角内の構図を判定する構図判定部と、前記構図判定部によって判定された前記推奨する構図を前記表示部に出力するよう制御する制御部とを有したことを特徴としている。

また本発明は撮像する映像情報を記録するための情報処理方法であって、前記映像情報にオブジェクトが存在するか否かを判定し、存在する場合には前記オブジェクトの外形、大きさを含む配置情報を抽出するオブジェクト認識ステップと、前記オブジェクトの配置情報から推奨する構図を判定する推奨構図処理ステップと、前記推奨する構図を表示する表示ステップとを有し、前記推奨する構図に基づき撮像することを特徴としている。

本発明によれば、動的オブジェクトを画角内に好適に配置で撮像でき、ユーザの使い勝手を向上させた情報処理装置および情報処理方法を実現できるという効果がある。

以下、図面を参照しながら、本発明の一実施の形態を詳述する。

図１は、本発明に関わる撮像装置（ビデオカメラ）としての情報処理装置の構成例を示すブロック図である。

ビデオカメラ１は、一つもしくは複数の記録媒体に映像データ及び音声データを記録することが可能である。ビデオカメラ１は、撮像部１０、出力部２０、制御部３０及び記録部４０を備え、内部バス５０を介して互いに接続されている。

撮像部１０は、映像を撮像もしくは音声を集音することが可能である。撮影部１０は、レンズユニット１１、撮像センサ１２、映像入力回路１３、マイク１４及び音声入力回路１５を備えている。

ビデオカメラ１が撮影する映像は、映像入力回路１３に駆動されるレンズユニット１１を介して撮像センサ１２に合焦され、電気信号に変換される。変換された電気信号は、映像入力回路１３によって所定の映像信号に変換され、さらにＡＤ（Analog to Digital）変換されて映像データが生成される。映像入力回路１３により生成された映像データは、内部バス５０を介して後述のメインバッファ３３に出力される。

ビデオカメラ１が集音する音声は、マイク１４によって電気信号に変換される。変換された電気信号は、音声入力回路１５によって音声信号に変換され、さらにＡＤ変換されて音声データが生成される。音声入力回路１５により生成された音声データは、内部バス５０を介して後述のメインバッファ３３に出力される。

出力部２０は、撮影部１０から入力された映像データ及び音声データ（以下、２つのデータを撮影データと総称する）を出力することが可能である。出力部２０は、映像出力回路２１、モニタ２２、音声出力回路２３、スピーカー２４、及び外部入出力端子２５を備えている。

映像入力回路１３から入力された映像データは、映像出力回路２１を介してモニタ２２に映像として表示される。音声入力回路１５から入力された音声データは、音声出力回路２３を介してスピーカー２４を介して音声として出力される。

また、撮影部１０から入力された撮影データは、ＨＤＭＩ（High Definition Multimedia Interface）端子などから構成される外部入出力端子２５を介し、接続される外部の機器に出力するようにしたが、これに限定されず、外部入出力端子２５に接続された外部の機器から撮影データを入力するようにしてもよい。

制御部３０は、メインコントローラ３１、ユーザインターフェイス３２、メインバッファ３３、サブバッファ３４、オブジェクト認識処理回路３５、内蔵記憶部３６、圧縮／伸張処理回路３７、推奨構図処理回路３８を備えている。

メインバッファ３３及びサブバッファ３４は、バッファメモリである。メインバッファ３３は、後述のブルーレイディスク４３などの光ディスクにデータを記録する際に一定量ずつデータを記録する、いわゆる間欠記録をすることを可能にしている。撮影部１０から入力された撮影データは、メインバッファ３３に一時的に蓄積される。

オブジェクト認識回路３５は、ＣＰＵ（Central Processing Unit）などから構成され、メインコントローラ３１と連携して動作し、メインバッファ３３に蓄積された映像データを読み込んで当該映像データに含まれるオブジェクトを検出する。また、オブジェクト認識回路３５は検出したオブジェクトの特徴を把握する。例えば人物の顔であれば、目・鼻・口・輪郭の大きさ・位置・形状・色相・色度などを定量的に特徴量として表す。色度を例にとると、濃淡を例えば６４段階で表してどの段階であるかを表すなどすれば良い。

このとき、オブジェクトは画角内に全体の一部しか存在しなくても検出できるものとし、検出すると、オブジェクトの全体図を取得できるものとする。例えば、ビデオカメラ１に人物や建造物などオブジェクトの画像ないしその特徴量を記憶するメモリを備えれば、特徴量が一致する画像を参照することで取得できる。あるいは後記するように、ネットワーク６０を介したストレージ装置７０に多数の人物や建造物などオブジェクトの画像ないしその特徴量を記憶しておき、ここから特徴量が一致する画像をダウンロードすることで取得できる。あるいは頻繁に訪れるアミューズメントパークのキャラクタなどでは、ビデオカメラ１自身で以前撮影した画像とないしその特徴量のデータから取得できる。

オブジェクトを検出すると、オブジェクトの名称や外形、大きさ及び位置など、画角に対する配置情報を内部バス５０を介してメインコントローラ３１に出力する。またこのとき、検出したオブジェクト名をモニタ２２に表示しても良い。なお、オブジェクトとは、人や顔、特定の人物、動物、乗り物、景色や建造物など、前記した特徴量を持つものを指す。

内蔵記憶部３６はフラッシュメモリなどから構成され、オブジェクト認識回路３５から入力される検出データを記憶する。

圧縮／伸張処理回路３７は、メインコントローラ３１の制御に基づき、入力される撮影データを圧縮し、圧縮した撮影データを内部バス５０を介して後述の記録部４０に出力する。なお、圧縮／伸張処理の方式として、例えばＭＰＥＧ（Moving Picture Experts Group）などが用いられる。本実施形態では、撮影データを圧縮／伸張処理回路３７で圧縮してから記録部４０に出力するようにしたが、これに限定されず、圧縮せずに記録部４０に出力してもよい。

推奨構図処理回路３８は、ＣＰＵから構成され、メインコントローラ３１と連携して動作し、オブジェクト認識回路３５で検出された１つ以上のオブジェクトの画角に対する配置情報に基づき、ユーザに対する推奨する構図を判定することが可能である。推奨する構図とは、オブジェクト認識回路３５で検出された１つ以上のオブジェクトの配置を示し、例えば、検出オブジェクトが複数の場合は、オブジェクトが重なり合わない、または、画角の片方に偏ることがないような配置を判定し、検出オブジェクトが単一の場合は、オブジェクトが画角からはみ出さない、または、画面の中央もしくは端に位置するような配置を示す。なお、この配置を判定する機能を、後記するようなネットワーク６０を介して接続されたストレージ装置７０に有していても良い。

記録部４０は、圧縮された撮影データを記録媒体に記録するためのものであり、記録媒体インターフェイス４１、ハードディスク４２、ブルーレイディスク４３及びＳＤカード４４及び通信インターフェイス４５を備えている。もちろん、記録媒体は４２、４３、４４の３つに限定するものではなく、さらに多くのものを備えても良く、またそのうち１つか２つであっても良い。

圧縮／伸張処理回路３７から入力される圧縮されたデータは、ハードディスクドライブやブルーレイディスクドライブなどから構成される記録媒体インターフェイス４１を介し、ハードディスク４２、ブルーレイディスク４３、及びＳＤカード４４などの記録媒体に送信され、記録される。あるいは、ネットワークカードを含む通信インターフェイス４５によってＬＡＮ（Local Area Network）などの外部ネットワーク６０を介してストレージ装置７０に送信され、ストレージ装置７０の記録媒体に記録される。なお、外部ネットワーク６０を介して接続されるストレージ装置７０との通信手段は、有線であっても無線であってもよい。

図２は本実施例における情報処理装置１の動作手順の一例を示すフローチャートである。ステップ２０１で映像の撮像を開始すると（Ｓ２０１）、オブジェクト認識回路３５により映像中にオブジェクトが存在するか判定する。ステップ２０２でオブジェクトを検出すると（Ｓ２０２）、ステップ２０３にてオブジェクトの配置情報を抽出しメインコントローラ３１に出力する（Ｓ２０３）。ステップ２０４において、検出したオブジェクトが複数存在するか判定し（Ｓ２０３）、複数存在する場合は（図中のｙｅｓ）、ステップ２０５において、推奨構図処理回路３８により、それぞれのオブジェクトの外形、大きさなどの配置情報から推奨される構図を判定する（Ｓ２０５）。また、ステップ２０４において検出したオブジェクトが単一であった場合は（図中のｎｏ）、ステップ２０６において、推奨構図処理回路３８により、検出した単一のオブジェクトの推奨構図を判定する（Ｓ２０６）。ステップ２０７において、推奨構図処理回路３８により判定された推奨構図を表示する。表示方法は、例えば、モニタ２２に推奨されるオブジェクトの配置を映像として出力してもよいし、スピーカー２４に推奨構図を説明するような音声を出力してもよい。ステップ２０１からステップ２０７までの処理は、ステップ２０８で撮像が終了するまで繰り返される。

これにより、ユーザは、撮像している映像に存在するオブジェクトの推奨構図を把握し、撮影場所もしくは被写体を移動させることで推奨された構図の映像を撮影することができるため、オブジェクトをより最適化された配置で撮影することが実現できる。

図３は、オブジェクトの検出及び配置情報の取得を示した例であり、撮像中の画面表示例３００及び配置情報例３１０から構成される。

表示例３００は、撮像中にモニタ２２に表示される表示例である。表示例３００において、画角中には、オブジェクト３０１及びオブジェクト３０２が存在しており、このとき、図２のステップ２０２において図１のオブジェクト認識回路３５により、それぞれ「Ａさん」、「○×城天守閣」という名称を持つオブジェクトとして検出されているものとする。これは前記したビデオカメラ１ないしストレージ装置７０に記憶した画像ないしその特徴量とともに、名称を記憶するようにすれば可能である。オブジェクト３０１の名称３０３及びオブジェクト３０２の名称３０４は、表示例３００のように画面表示されていても表示されていなくても構わない。

配置情報例３１０は、表示例３００のような撮像中において、オブジェクト３０１及びオブジェクト３０２の、画角内における配置情報を図示したものである。配置情報例３１０において、３１１はモニタ２２に表示されている範囲を示しており、オブジェクト３１２及びオブジェクト３１３は表示例３００のオブジェクト３０１及びオブジェクト３０２と同一のものである。また、図中縦軸、横軸はそれぞれ、画角に対する各オブジェクトの位置を座標表示したものであり、例えば、縦軸上０から１０８０の範囲内に存在するオブジェクトは画角内に存在し、この範囲外に存在するオブジェクトは画角内に存在しない、つまり撮像されない事を示している。よって、オブジェクト３１２のように、下端Ｙｃ１が画角内に存在し、上端Ｙｃ２が画角外に存在する場合は、オブジェクト３１２の一部のみが撮像されている事を示している。

このようにして、画角内に存在する１つ以上のオブジェクトを検出することでオブジェクトの画角に対する大きさ、位置などの情報を取得することができる。

図４は、図３のオブジェクトの検出及び配置情報の取得に基づき判定された推奨構図の例である。４１０、４２０、及び４３０は、それぞれオブジェクトの推奨構図を異なる条件で判定した結果をモニタ２２に表示したときの表示例である。それぞれ、４１１、４２１、及び４３１は推奨構図の例を示しており、４１２及び４１３は推奨構図４１１において配置されたオブジェクト、４２２及び４２３は推奨構図４２１において配置されたオブジェクト、４３２及び４３３は推奨構図４３１において配置されたオブジェクトを示している。４１４、４２４、及び４３４はそれぞれ、推奨構図４１１、４２１、及び４３１を説明する表示例である。４１４、４２４、及び４３４は表示しても表示しなくても良く、推奨構図となるようにユーザに操作を促すような表示であっても良い。

表示例４１０、４２０、及び４３０に示す推奨構図は、それぞれ、前述するように異なる条件で判定された例である。例えば、表示例４１０は、画面表示例３００のような構図で撮像していたときのオブジェクトの大きさを維持しつつ、各オブジェクトの位置関係を変更した構図を推奨している。表示例４２０は、検出オブジェクトオブジェクト４２２及び４２３の全形が画角内に収まり、各オブジェクトの位置関係が適正となるような構図を推奨している。表示例４３０は、検出されたオブジェクトそれぞれの重要な部分が拡大して撮像されるような構図を推奨している。表示例４１０、４２０、及び４３０はユーザの入力により切り替えられるようにし、所定条件を指定するようにしてもよい。これらの表示例に係わりなく、ユーザの望む任意の条件を入力できるようにしても良い。このためのユーザからの入力は、図１のユーザインターフェイス３２より入力される。

このようにして、検出された１つ以上のオブジェクトの推奨構図を表示し、ユーザがこの表示を参考にして、カメラもしくは被写体を移動させ実際の撮像条件を変更することで、より効果的な撮影を行うことができる。

また、本実施例では、図４のようにモニタ２２上に推奨構図を表示する構成としたが、これに限定されるものではない。例えば、図５のようにモニタ２２上に撮像中の表示に重ねるようにして推奨構図を表示してもよいし、スピーカー２４より、推奨構図となるようなオブジェクトの配置情報を音声出力してもよい。また、推奨構図を判定する際の条件を予めユーザが入力選択するようにしてもよい。このためのユーザからの入力は、図１のユーザインターフェイス３２より入力される。

ユーザインターフェイス３２から推奨構図を判定する際の条件を入力することは、必ずしも本発明で必要とするものではない。撮像する画像に応じて、推奨構図を推奨構図処理回路３８で一つに決めるようにしても良い。

なお、本発明の構成は、前述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

本発明の一実施例における情報処理装置のブロック図である。 本発明の一実施例における動作手順のフローチャートである。 本発明の一実施例における撮像画面の画面表示例である。 本発明の一実施例における推奨画面の画面表示例である。 本発明の一実施例における推奨画面の別な画面表示例である。

符号の説明

１：ビデオカメラ、１０：撮像部、２０：出力部、３０：制御部、３１：メインコントローラ、３２：ユーザインターフェイス、３５：オブジェクト認識回路、３８：推奨構図処理回路、４０：記録部、５０：内部バス、６０：ネットワーク、７０：ストレージ装置。

Claims (6)

1. 撮像した映像情報を記録する情報処理装置であって、
   記録媒体に対して映像音声情報を記録する記録部と、
   前記映像情報を表示する表示部と、
   前記映像情報に含まれる１つ以上のオブジェクトを検出する検出部と、
   前記検出部によって検出された前記１つ以上のオブジェクトの、画角内における位置もしくは大きさを判定する配置判定部と、
   前記検出部により検出された前記１つ以上のオブジェクトの位置もしくは大きさに基づき、推奨するオブジェクトの位置関係を判定し、推奨する画角内の構図を判定する構図判定部と、
   前記構図判定部によって判定された前記推奨する構図を前記表示部に出力するよう制御する制御部と
   を有したことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置であって、前記推奨する構図についての所定条件を指定するユーザによる指示が入力される入力部を有したことを特徴とする情報処理装置。
3. 請求項２に記載の情報処理装置であって、前記入力部は、前記構図判定部が推奨する構図を判定する際において、２つ以上の推奨構図の中から任意の一つの構図を選択することを特徴とする情報処理装置。
4. 請求項１に記載の情報処理装置であって、前記検出部により、オブジェクト検出のための情報を送受信する通信部を有し、前記検出部は前記通信部を介して、前記オブジェクト検出のための情報を追加し、あるいは削除することを特徴とする情報処理装置。
5. 請求項１に記載の情報処理装置であって、前記構図判定部により推奨構図を判定する際に参照する情報を送受信する通信部を有し、前記構図判定部は前記通信部を介して、前記推奨構図を判定する際に参照する情報を追加し、あるいは削除することを特徴とする情報処理装置。
6. 撮像する映像情報を記録するための情報処理方法であって、
   前記映像情報にオブジェクトが存在するか否かを判定し、存在する場合には前記オブジェクトの外形、大きさを含む配置情報を抽出するオブジェクト認識ステップと、
   前記オブジェクトの配置情報から推奨する構図を判定する推奨構図処理ステップと、
   前記推奨する構図を表示する表示ステップと
   を有し、前記推奨する構図に基づき撮像することを特徴とする情報処理方法。

Images