JP2019067172A - 被写体識別装置、被写体識別方法、およびプログラム - Google Patents

Abstract

【課題】精度よく、かつ、高速に被写体を識別することができるようにする。【解決手段】切出しパターン記憶部３２０が、画像から部分領域を切り出すためのパターンが定められた切出しパターンを１以上格納し、画像処理部３１０が、入力された映像と、切出しパターン記憶部３２０に記憶された前記切出しパターンとに基づいて、撮影プレビュー画像を生成すると共に、当該映像から得られるフレーム画像から切出しパターンを用いて部分領域を切り出し、表示制御部３３０が、撮影プレビュー画像を表示部に表示させ、被写体識別部３４０が、画像処理部３１０により切り出されたフレーム画像の部分領域に対して、被写体の識別を行う。【選択図】図２

Description

本発明は、被写体識別装置、被写体識別方法、およびプログラムに関し、特に、画像中の被写体を認識する被写体識別装置、被写体識別方法、およびプログラムに関する。

目の前に存在する複数の被写体に関連する情報を検索したり、管理・登録を行ったりすることを考える。このとき、一つ一つの被写体に取り付けられたバーコードを読み取ったり、個々の被写体を写真撮影して得られた画像に認識処理（例えば、非特許文献１）を適用したりする方法は、対象となる被写体の数に応じて作業負荷が増大してしまうため非効率的である。

これを解決するアプローチとして、画像認識技術を改良し、複数の被写体が写るよう撮影された画像から、各被写体が写る領域を切出す処理を加えるといった方法が考えられる。

D. G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints、 IJCV, 2004. J. Hosang, et al., What Makes for Effective Detection Proposals?, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.38, no.4, 2016.

しかし、一般的に各被写体の位置、写り込むサイズ、向きは未知であるため、被写体個々の全豹を何らの仮定をおかずに捉えることは容易ではない。これは、非特許文献２等に代表される、画像の中から被写体が写り込んでいそうな領域を自動抽出する手法を用いた場合でも同様であり、結果、全ての被写体を網羅するにはその数よりもはるかに多い部分領域を出力する必要が生じ、誤認識や処理時間の増大といった弊害につながる。

あるいは、スマートフォン等で複数の被写体が写る画像を撮影した後に、そのタッチパネル上で個々の被写体領域を指定するといったアプローチも考えられるが、この方法も被写体の数に比例して作業負荷が増大してしまうという問題がある。特に、例えば撮影された画像の中で被写体同士が接していたり、一方が他方の一部分を隠してしまっていたり（オクルージョンが発生したり）する場合、ユーザが個々の被写体領域を指定する作業の負荷は特に高くなり、結果として画像を撮影し直さなくてはならないという可能性も生じる。

以上から、上記のアプローチでは、画像中の個々の被写体の位置を特定することが難しく、また、被写体を配置する自由度が高いため、撮影された画像の中でオクルージョンが発生してしまう。このため、公知の技術では、個々の被写体が写る部分領域を短時間で正確に推定することが困難である。

すなわち、公知の技術では、自動切出しを行う場合では被写体を正確に捉えていない部分領域も膨大に出力されてしまい、一方手動切出しを行う場合には被写体の数に比例して作業負荷が増大してしまう、という問題があった（図１３）。

本発明はこの課題に鑑みてなされたものであり、精度よく、かつ、高速に被写体を識別することができる被写体識別装置、被写体識別方法、およびプログラムを提供することを目的とする。

本発明に係る被写体識別装置は、画像から部分領域を切り出すためのパターンが定められた切出しパターンを１以上格納する切出しパターン記憶部と、入力された映像と、前記切出しパターン記憶部に記憶された前記切出しパターンとに基づいて、撮影プレビュー画像を生成すると共に、前記映像から得られるフレーム画像から前記切出しパターンを用いて部分領域を切り出す画像処理部と、前記撮影プレビュー画像を表示部に表示させる表示制御部と、前記画像処理部により切り出された前記フレーム画像の部分領域に対して、被写体の識別を行う被写体識別部と、を含んで構成される。

また、本発明に係る被写体識別方法は、画像から部分領域を切り出すためのパターンが定められた切出しパターンを１以上格納する切出しパターン記憶部と、画像処理部と、表示制御部と、被写体識別部とを含む被写体識別装置における被写体識別方法であって、画像処理部が、入力された映像と、前記切出しパターン記憶部に記憶された前記切出しパターンとに基づいて、撮影プレビュー画像を生成すると共に、前記映像から得られるフレーム画像から前記切出しパターンを用いて部分領域を切り出し、表示制御部が、前記撮影プレビュー画像を表示部に表示させ、被写体識別部が、前記画像処理部により切り出された前記フレーム画像の部分領域に対して、被写体の識別を行う。

本発明に係る被写体識別装置及び被写体識別方法によれば、画像から部分領域を切り出すためのパターンが定められた切出しパターンを１以上格納する切出しパターン記憶部を含み、画像処理部が、入力された映像と、前記切出しパターン記憶部に記憶された前記切出しパターンとに基づいて、撮影プレビュー画像を生成すると共に、前記映像から得られるフレーム画像から前記切出しパターンを用いて部分領域を切り出す。

そして、表示制御部が、前記撮影プレビュー画像を表示部に表示させ、被写体識別部が、前記画像処理部により切り出された前記フレーム画像の部分領域に対して、被写体の識別を行う。

このように、入力された映像と、切出しパターンとに基づいて、撮影プレビュー画像を生成して撮影プレビュー画像を表示部に表示させると共に、映像から得られるフレーム画像から切出しパターンを用いて部分領域を切り出し、切り出されたフレーム画像の部分領域に対して、被写体の識別を行うことにより、精度よく、かつ、高速に被写体を識別することができる。

また、本発明に係る被写体識別装置は、前記画像処理部は、前記入力された映像に対し、前記切出しパターンに応じたガイド枠を重畳することにより、前記撮影プレビュー画像を生成するガイド枠重畳部と、前記切出しパターンに基づいて、前記フレーム画像から複数の部分領域を切り出す領域切出し部と、を含み、前記被写体識別部は、前記複数の部分領域の各々について被写体の識別を行うことにより、前記フレーム画像に映る被写体を識別することができる。

また、本発明に係る被写体識別装置は、前記表示制御部は、前記切出しパターン記憶部に記憶された１以上の切出しパターンを前記表示部に表示させ、前記表示部に表示させた前記１以上の切出しパターンのうちの何れか１つの選択を受け付ける切出しパターン選択部を更に含み、前記画像処理部は、前記選択された切出しパターンに応じたガイド枠を重畳することにより、前記撮影プレビュー画像を生成すると共に、前記選択された切出しパターンを用いて部分領域を切り出すことができる。

また、本発明に係る被写体識別装置は、前記切出しパターンについて、画像から切り出される複数の部分領域の各々の優先度を決定する領域優先度決定部を更に含み、前記被写体識別部は、前記画像処理部により切り出された前記フレーム画像の複数の部分領域に対して、前記優先度の順に、被写体の識別を行い、前記部分領域に対して被写体の識別を行う際に、既に識別された被写体が存在する部分領域との重複度に応じて、被写体の識別を行うと判定された場合に、前記部分領域に対して被写体の識別を行うことができる。

本発明に係るプログラムは、コンピュータを、上記の被写体識別装置の各部として機能させるためのプログラムである。

本発明の被写体識別装置、被写体識別方法、及びプログラムによれば、精度よく、かつ、高速に被写体を識別することができる。

本発明に係る被写体識別装置の全体の処理の流れの概要を示す図である。 本発明の第１の実施形態に係る被写体識別装置の構成を示すブロック図である。 本発明の第１の実施形態に係る撮影プレビュー画像の一例を示す図である。 本発明の第１の実施形態に係るフレーム画像を部分領域に分割した例を示す図である。 本発明の第１の実施形態に係る被写体識別装置の被写体識別処理ルーチンを示すフローチャートである。 本発明の第２の実施形態に係る被写体識別装置の構成を示すブロック図である。 本発明の第２の実施形態に係る切出しパターンを選択する画面の一例を示す図である。 本発明の第２の実施形態に係る被写体識別装置の被写体識別処理ルーチンを示すフローチャートである。 本発明の第３の実施形態に係る被写体識別装置の構成を示すブロック図である。 本発明の第３の実施形態に係る優先度付き切出しパターンの一例を示す図である。 本発明の第３の実施形態に係る優先度に基づく被写体識別部の概要を示す図である。 本発明の第３の実施形態に係る被写体識別装置の被写体識別処理ルーチンを示すフローチャートである。 従来の課題の一例を示す図である。

以下、本発明の実施形態について図面を用いて説明する。本実施形態では、スマートデバイスに本発明に係る被写体識別装置が搭載された場合を例に説明する。

図１は、本発明に係る被写体識別装置の全体の処理の流れの概要を示す図である。

第１の実施形態では、画像からどのように部分領域を切出すかというパターン（切出しパターン）を事前に決定し、データベース（切出しパターン記憶部）に格納しておく。切出しパターンが撮影者であるユーザに分かるようにガイド枠を撮影プレビュー画面に表示する。これにより、ユーザは、切り出された各部分領域が被写体の全貌を捉えているように、また、被写体間でオクルージョンが発生しないように被写体を配置し撮影することができるようになる。

第２の実施形態では、データベースに登録された複数の切出しパターンの中から、ユーザが適切なものを選択する手段を備える。これにより、対象となる被写体の個数やサイズの違い対し柔軟に、部分領域を切り出すことが可能となり、その結果、精度のよい被写体識別が望める。また、事前に登録された複数の切出しパターンから、撮影時に１つを選択可能になり、様々な配置の複数被写体に対して柔軟に部分領域の切出しが可能となることが望める。

第３の実施形態では、各切出しパターンで切り出される各部分領域に対する優先度を決定する手段を備える。画像からその優先度順に領域を切り出し、得られた部分領域の被写体識別結果に基づいて残りの部分領域の被写体識別の打ち切りを行なうことで、全体処理の効率化が見込める。すなわち、被写体が存在すると判定された部分領域と重複度が高い部分領域について被写体の識別を打ち切ることで、効率的に複数の切出しパターンでの被写体識別処理を行なう。

以下、各実施形態について順に説明する。

＜本発明の第１の実施の形態に係る被写体識別装置の構成＞
本発明の第１の実施の形態に係る被写体識別装置の構成について説明する。図２は、第１の実施形態に係る被写体識別装置の構成を示すブロック図である。

第１の実施形態に係る被写体識別装置１０は、撮像装置１００と、識別指示入力部２００と、制御部３００と、表示部４００とを備えて構成される。

撮像装置１００は、所定の領域を撮像し、映像の映像信号を生成する撮像部（図示省略）と、撮像部で生成された映像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された映像信号を一時的に格納するための映像メモリ（図示省略）とを備えている。

識別指示入力部２００は、表示部４００に表示されている映像中のどのフレーム画像を、被写体の識別の対象とするかの識別指示を、受け付ける。

ここで、識別指示は、被写体識別装置１０の利用者から、表示部４００に表示されているフレーム画像に対して被写体の識別を行いたい旨の指示である。利用者がスマートデバイスに実装されている撮影ボタンや液晶タッチパネル等を、表示部４００に表示されているフレーム画像に応じて押下等することにより、識別指示が発行される。

第１の実施の形態に係る被写体識別装置１０は、ＣＰＵと、ＲＡＭと、後述する被写体識別処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。制御部３００は、画像処理部３１０と、切出しパターン記憶部３２０と、表示制御部３３０と、被写体識別部３４０と、訓練画像記憶部３５０とを備えて構成される。

画像処理部３１０は、入力された映像と、切出しパターン記憶部３２０に記憶された切出しパターンとに基づいて、撮影プレビュー画像を生成すると共に、映像から得られるフレーム画像から切出しパターンを用いて部分領域を切り出す。

具体的には、画像処理部３１０は、画像取得部３１２と、ガイド枠重畳部３１４と、領域切出し部３１６とを備える。

画像取得部３１２は、撮像装置１００により入力される映像から、フレーム画像に順次取り込む。そして、画像取得部３１２は、取り込んだフレーム画像を、ガイド枠重畳部３１４、及び領域切出し部３１６に渡す。

切出しパターン記憶部３２０は、画像から部分領域を切り出すためのパターンが定められた切出しパターンを１以上格納している。

ガイド枠重畳部３１４は、撮像装置１００により入力された映像の各フレーム画像に対し、切出しパターン記憶部３２０に記憶された切出しパターンに応じたガイド枠を重畳することにより、撮影プレビュー画像を生成する。

具体的には、ガイド枠重畳部３１４は、画像取得部３１２により得られたフレーム画像に対して、事前に設定された切出しパターンの境界線をガイド枠として重畳し、撮影プレビュー画像を生成する。

そして、ガイド枠重畳部３１４は、撮影プレビュー画像を表示制御部３３０に送る。

表示制御部３３０は、ガイド枠重畳部３１４により生成された撮影プレビュー画像を、表示部４００に表示させる。

図３は、撮影プレビュー画像の一例を示す図である。図３に示すように、撮影プレビュー画像は、切出しパターンの境界線をガイド枠として、フレーム画像に重畳させた画像である。このように、被写体が撮影プレビュー画像に表示されるガイド枠を跨がないよう、撮影者に促すことで、各部分領域が被写体を正確に捉えたフレーム画像を取得することができる。

また、表示制御部３３０は、被写体識別部３４０により識別されたフレーム画像の識別結果を、表示部４００に表示させる。

領域切出し部３１６は、画像取得部３１２により得られたフレーム画像から切出しパターンを用いて複数の部分領域を切り出す。

具体的には、領域切出し部３１６は、識別指示入力部２００から識別指示を受け取ると、設定された切出しパターンを切出しパターン記憶部３２０から取得し、識別指示に対応するフレーム画像から、複数の部分領域を切り出す。

図４は、フレーム画像を部分領域に分割した例を示す図である。図４に示すように、設定された切出しパターンに応じて、フレーム画像から複数の部分領域が切り出される。

被写体識別部３４０は、領域切出し部３１６により切り出された複数の部分領域の各々について被写体の識別を行うことにより、フレーム画像に映る被写体を識別する。

具体的には、被写体識別部３４０は、領域切出し部３１６により切り出された複数の部分領域の各々について、当該部分領域を１枚の画像とみなして、訓練画像記憶部３５０に記憶された複数の訓練画像のどの被写体に該当するのか、あるいはどれにも該当しないのかの識別を行なう。ここで、被写体の識別については、例えば参考文献１のような方法を用いることができる。

［参考文献１］特開２０１５−２０１１２３号公報

そして、被写体識別部３４０は、各部分領域についての識別結果を統合することで、フレーム画像全体に写る複数の被写体を識別する。被写体識別部３４０は、識別結果を表示制御部３３０に送る。

訓練画像記憶部３５０は、被写体の識別に用いる複数の訓練画像を記憶している。

表示部４００は、液晶タッチパネル等のディスプレイで実装され、表示制御部３３０により表示するように命令された撮影プレビュー画像や識別結果を、命令毎に表示する。

＜本発明の第１の実施の形態に係る被写体識別装置の作用＞
次に、第１の実施形態に係る被写体識別装置の作用について説明する。

図５は、第１の実施形態に係る被写体識別装置１０の被写体識別処理ルーチンを示すフローチャートである。

撮像装置１００により撮影が開始されると、制御部３００において、図５に示す被写体識別処理ルーチンが実行される。

まず、ステップＳ１００において、ガイド枠重畳部３１４は、切出しパターン記憶部３２０から、切出しパターン記憶部３２０に記憶されている複数の切出しパターンを取得する。

次に、ステップＳ１１０において、被写体識別部３４０は、訓練画像記憶部３５０から、複数の訓練画像を取得する。

ステップＳ１２０において、画像取得部３１２は、撮像装置１００により入力される映像を取得する。

ステップＳ１３０において、画像取得部３１２は、入力された映像から、フレーム画像を取得する。

ステップＳ１４０において、ガイド枠重畳部３１４は、ステップＳ１３０で得られたフレーム画像に対して、事前に設定された切出しパターンの境界線をガイド枠として重畳し、撮影プレビュー画像を生成する。

ステップＳ１５０において、表示制御部３３０は、ステップＳ１４０で得られた撮影プレビュー画像を、表示部４００に表示させる。

ステップＳ１６０において、領域切出し部３１６は、識別指示入力部２００から識別指示があるか否かを判定する。

識別指示が無い場合（ステップＳ１６０のＮＯ）、領域切出し部３１６は、部分領域の切り出しを行わずに、ステップＳ１２０に戻る。

一方、識別指示がある場合（ステップＳ１６０のＹＥＳ）、ステップＳ１７０において、領域切出し部３１６は、画像取得部３１２により得られたフレーム画像から事前に設定された切出しパターンを用いて複数の部分領域を切り出す。

ステップＳ１８０において、被写体識別部３４０は、複数の部分領域のうち、最初の部分領域を選択する。

ステップＳ１９０において、被写体識別部３４０は、選択されている部分領域に対して、被写体の識別を行なう。

ステップＳ２００において、被写体識別部３４０は、被写体の識別を行っていない部分領域があるか否かを判定する。

被写体の識別を行っていない部分領域がある場合（ステップＳ２００のＮＯ）、被写体の識別を行っていない部分領域を選択し、ステップＳ１９０に戻って被写体の識別を行う。

一方、全ての部分領域について被写体の識別を行っている場合（ステップＳ２００のＹＥＳ）、ステップＳ２１０において、被写体識別部３４０は、各部分領域についての識別結果を統合することにより、フレーム画像全体に写る複数の被写体を識別する。

ステップＳ２２０において、表示制御部３３０は、フレーム画像の識別結果を、表示部４００に表示させる。

ステップＳ２３０において、制御部３００は、撮像装置１００による撮影が終了したか否かを判定する。

撮像装置１００による撮影が継続している場合（ステップＳ２３０のＮＯ）、ステップＳ１２０に戻り、被写体識別処理を繰り返す。

一方、撮像装置１００による撮影が終了した場合（ステップＳ２３０のＹＥＳ）、被写体識別処理ルーチンを終了する。

以上説明したように、第１の実施形態に係る被写体識別装置によれば、入力された映像と、切出しパターンとに基づいて、撮影プレビュー画像を生成して撮影プレビュー画像を表示部に表示させると共に、映像から得られるフレーム画像から切出しパターンを用いて部分領域を切り出し、切り出されたフレーム画像の部分領域に対して、被写体の識別を行うことにより、精度よく、かつ、高速に被写体を識別することができる。

＜本発明の第２の実施の形態に係る被写体識別装置の構成＞
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

図６に示すように、第２の実施の形態に係る被写体識別装置２０は、撮像装置１００と、識別指示入力部２００と、制御部５００と、表示部６００とを備えて構成される。

制御部３００は、画像処理部５１０と、切出しパターン記憶部３２０と、表示制御部５３０と、被写体識別部３４０と、訓練画像記憶部３５０とを備えて構成される。

画像処理部５１０は、画像取得部３１２と、ガイド枠重畳部５３４と、領域切出し部３１６とを備える。

ガイド枠重畳部５３４は、第１の実施形態に係るガイド枠重畳部３１４と同様の構成に加えて、切出しパターン選択部６１０により受け付けた切出しパターンの選択を受け付ける。

そして、ガイド枠重畳部５３４は、受け付けた切出しパターンについて、撮影プレビュー画像を生成する。

表示制御部５３０は、第１の実施形態に係る表示制御部３３０と同様の構成に加えて、切出しパターン記憶部３２０に記憶された１以上の切出しパターンを表示部６００に表示させる。

具体的には、表示制御部５３０は、切出しパターン記憶部３２０に記憶された１以上の切出しパターンの各々について、切出しパターンを選択する画面を生成する。

図７は、切出しパターンを選択する画面の一例を示す図である。

そして、表示制御部５３０は、生成したガイド枠を選択する画面を、表示部６００に表示させる。

表示部６００は、第１の実施形態に係る表示部４００と同様の構成に加えて、切出しパターン選択部６１０を備えて構成される。

切出しパターン選択部６１０は、表示部６００に表示させた１以上の切出しパターンのうちの何れか１つの選択を受け付ける。

具体的には、切出しパターン選択部６１０は、表示制御部５３０が表示部６００に表示させた切出しパターンを選択する画面に表示された１以上の切出しパターンのうち、いずれの切出しパターンを用いるかについての選択を受け付ける。

例えば、撮影者が、図７のラジオボタンを押下することにより、切出しパターンが選択される。切出しパターン選択部６１０は、当該選択を受け付ける。

そして、切出しパターン選択部６１０は、選択された切出しパターンを、ガイド枠重畳部５３４に通知する。

＜本発明の第２の実施の形態に係る被写体識別装置の作用＞
図８は、第２の実施形態に係る被写体識別装置２０の被写体識別処理ルーチンを示すフローチャートである。第２の実施の形態の被写体識別処理について、第１の実施の形態の被写体識別処理と同一の処理については、同一の符号を付して説明を省略する。

まず、ステップＳ３００において、ガイド枠重畳部３１４及び表示制御部５３０は、切出しパターン記憶部３２０から、切出しパターン記憶部３２０に記憶されている複数の切出しパターンを取得する。

ステップＳ３１２において、表示制御部５３０は、切出しパターン記憶部３２０に記憶された複数の切出しパターンの各々について、切出しパターンを選択する画面を生成する。

ステップＳ３１４において、表示制御部５３０は、生成したガイド枠を選択する画面を、表示部６００に表示させる。

ステップＳ３１６において、切出しパターン選択部６１０は、表示部６００に表示させた１以上の切出しパターンのうちの何れか１つの選択を受け付ける。

ステップＳ３４０において、ガイド枠重畳部５３４は、ステップＳ１３０で得られたフレーム画像に対して、ステップＳ３１６で受け付けた切出しパターンの境界線をガイド枠として重畳し、撮影プレビュー画像を生成する。

以上説明したように、第２の実施形態に係る被写体識別装置によれば、入力された映像と、選択された切出しパターンとに基づいて、撮影プレビュー画像を生成して撮影プレビュー画像を表示部に表示させると共に、映像から得られるフレーム画像から切出しパターンを用いて部分領域を切り出し、切り出されたフレーム画像の部分領域に対して、被写体の識別を行うことにより、精度よく、かつ、高速に被写体を識別することができる。

＜本発明の第３の実施の形態に係る被写体識別装置の構成＞
次に、本発明の第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

図９に示すように、第３の実施の形態に係る被写体識別装置３０は、撮像装置１００と、識別指示入力部２００と、制御部７００と、表示部４００とを備えて構成される。

制御部７００は、画像処理部３１０と、切出しパターン記憶部３２０と、表示制御部３３０と、被写体識別部７４０と、訓練画像記憶部３５０と、領域優先度決定部７６０とを備えて構成される。

領域優先度決定部７６０は、領域切出し部３１６により切り出されたフレーム画像の複数の部分領域の各々の優先度を決定する。

ここで、優先度の決定方法は、例えば、自動で決定する場合、切出しパターン記憶部３２０に格納された時刻が早い順、部分領域の面積が大きい順等の指標で決定する。また、切出しパターンに対し、切り出される複数の部分領域の各々の優先度が事前に付与されていても良い。例えば、各部分領域が、当該部分領域以外の部分領域をいくつ内包するかを事前に算出し、その数が多いものほど優先度が高くなるよう決定することで、後述する被写体識別部７４０における被写体の識別を打ち切りにする効果を最大化させる、といった方法も考えられる。

図１０は、優先度付き切出しパターンの一例を示す図である。図１０に示すように、領域優先度決定部７６０は、切出しパターンにより切り出される各部分領域に対して優先度を決定する。

被写体識別部７４０は、領域切出し部３１６により切り出されたフレーム画像の複数の部分領域に対して、優先度の順に、被写体の識別を行い、部分領域に対して被写体の識別を行う際に、既に識別された被写体が存在する部分領域との重複度に応じて、被写体の識別を行うと判定された場合に、当該部分領域に対して被写体の識別を行う。

具体的には、被写体識別部７４０は、図１１のように、複数の部分領域に対して、優先度の高い部分領域から順に、被写体識別を行なう。図１１では、実線枠で分割される部分領域、１点鎖線枠で分割される部分領域、破線枠で分割される部分領域の順に優先度が設定されている。

このとき、同じ優先度の部分領域が複数ある場合は、任意の順序、もしくは並列に被写体の識別を行なう。例えば、図１１の１点鎖線で示された部分領域については、任意の順序（例えば、左側から）被写体の識別を行ってもよいし、並列に被写体の識別を行ってもよい。

そして、被写体識別部７４０は、被写体が存在すると判定された部分領域と重複度が高い部分領域については、被写体の識別を行わない。

ここで、重複度としては、例えば、ある領域ｒ_ｉについて、被写体が存在すると判定された領域ｒ_ｊとのＪａｃｃａｒｄ係数（＝（ｒ_ｉ∩ｒ_ｊ）／（ｒ_ｉ∪ｒ_ｊ））を用いる。この時、重複度が閾値を超える部分領域については、被写体の識別を行わない。閾値としては、例えば０．７等の部分領域同士の重複度が高いと認識できる値を設定する。

＜本発明の第３の実施の形態に係る被写体識別装置の作用＞
図１２は、第３の実施形態に係る被写体識別装置３０の被写体識別処理ルーチンを示すフローチャートである。第３の実施の形態の被写体識別処理について、第１の実施の形態の被写体識別処理と同一の処理については、同一の符号を付して詳細な説明を省略する。

まず、ステップＳ４００において、領域優先度決定部７６０は、切り出されたフレーム画像の複数の部分領域の各々の優先度を決定する。

ステップＳ４８０において、被写体識別部７４０は、領域切出し部３１６により切り出されたフレーム画像の複数の部分領域に対して、優先度の順に、部分領域を選択する。

そして、ステップＳ４８５において、選択されている部分領域と、既に識別された被写体が存在する部分領域との重複度が、閾値よりも大きいか否かを判断する。

重複度が閾値よりも大きい場合（ステップＳ４８５のＹＥＳ）、選択されている部分領域については被写体の識別を行うことなく、ステップＳ４８０に戻り、次の部分領域を選択する。

一方、重複度が閾値以下の場合（ステップＳ４８５のＮＯ）、ステップＳ１９０へ進み、選択されている部分領域に対して被写体の識別を行う。

以上説明したように、第３の実施形態に係る被写体識別装置によれば、入力された映像と、切出しパターンとに基づいて、撮影プレビュー画像を生成して撮影プレビュー画像を表示部に表示させると共に、映像から得られるフレーム画像から切出しパターンを用いて部分領域を切り出し、複数の部分領域に対して、優先度の順に、被写体の識別を行い、部分領域に対して被写体の識別を行う際に、既に識別された被写体が存在する部分領域との重複度に応じて、被写体の識別を行うと判定された場合に、部分領域に対して被写体の識別を行うことにより、精度よく、かつ、高速に被写体を識別することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

本実施形態では、スマートデバイスに被写体識別装置が搭載された場合を例に説明したが、これに限定されるものではない。撮像装置と表示装置とが別の装置として実装されてもよい。

また、第２の実施形態では、切出しパターンを予め選択する場合について説明したが、これに限定されるものではない。例えば、初期値として事前に切出しパターンが選択されており、切出しパターンの変更・修正が必要な場合に撮影者に切出しパターンを選択させる構成とすることができる。

また、第３の実施形態では、１つの切出しパターンを用いる場合について説明したが、複数の切出しパターンを同時に用いてもよい。この場合、ガイド枠重畳部３１４では、複数の切出しパターンを同時に表示し、ユーザには何れかの切出しパターンの境界を跨がないように被写体の配置、撮影視点を調整するように促す。

このとき、ガイド枠重畳部３１４は、部分領域の優先度が明確に撮影者に伝わるように、色や太さの違いで優先順位を表現した撮影プレビュー画像を生成してもよい。例えば、図１０にように撮影プレビュー画像を生成してもよい。

複数の切出しパターンを同時に用いる場合には、領域優先度決定部７６０は、切出しパターン毎に優先度を定める。この場合、ガイド枠重畳部３１４は、切出しパターンの優先度が明確に撮影者に伝わるように、色や太さの違いで優先順位を表現した撮影プレビュー画像を生成してもよい。また、領域優先度決定部７６０は、同時に用いる複数の切出しパターンの各々について、当該切出しパターンの複数の部分領域の各々について、更に優先度を定めてもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 被写体識別装置
２０ 被写体識別装置
３０ 被写体識別装置
１００ 撮像装置
２００ 識別指示入力部
３００ 制御部
３１０ 画像処理部
３１２ 画像取得部
３１４ ガイド枠重畳部
３１６ 領域切出し部
３２０ 切出しパターン記憶部
３３０ 表示制御部
３４０ 被写体識別部
３５０ 訓練画像記憶部
４００ 表示部
５００ 制御部
５３０ 表示制御部
５３４ ガイド枠重畳部
６００ 表示部
６１０ 切出しパターン選択部
７００ 制御部
７４０ 被写体識別部
７６０ 領域優先度決定部

Claims (6)

1. 画像から部分領域を切り出すためのパターンが定められた切出しパターンを１以上格納する切出しパターン記憶部と、
   入力された映像と、前記切出しパターン記憶部に記憶された前記切出しパターンとに基づいて、撮影プレビュー画像を生成すると共に、前記映像から得られるフレーム画像から前記切出しパターンを用いて部分領域を切り出す画像処理部と、
   前記撮影プレビュー画像を表示部に表示させる表示制御部と、
   前記画像処理部により切り出された前記フレーム画像の部分領域に対して、被写体の識別を行う被写体識別部と、
   を含む被写体識別装置。
2. 前記画像処理部は、
   前記入力された映像に対し、前記切出しパターンに応じたガイド枠を重畳することにより、前記撮影プレビュー画像を生成するガイド枠重畳部と、
   前記切出しパターンに基づいて、前記フレーム画像から複数の部分領域を切り出す領域切出し部と、
   を含み、
   前記被写体識別部は、前記複数の部分領域の各々について被写体の識別を行うことにより、前記フレーム画像に映る被写体を識別する請求項１記載の被写体識別装置。
3. 前記表示制御部は、前記切出しパターン記憶部に記憶された１以上の切出しパターンを前記表示部に表示させ、
   前記表示部に表示させた前記１以上の切出しパターンのうちの何れか１つの選択を受け付ける切出しパターン選択部を更に含み、
   前記画像処理部は、前記選択された切出しパターンに応じたガイド枠を重畳することにより、前記撮影プレビュー画像を生成すると共に、前記選択された切出しパターンを用いて部分領域を切り出す請求項１又は２記載の被写体識別装置。
4. 前記切出しパターンについて、画像から切り出される複数の部分領域の各々の優先度を決定する領域優先度決定部を更に含み、
   前記被写体識別部は、
   前記画像処理部により切り出された前記フレーム画像の複数の部分領域に対して、前記優先度の順に、被写体の識別を行い、
   前記部分領域に対して被写体の識別を行う際に、既に識別された被写体が存在する部分領域との重複度に応じて、被写体の識別を行うと判定された場合に、前記部分領域に対して被写体の識別を行う
   請求項１乃至３の何れか１項記載の被写体識別装置。
5. 画像から部分領域を切り出すためのパターンが定められた切出しパターンを１以上格納する切出しパターン記憶部と、画像処理部と、表示制御部と、被写体識別部とを含む被写体識別装置における被写体識別方法であって、
   画像処理部が、入力された映像と、前記切出しパターン記憶部に記憶された前記切出しパターンとに基づいて、撮影プレビュー画像を生成すると共に、前記映像から得られるフレーム画像から前記切出しパターンを用いて部分領域を切り出し、
   表示制御部が、前記撮影プレビュー画像を表示部に表示させ、
   被写体識別部が、前記画像処理部により切り出された前記フレーム画像の部分領域に対して、被写体の識別を行う
   被写体識別方法。
6. コンピュータを、請求項１乃至４の何れか１項記載の被写体識別装置の各部として機能させるためのプログラム。