JP2014123991A - 被写体検出装置、被写体検出方法及びプログラム - Google Patents

被写体検出装置、被写体検出方法及びプログラム Download PDF

Info

Publication number
JP2014123991A
JP2014123991A JP2014057828A JP2014057828A JP2014123991A JP 2014123991 A JP2014123991 A JP 2014123991A JP 2014057828 A JP2014057828 A JP 2014057828A JP 2014057828 A JP2014057828 A JP 2014057828A JP 2014123991 A JP2014123991 A JP 2014123991A
Authority
JP
Japan
Prior art keywords
image
similarity
equal
frame
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014057828A
Other languages
English (en)
Other versions
JP5807695B2 (ja
Inventor
Keisuke Shimada
敬輔 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014057828A priority Critical patent/JP5807695B2/ja
Publication of JP2014123991A publication Critical patent/JP2014123991A/ja
Application granted granted Critical
Publication of JP5807695B2 publication Critical patent/JP5807695B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】特定の被写体の検出精度の向上を図る。
【解決手段】撮像装置100であって、一のフレーム画像における特定の被写体画像の候補領域の画像と当該特定の被写体画像の判定基準となる所定の基準画像との類似度が、第1の閾値以上であるか否かを判定する第1判定部5cと、特定の被写体画像の候補領域の画像の類似度が第1の閾値以上であると判定された場合に、一のフレーム画像よりも所定フレーム前の他のフレーム画像における当該特定の被写体画像の候補領域に対応する対応領域の画像と所定の基準画像との類似度が、第1の閾値よりも大きい第2の閾値以上であるか否かを判定する第2判定部5dと、類似度が第2の閾値以上であると判定された一のフレーム画像における対応領域に対応する特定の被写体画像の候補領域を、特定の被写体画像の画像領域として特定する画像領域特定部5fとを備えている。
【選択図】図1

Description

本発明は、被写体検出装置、被写体検出方法及びプログラムに関する。
従来、撮像に基づいて逐次取得されたフレーム画像から顔検出を行う技術が知られている(例えば、特許文献1参照)。
特開2005−318515号公報
しかしながら、上記特許文献1の技術では、一度顔ではない領域を検出してしまうと、その後のフレーム画像でも誤検出を継続してしまう虞があった。
そこで、本願発明の課題は、特定の被写体の誤検出を低減することができるので、特定の被写体の検出精度の向上を図ることができる被写体検出装置、被写体検出方法及びプログラムを提供することである。
上記課題を解決するため、請求項1に記載の発明の被写体検出装置は、
フレーム画像を逐次取得する取得手段と、この取得手段により取得された一のフレーム画像における第1の画像領域と基準画像との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段と、前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第1の閾値よりも大きい第2の閾値以上であるか否かを判定する第2の判定手段と、この第2の判定手段により類似度が前記第2の閾値以上であると判定されると、前記第1の画像領域を、被写体画像として検出する検出手段と、を備え、前記第1の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像にお
ける第1の画像領域と前記基準画像との類似度が、第1の閾値以上であるか否かを判定し、前記第2の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第2の閾値以上であるか否かを判定し、前記検出手段は、更に、前記第2の判定手段により類似度が前記第2の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域を被写体画像として検出することを特徴としている。
請求項2に記載の発明は、請求項1に記載の被写体検出装置において、
前記第2の画像領域と前記基準画像との類似度を記憶する記憶手段と、前記記憶手段に記憶された前記類似度を消去する消去手段と、を更に備え、前記第2の判定手段は、更に、前記記憶手段に記憶された前記類似度が第2の閾値以上であるか否かを判定し、前記消去手段は、前記類似度が前記第2の閾値未満であると判定されると、前記記憶手段に記憶された前記類似度を消去することを特徴としている。
請求項3に記載の発明は、請求項1又は2に記載の被写体検出装置において、
前記第2の判定手段は、前記第1の判定手段により前記第1の画像領域と前記基準画像との類似度が第1の閾値以上であると判定された場合に、前記第2の画像領域の画像と前記基準画像との類似度が前記第2の閾値以上であるか否かを判定することを特徴としている。
請求項4に記載の発明は、請求項1から3の何れか一項に記載の被写体検出装置において、前記第1の画像領域は、顔が含まれる画像であることを特徴としている。
請求項5に記載の発明は、請求項1から4の何れか一項に記載の被写体検出装置におい
て、前記検出手段により検出された被写体画像を識別表示するための指標を設定する設定手段を更に備えることを特徴としている。
請求項6に記載の発明は、請求項1から5の何れか一項に記載の被写体検出装置において、前記フレーム画像は、撮像画像から生成された画像であることを特徴としている。
請求項7に記載の発明の被写体検出方法は、
被写体検出装置を用いた被写体検出方法であって、フレーム画像を逐次取得するステップと、取得された一のフレーム画像における第1の画像領域と基準画像との類似度が、第1の閾値以上であるか否かを判定するステップと、前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第1の閾値よりも大きい第2の閾値以上であるか否かを判定するステップと、前記第2の画像領域の画像と前記基準画像との類似度が前記第2の閾値
以上であると判定された前記以前に取得されたフレーム画像の領域に対応する第1の画像領域を、被写体画像として検出するステップと、を含み、前記被写体画像の検出後、更に、新たに取得されたフレーム画像における第1の画像領域と前記基準画像との類似度が、第1の閾値以上であるか否かを判定し、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第2の閾値以上であるか否かを判定し、更に、前記第2の画像領域の画像と前記基準画像との類似度が前記第2の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域を新たな被写体画像として検出することを特徴としている。
請求項8に記載の発明のプログラムは、
コンピュータを、フレーム画像を逐次取得する取得手段、この取得手段により取得された一のフレーム画像における第1の画像領域と基準画像との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段、前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第1の閾値よりも大きい第2の閾値以上であるか否かを判定する第2の判定手段、この第2の判定手段により類似度が前記第2の閾値以上であると判定されると、前記第1の画像領域を、被写体画像として検出する検出手段、として機能させ、前記第1の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第1の画像領域と前記基準画像との類似度が、第1の閾値以上であ
るか否かを判定し、前記第2の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第2の閾値以上であるか否かを判定し、前記検出手段は、更に、前記第2の判定手段により前記類似度が前記第2の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域を新たな被写体画像として検出することを特徴としている。
本発明によれば、特定の被写体の誤検出を低減することができるので、当該特定の被写体の検出精度の向上を図ることができる。
本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図1の撮像装置による被写体検出処理に係る動作の一例を示すフローチャートである。 図2の被写体検出処理に係る画像の一例を模式的に示す図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
本実施形態の撮像装置100は、一のフレーム画像における特定の被写体画像の検出候補領域の画像と、当該特定の被写体画像の判定基準となる所定の基準画像との類似度が第1の閾値以上であるか否かを判定し、当該判定処理にて、検出候補領域Aの画像の類似度が第1の閾値以上であると判定された場合に、一のフレーム画像よりも所定フレーム前の他のフレーム画像における当該検出候補領域に対応する対応領域の画像と、所定の基準画像との類似度が第2の閾値以上であるか否かを判定する。そして、撮像装置100は、類似度が第2の閾値以上であると判定された一のフレーム画像における対応領域に対応する検出候補領域を、特定の被写体画像の画像領域として特定する。
図1に示すように、撮像装置100は、具体的には、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像処理部5と、識別情報設定部6と、記録媒体制御部7と、表示制御部8と、表示部9と、操作入力部10と、中央制御部11とを備えている。
撮像部1は、撮像手段として、被写体を撮像してフレーム画像Fを生成する。具体的には、撮像部1は、レンズ部1aと、電子撮像部1bとを備えている。
レンズ部1aは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部1bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部1aの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部1は、レンズ部1aを通過する光の量を調整する絞りを備えていても良い。
撮像制御部2は、撮像部1による被写体の撮像を制御する。即ち、撮像制御部2は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部2は、タイミング発生器、ドライバにより電子撮像部1bを走査駆動して、所定周期毎に光学像を電子撮像部1bにより二次元の画像信号に変換させ、当該電子撮像部1bの撮像領域から1画面分ずつフレーム画像Fを読み出して画像データ生成部3に出力させる。
また、撮像制御部2は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体の撮像条件の調整制御を行う。
画像データ生成部3は、電子撮像部1bから転送されたフレーム画像Fのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
また、画像データ生成部3は、生成したフレーム画像FのYUVデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度(例えば、VGAやQVGAサイズ等)の画像データを生成する。具体的には、画像データ生成部3は、表示部9によるライブビュー画像の所定の表示フレームレートに応じた所定のタイミングで、フレーム画像FのYUVデータからライブビュー表示用の低解像度の画像データを生成する。
カラープロセス回路から出力されるYUVデータは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
メモリ4は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、画像データ生成部3、画像処理部5、識別情報設定部6、中央制御部11等によって処理されるデータ等を一時記憶する。具体的には、メモリ4は、画像データ生成部3により生成された所定フレーム数分のフレーム画像Fのライブビュー表示用の画像データを一時記憶する。
また、メモリ4は、後述する被写体検出処理に係る各種の情報を一時的に格納するための検出結果格納部4aを具備している。
検出結果格納部4aは、例えば、リングバッファから構成され、画像処理部5の類似度算出部5bにより算出された所定フレーム数分のフレーム画像Fにおける特定の被写体画像の候補領域(検出候補領域A;図3(a)参照)の画像と所定の基準画像との類似度をデータ履歴として順次格納する。ここで、一のフレーム画像Fnよりも所定フレーム(例えば、一フレーム)前に画像データ生成部3により生成された他のフレーム画像Fmにおける複数の検出候補領域Aのうち、一のフレーム画像Fnにおける検出候補領域Aの座標(例えば、中心や矩形領域の四隅等の座標)に対応する座標を有する領域は、特定の被写体画像の候補領域(検出候補領域A)に対応する対応領域B(図3(b)参照)となる。
即ち、検出結果格納部4aは、記憶手段として、類似度算出部5bにより予め算出された他のフレーム画像Fmにおける、一のフレーム画像Fnの検出候補領域Aに対応する対応領域Bの画像と所定の基準画像との類似度を記憶する。
画像処理部5は、画像取得部5aと、類似度算出部5bと、第1判定部5cと、第2判定部5dと、閾値設定部5eと、画像領域特定部5fとを具備している。
画像取得部5aは、フレーム画像Fを逐次取得する。
即ち、画像取得部5aは、画像データ生成部3により表示フレームレートに応じた所定のタイミングで生成されたフレーム画像Fのライブビュー表示用の画像データをメモリ4から逐次取得する。
ここで、画像取得部5aは、フレーム画像Fを逐次取得する取得手段を構成している。
類似度算出部5bは、フレーム画像Fの特定の被写体画像の候補領域の画像と所定の基準画像との類似度を算出する。
即ち、類似度算出部5bは、画像取得部5aにより逐次取得された各フレーム画像Fのライブビュー表示用の画像データの各々に対して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理を施して、特定の被写体画像の候補となる画像領域(検出候補領域A)を複数抽出する(図3(a)参照)。具体的には、類似度算出部5bは、例えば、画像取得部5aにより所定のタイミングで取得された一のフレーム画像Fnのライブビュー表示用の画像データから、特定の被写体画像の候補領域として、所定サイズ(例えば、24×24画素)の検出候補領域A(例えば、検出候補領域A1〜A3等)を複数生成する。そして、類似度算出部5bは、例えば、各検出候補領域Aの画像データと所定の基準画像の画像データとの類似度をadaboost(アダブースト)出力計算を用いて算出する。
なお、類似度算出部5bによる類似度の算出方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、所定の基準画像の画像データは、例えば、画像処理部5の一時記憶手段(図示略)に記憶された情報であり、検出候補領域Aについて特定の被写体であるか否かを判定するための各種の識別用情報である。識別用情報としては、例えば、「ヒトの顔」や「動物」などの形状を基準とするものや、明度や彩度が高く鮮やかな(派手な)色合いであるか否かや肌色であるか否かなどの色調を基準とするものや、画角全体の画像に対する割合(例えば、半分以上であるか)などの大きさを基準とするもの等が挙げられる。
また、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
第1判定部5cは、一のフレーム画像Fnにおける検出候補領域Aの画像データと所定の基準画像の画像データとの類似度が第1の閾値以上であるか否かを判定する。
即ち、第1判定部5cは、類似度算出部5bにより算出された一のフレーム画像Fnにおける特定の被写体画像の候補領域としての各検出候補領域Aの画像データと所定の基準画像の画像データとの類似度が、閾値設定部5eにより設定された第1の閾値以上であるか否かを判定する。また、第1判定部5cは、類似度が第1の閾値以上であると判定された各検出候補領域A(特定の被写体画像の候補領域)の所定位置(例えば、中心等)の座標に基づいて、一のフレーム画像Fnのライブビュー表示用の画像データ内で、当該検出候補領域Aの位置を示す類似度マップを生成しても良い。
ここで、第1判定部5cは、画像取得部5aにより取得された一のフレーム画像Fnにおける特定の被写体画像の候補領域(検出候補領域A)の画像と、当該特定の被写体画像の判定基準となる所定の基準画像との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段を構成している。
第2判定部5dは、他のフレーム画像Fmにおける対応領域Bの画像データと所定の基準画像の画像データとの類似度が第2の閾値以上であるか否かを判定する。
即ち、第2判定部5dは、第1判定部5cにより検出候補領域A(特定の被写体画像の候補領域)の類似度が第1の閾値以上であると判定された場合に、一のフレーム画像Fnよりも所定フレーム(例えば、一フレーム)前に生成された他のフレーム画像Fmにおける対応領域Bの画像データと所定の基準画像の画像データとの類似度が、閾値設定部5eにより設定された第1の閾値よりも大きい第2の閾値以上であるか否かを判定する。具体的には、第2判定部5dは、一のフレーム画像Fnよりも所定フレーム前の他のフレーム画像Fmに係る類似度マップに基づいて、当該他のフレーム画像Fmにおける複数の検出候補領域Aのうち、一のフレーム画像Fnにおける類似度が第1の閾値以上である検出候補領域Aの座標に対応する座標を有する領域(対応領域B)を特定する。そして、第2判定部5dは、特定した対応領域Bの画像データと所定の基準画像の画像データとの類似度をメモリ4の検出結果格納部4aから取得する。そして、第2判定部5dは、取得した類似度が第2の閾値以上であるか否かを判定する。
このように、第2判定部5dは、第1判定部5cにより特定の被写体画像の候補領域の画像の類似度が第1の閾値以上であると判定された場合に、一のフレーム画像Fnよりも所定フレーム前の他のフレーム画像Fmにおける当該特定の被写体画像の候補領域に対応する対応領域Bの画像と、所定の基準画像との類似度が、第2の閾値以上であるか否かを判定する第2の判定手段を構成している。
閾値設定部5eは、第1判定部5c及び第2判定部5dによる判定基準に係る第1の閾値及び第2の閾値を設定する。
即ち、閾値設定部5eは、第1判定部5cによる特定の被写体画像の候補領域(検出候補領域A)の画像と所定の基準画像との類似度の判定基準となる第1の閾値を設定する。また、閾値設定部5eは、第2判定部5dによる検出候補領域A(特定の被写体画像の候補領域)に対応する対応領域Bの画像と所定の基準画像との類似度の判定基準となる第2の閾値を設定する。
具体的には、閾値設定部5eは、第1の閾値や第2の閾値として、ユーザによる操作入力部10の所定操作に基づいて入力された所定の値、或いは、予めデフォルトとして設定されている所定の値等を設定する。
画像領域特定部5fは、一のフレーム画像Fn内で特定の被写体画像の画像領域Cを特定する。
即ち、画像領域特定部5fは、第2判定部5dにより他のフレーム画像Fmのライブビュー表示用の画像データにおける対応領域Bの画像データと所定の基準画像の画像データとの類似度が第2の閾値以上であると判定された場合に、一のフレーム画像Fnにおける対応領域B(例えば、対応領域B1、B2等)に対応する検出候補領域A(例えば、検出候補領域A1、A2等)を、特定の被写体画像の画像領域Cとして特定する。
ここで、画像領域特定部5fは、第2判定部5dにより類似度が第2の閾値以上であると判定された一のフレーム画像Fnにおける対応領域Bに対応する特定の被写体画像の候補領域(検出候補領域A)を、特定の被写体画像の画像領域Cとして特定する特定手段を構成している。
識別情報設定部6は、特定の被写体画像を識別表示するための識別情報を設定する。
即ち、識別情報設定部6は、画像領域特定部5fにより特定の被写体画像の画像領域Cが特定されると、当該特定の被写体画像を識別表示する識別情報として、特定の被写体画像の画像領域Cの縁部に重畳して表示部9に表示される検出枠Wを設定する。
なお、特定の被写体画像の識別情報として、当該特定の被写体画像の画像領域Cの縁部に重畳して表示される検出枠Wを例示したが、一例であってこれに限られるものではなく、所定の識別標識など当該特定の被写体画像を識別表示するものであれば適宜任意に変更可能である。
ここで、識別情報設定部6は、画像領域特定部5fにより特定された特定の被写体画像を識別表示するための識別情報を設定する設定手段を構成している。
記録媒体制御部7は、記録媒体Mが着脱自在に構成され、装着された記録媒体Mからのデータの読み出しや記録媒体Mに対するデータの書き込みを制御する。
即ち、記録媒体制御部7は、画像処理部5の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式等)で符号化された記録用の画像データを記録媒体Mに記録させる。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
表示制御部8は、メモリ4に一時的に記憶されている表示用の画像データを読み出して表示部9に表示させる制御を行う。
具体的には、表示制御部8は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部11の制御下にてメモリ4から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部9に出力する。
表示部9は、例えば、液晶表示パネルであり、表示制御部8からのビデオ信号に基づいて電子撮像部1bにより撮像された画像などを表示画面に表示する。具体的には、表示部9は、静止画撮像モードや動画撮像モードにて、撮像部1及び撮像制御部2による被写体の撮像により生成された複数のフレーム画像Fを所定の表示フレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部9は、静止画として記録される画像のレックビュー画像を表示したり、動画として記録中の画像を表示する。
操作入力部10は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部10は、被写体の撮像指示に係るシャッタボタン10a(図3(c)参照)、撮像モードや機能等の選択指示に係る選択決定ボタン10b(図3(c)参照)、ズーム量の調整指示に係るズームボタン(図示略)等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部11に出力する。
中央制御部11は、撮像装置100の各部を制御するものである。具体的には、中央制御部11は、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
次に、撮像装置100による被写体検出処理について、図2及び図3を参照して説明する。
図2は、被写体検出処理に係る動作の一例を示すフローチャートである。また、図3は、被写体検出処理に係る画像の一例を模式的に示す図である。
なお、以下に説明する被写体検出処理は、ユーザによる操作入力部10の所定操作に基づいて被写体検出モードが設定されている場合に、中央制御部11の制御下にて実行される処理である。また、以下の説明にあっては、フレーム画像F内に特定の被写体画像としての顔画像が含まれているフレーム画像Fを用いるものとする。
図2に示すように、先ず、中央制御部11は、撮像部1による被写体の撮像により画像データ生成部3により逐次生成されたフレーム画像Fのライブビュー表示用の画像データをメモリ4に逐次格納して一時記憶させる(ステップS1)。
続けて、画像処理部5の画像取得部5aは、表示部9による表示フレームレートに応じた所定のタイミングで、処理対象となる一のフレーム画像Fnのライブビュー表示用の画像データをメモリ4から取得する(ステップS2)。
次に、類似度算出部5bは、画像取得部5aにより取得された一のフレーム画像Fnにおける特定の被写体画像の検出候補領域Aと所定の基準画像との類似度を算出する(ステップS3)。
具体的には、類似度算出部5bは、一のフレーム画像Fnのライブビュー表示用の画像データから、特定の被写体画像の候補領域として、所定サイズ(例えば、24×24画素)の検出候補領域A1〜A3(図3(a)参照)を複数生成し、各検出候補領域A1〜A3の画像データと所定の基準画像の画像データとの類似度をadaboost(アダブースト)出力計算を用いて算出する。
なお、算出された各検出候補領域A1〜A3の類似度は、メモリ4の検出結果格納部4aに一時的に格納される。
続けて、第1判定部5cは、各検出候補領域A1〜A3について類似度算出部5bにより算出された類似度、即ち、一のフレーム画像Fnのライブビュー表示用の画像データにおける検出候補領域A1〜A3の画像データと所定の基準画像の画像データとの類似度が第1の閾値以上であるか否かを判定する(ステップS4)。
ここで、検出候補領域A1〜A3の類似度が第1の閾値以上であると判定されると(ステップS4;YES)、第1判定部5cは、一のフレーム画像Fnのライブビュー表示用の画像データ内で、類似度が第1の閾値以上であると判定された各検出候補領域A1〜A3の位置を示す類似度マップを生成して、メモリ4の検出結果格納部4aに一時的に格納する(ステップS5)。一方、ステップS4にて、検出候補領域Aの類似度が第1の閾値以上でないと判定されると(ステップS4;NO)、中央制御部11は、メモリ4の検出結果格納部4aに一時的に格納されている当該検出候補領域Aの類似度、即ち、類似度が第1の閾値以上でないと判定された検出候補領域Aの類似度のデータ履歴を消去する(ステップS6)。
ステップS5における類似度マップの生成後、第2判定部5dは、一のフレーム画像Fnよりも所定フレーム(例えば、一フレーム)前の他のフレーム画像Fmにおける複数の検出候補領域A、…のうち、一のフレーム画像Fnにおける類似度が第1の閾値以上である検出候補領域A1〜A3の座標に対応する座標を有する領域を対応領域B1〜B3として特定する(ステップS7)。続けて、第2判定部5dは、特定した対応領域B1〜B3の画像データと所定の基準画像の画像データとの類似度をメモリ4の検出結果格納部4aから取得する(ステップS8)。
そして、第2判定部5dは、各対応領域B1〜B3に係る類似度、即ち、他のフレーム画像Fmのライブビュー表示用の画像データにおける各検出候補領域A1〜A3に対応する対応領域B1〜B3の各々の画像データと所定の基準画像の画像データとの類似度が第2の閾値以上であるか否かを判定する(ステップS9)。
ここで、対応領域Bの類似度が第2の閾値以上であると判定されると(ステップS9;YES)、画像領域特定部5fは、類似度が第2の閾値以上であると第2判定部5dにより判定された対応領域B(例えば、対応領域B1、B2等)について、一のフレーム画像Fnにおける当該対応領域Bに対応する検出候補領域A(例えば、検出候補領域A1、A2等)を、特定の被写体画像の画像領域Cとして特定する(ステップS10)。その後、識別情報設定部6は、特定された特定の被写体画像の画像領域Cの縁部に重畳表示される検出枠Wを設定して、当該検出枠Wの表示制御に係る指示信号を表示制御部8に出力する(図3(c)参照)。
一方、ステップS9にて、対応領域Bの類似度が第2の閾値以上でないと判定されると(ステップS9;NO)、中央制御部11は、処理をステップS6に移行して、メモリ4の検出結果格納部4aに一時的に格納されている当該対応領域B(例えば、対応領域B3等)に対応する検出候補領域A(例えば、検出候補領域A3等)の類似度、即ち、類似度が第2の閾値以上でないと判定された対応領域Bに対応する検出候補領域Aの類似度のデータ履歴を消去する(ステップS6)。
その後、中央制御部11は、被写体検出処理の終了指示が入力されたか否かを判定する(ステップS11)。具体的には、中央制御部11は、例えば、ユーザによる操作入力部10のシャッタボタン10aの所定操作(例えば、全押し操作等)に基づいて被写体の撮像指示が入力されたか否かや、選択決定ボタン10bの所定操作に基づいて被写体検出モードとは異なるモードが設定されたか否か等に応じて、被写体検出処理の終了指示が入力されたか否かを判定する。
ここで、被写体検出処理の終了指示が入力されていないと判定されると(ステップS11;NO)、中央制御部11は、処理をステップS2に移行して、画像取得部5aは、処理対象となる新たな一のフレーム画像Fのライブビュー表示用の画像データをメモリ4から取得する(ステップS2)。その後、中央制御部11は、ステップS3以降の各処理を上記と同様にして実行する。
一方、ステップS11にて、被写体検出処理の終了指示が入力されたと判定されると(ステップS11;YES)、中央制御部11は、被写体検出処理を終了する。
以上のように、本実施形態の撮像装置100によれば、撮像された画像から生成された一のフレーム画像Fnにおける特定の被写体画像(例えば、顔画像)の検出候補領域Aの画像と所定の基準画像との類似度が第1の閾値以上であると判定されると、一のフレーム画像Fnよりも所定フレーム前の他のフレーム画像Fmにおける当該検出候補領域Aに対応する対応領域Bの類似度が第1の閾値よりも大きい第2の閾値以上であるか否かを判定するので、特定の被写体画像である可能性のある検出候補領域Aについて、一のフレーム画像Fnよりも所定フレーム前の他のフレーム画像Fmにて、より厳しい判定値を用いて特定の被写体画像であるか否かを判定することができる。
そして、類似度が第2の閾値以上であると判定された一のフレーム画像Fnにおける対応領域Bに対応する検出候補領域Aを、特定の被写体画像の画像領域Cとして特定するので、特定の被写体の誤検出を低減することができ、当該特定の被写体の検出精度の向上を図ることができる。
また、第2判定部5dは、予め算出されてメモリ4に記憶された他のフレーム画像Fmにおける対応領域Bの画像と所定の基準画像との類似度を取得して、当該類似度が第2の閾値以上であるか否かを判定するので、類似度が第1の閾値以上であると判定された検出候補領域Aに対応する対応領域Bについて所定の基準画像との類似度を改めて算出する必要がなくなって当該被写体検出処理の高速化を図ることができる。
さらに、特定の被写体画像の画像領域Cを識別表示するための識別情報(例えば、検出枠W等)を設定するので、検出された特定の被写体を識別情報によってユーザに容易に認識させることができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、被写体検出処理(図2参照)にて、フレーム画像F内の特定の被写体画像として人の顔画像を検出するようにしたが、一例であってこれに限られるものではなく、特定の被写体画像は適宜任意に変更可能である。
また、上記実施形態にあっては、識別情報設定部6を備え、特定された特定の被写体画像の画像領域Cを識別表示するための識別情報(例えば、検出枠W等)を設定するようにしたが、識別情報設定部6を備えるか否か、即ち、画像領域特定部5fにより特定された特定の被写体画像を識別表示するための識別情報を設定するか否かは適宜任意に変更可能である。
さらに、上記実施形態にあっては、予め算出された他のフレーム画像Fmにおける対応領域Bの画像と所定の基準画像との類似度をメモリ4に記憶しておき、第2判定部5dが、所定の判定タイミングにて、メモリ4から類似度を取得するようにしたが、類似度の判定方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、例えば、所定の判定タイミングにて、他のフレーム画像Fmにおける対応領域Bの画像と所定の基準画像との類似度を新たに算出するようにしても良い。
また、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、被写体検出装置として、撮像装置100を例示したが、これに限られるものではない。即ち、処理対象となるフレーム画像Fとして、撮像画像から生成された画像を例示したが、撮像装置100とは異なる装置から被写体検出装置を構成する場合、所定の取得手段により逐次取得されるフレーム画像であれば良い。
加えて、上記実施形態にあっては、取得手段、第1の判定手段、第2の判定手段、特定手段としての機能を、中央制御部11の制御下にて、画像処理部5の画像取得部5a、第1判定部5c、第2判定部5d、画像領域特定部5fが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部11のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、第1の判定処理ルーチン、第2の判定処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部11のCPUを、フレーム画像Fを逐次取得する取得手段として機能させるようにしても良い。また、第1の判定処理ルーチンにより中央制御部11のCPUを、取得手段により取得された一のフレーム画像Fnにおける特定の被写体画像の候補領域の画像と当該特定の被写体画像の判定基準となる所定の基準画像との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段として機能させるようにしても良い。また、第2の判定処理ルーチンにより中央制御部11のCPUを、第1の判定手段により特定の被写体画像の候補領域の画像の類似度が第1の閾値以上であると判定された場合に、一のフレーム画像Fnよりも所定フレーム前の他のフレーム画像Fmにおける当該特定の被写体画像の候補領域に対応する対応領域Bの画像と所定の基準画像との類似度が、第1の閾値よりも大きい第2の閾値以上であるか否かを判定する第2の判定手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部11のCPUを、第2の判定手段により類似度が第2の閾値以上であると判定された一のフレーム画像Fnにおける対応領域Bに対応する特定の被写体画像の候補領域を、特定の被写体画像の画像領域Cとして特定する特定手段として機能させるようにしても良い。
同様に、設定手段についても、中央制御部11のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
100 撮像装置
4 メモリ
4a 検出結果格納部
5 画像処理部
5a 画像取得部
5b 類似度算出部
5c 第1判定部
5d 第2判定部
5e 閾値設定部
5f 画像領域特定部
6 識別情報設定部
11 中央制御部
上記課題を解決するため、請求項1に記載の発明の被写体検出装置は、
フレーム画像を逐次取得する取得手段と、この取得手段により取得された一のフレーム画像における第1の画像領域と基準画像との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段と、前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第1の閾値と異なる第2の閾値以上であるか否かを判定する第2の判定手段と、この第2の判定手段により類似度が前記第2の閾値以上であると判定されると、前記第1の画像領域を、被写体画像として検出する検出手段と、を備え、前記第1の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第1の画像領域と前記基準画像との類似度が、第1の閾値以上であるか否かを判定し、前記第2の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第2の閾値以上であるか否かを判定し、前記検出手段は、更に、前記第2の判定手段により類似度が前記第2の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域を被写体画像として検出することを特徴としている。
請求項7に記載の発明の被写体検出方法は、
被写体検出装置を用いた被写体検出方法であって、フレーム画像を逐次取得するステップと、取得された一のフレーム画像における第1の画像領域と基準画像との類似度が、第1の閾値以上であるか否かを判定するステップと、前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第1の閾値と異なる第2の閾値以上であるか否かを判定するステップと、前記第2の画像領域の画像と前記基準画像との類似度が前記第2の閾値以上であると判定された前記以前に取得されたフレーム画像の領域に対応する第1の画像領域を、被写体画像として検出するステップと、を含み、前記被写体画像の検出後、更に、新たに取得されたフレーム画像における第1の画像領域と前記基準画像との類似度が、第1の閾値以上であるか否かを判定し、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第2の閾値以上であるか否かを判定し、更に、前記第2の画像領域の画像と前記基準画像との類似度が前記第2の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域を新たな被写体画像として検出することを特徴としている。
請求項8に記載の発明のプログラムは、
コンピュータを、フレーム画像を逐次取得する取得手段、この取得手段により取得された一のフレーム画像における第1の画像領域と基準画像との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段、前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第1の閾値と異なる第2の閾値以上であるか否かを判定する第2の判定手段、この第2の判定手段により類似度が前記第2の閾値以上であると判定されると、前記第1の画像領域を、被写体画像として検出する検出手段、として機能させ、前記第1の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第1の画像領域と前記基準画像との類似度が、第1の閾値以上であるか否かを判定し、前記第2の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第2の閾値以上であるか否かを判定し、前記検出手段は、更に、前記第2の判定手段により前記類似度が前記第2の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域を新たな被写体画像として検出することを特徴としている。

Claims (8)

  1. フレーム画像を逐次取得する取得手段と、
    この取得手段により取得された一のフレーム画像における第1の画像領域と基準画像との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段と、
    前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第1の閾値よりも大きい第2の閾値以上であるか否かを判定する第2の判定手段と、
    この第2の判定手段により類似度が前記第2の閾値以上であると判定されると、前記第1の画像領域を、被写体画像として検出する検出手段と、
    を備え、
    前記第1の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第1の画像領域と前記基準画像との類似度が、第1の閾値以上であるか否かを判定し、
    前記第2の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第2の閾値以上であるか否かを判定し、
    前記検出手段は、更に、前記第2の判定手段により類似度が前記第2の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域を被写体画像として検出する
    ことを特徴とする被写体検出装置。
  2. 前記第2の画像領域と前記基準画像との類似度を記憶する記憶手段と、
    前記記憶手段に記憶された前記類似度を消去する消去手段と、
    を更に備え、
    前記第2の判定手段は、更に、
    前記記憶手段に記憶された前記類似度が第2の閾値以上であるか否かを判定し、
    前記消去手段は、前記類似度が前記第2の閾値未満であると判定されると、前記記憶手段に記憶された前記類似度を消去することを特徴とする請求項1に記載の被写体検出装置。
  3. 前記第2の判定手段は、前記第1の判定手段により前記第1の画像領域と前記基準画像との類似度が第1の閾値以上であると判定された場合に、前記第2の画像領域の画像と前記基準画像との類似度が前記第2の閾値以上であるか否かを判定することを特徴とする請求項1又は2に記載の被写体検出装置。
  4. 前記第1の画像領域は、顔が含まれる画像であることを特徴とする請求項1から3の何れか一項に記載の被写体検出装置。
  5. 前記検出手段により検出された被写体画像を識別表示するための指標を設定する設定手段を更に備えることを特徴とする請求項1から4の何れか一項に記載の被写体検出装置。
  6. 前記フレーム画像は、撮像画像から生成された画像であることを特徴とする請求項1から5の何れか一項に記載の被写体検出装置。
  7. 被写体検出装置を用いた被写体検出方法であって、
    フレーム画像を逐次取得するステップと、
    取得された一のフレーム画像における第1の画像領域と基準画像との類似度が、第1の閾値以上であるか否かを判定するステップと、
    前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第1の閾値よりも大きい第2の閾値以上であるか否かを判定するステップと、
    前記第2の画像領域の画像と前記基準画像との類似度が前記第2の閾値以上であると判定された前記以前に取得されたフレーム画像の領域に対応する第1の画像領域を、被写体画像として検出するステップと、
    を含み、
    前記被写体画像の検出後、更に、新たに取得されたフレーム画像における第1の画像領域と前記基準画像との類似度が、第1の閾値以上であるか否かを判定し、
    更に、前記新たに取得されたフレーム画像より以前に取得され、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第2の閾値以上であるか否かを判定し、
    更に、前記第2の画像領域の画像と前記基準画像との類似度が前記第2の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域を新たな被写体画像として検出する
    ことを特徴とする被写体検出方法。
  8. コンピュータを、
    フレーム画像を逐次取得する取得手段、
    この取得手段により取得された一のフレーム画像における第1の画像領域と基準画像との類似度が、第1の閾値以上であるか否かを判定する第1の判定手段、
    前記一のフレーム画像より以前に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第1の閾値よりも大きい第2の閾値以上であるか否かを判定する第2の判定手段、
    この第2の判定手段により類似度が前記第2の閾値以上であると判定されると、前記第1の画像領域を、被写体画像として検出する検出手段、
    として機能させ、
    前記第1の判定手段は、更に、前記被写体画像の検出後、前記取得手段により新たに取得されたフレーム画像における第1の画像領域と前記基準画像との類似度が、第1の閾値以上であるか否かを判定し、
    前記第2の判定手段は、更に、前記新たに取得されたフレーム画像より以前に取得され
    、前回の判定対象のフレーム画像より後に取得されたフレーム画像における前記第1の画像領域に対応する第2の画像領域の画像と前記基準画像との類似度が、前記第2の閾値以上であるか否かを判定し、
    前記検出手段は、更に、前記第2の判定手段により前記類似度が前記第2の閾値以上であると判定されると、前記新たに取得されたフレーム画像中の前記第1の画像領域を新たな被写体画像として検出する
    ことを特徴とするプログラム。
JP2014057828A 2014-03-20 2014-03-20 被写体検出装置、被写体検出方法及びプログラム Active JP5807695B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014057828A JP5807695B2 (ja) 2014-03-20 2014-03-20 被写体検出装置、被写体検出方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014057828A JP5807695B2 (ja) 2014-03-20 2014-03-20 被写体検出装置、被写体検出方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010260028A Division JP5510287B2 (ja) 2010-11-22 2010-11-22 被写体検出装置、被写体検出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014123991A true JP2014123991A (ja) 2014-07-03
JP5807695B2 JP5807695B2 (ja) 2015-11-10

Family

ID=51404093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014057828A Active JP5807695B2 (ja) 2014-03-20 2014-03-20 被写体検出装置、被写体検出方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5807695B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016120026A (ja) * 2014-12-24 2016-07-07 富士フイルム株式会社 内視鏡システム及びその作動方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252296A (ja) * 2007-03-29 2008-10-16 Kddi Corp 動画像の顔インデックス作成装置およびその顔画像追跡方法
WO2010032298A1 (ja) * 2008-09-17 2010-03-25 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2010146522A (ja) * 2008-12-22 2010-07-01 Nec Software Kyushu Ltd 顔画像追跡装置及び顔画像追跡方法並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252296A (ja) * 2007-03-29 2008-10-16 Kddi Corp 動画像の顔インデックス作成装置およびその顔画像追跡方法
WO2010032298A1 (ja) * 2008-09-17 2010-03-25 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2010146522A (ja) * 2008-12-22 2010-07-01 Nec Software Kyushu Ltd 顔画像追跡装置及び顔画像追跡方法並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016120026A (ja) * 2014-12-24 2016-07-07 富士フイルム株式会社 内視鏡システム及びその作動方法

Also Published As

Publication number Publication date
JP5807695B2 (ja) 2015-11-10

Similar Documents

Publication Publication Date Title
US9092659B2 (en) Subject determination apparatus that determines whether or not subject is specific subject
JP4862930B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5510287B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP5488548B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8441554B2 (en) Image capturing apparatus capable of extracting subject region from captured image
JP5625995B2 (ja) 被写体追跡装置、被写体追跡方法及びプログラム
JP4868046B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2013074461A (ja) 画像処理装置、画像処理方法及びプログラム
JP2011135400A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018093376A (ja) 撮像装置、撮像方法及びプログラム
JP5807695B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP5740934B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP5131399B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017092544A (ja) 出力制御装置、出力制御方法及びプログラム
JP5287965B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6601062B2 (ja) 撮像制御装置、撮像制御方法及びプログラム
JP6668646B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5732773B2 (ja) 画像識別装置、画像識別方法及びプログラム
JP5565227B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012009980A (ja) 画像処理装置、画像処理方法及びプログラム
JP2017130134A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011248156A (ja) 撮像装置、撮像方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150824

R150 Certificate of patent or registration of utility model

Ref document number: 5807695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150