JP2020115679A - 物体検出装置、検出制御方法及びプログラム - Google Patents

物体検出装置、検出制御方法及びプログラム Download PDF

Info

Publication number
JP2020115679A
JP2020115679A JP2020072638A JP2020072638A JP2020115679A JP 2020115679 A JP2020115679 A JP 2020115679A JP 2020072638 A JP2020072638 A JP 2020072638A JP 2020072638 A JP2020072638 A JP 2020072638A JP 2020115679 A JP2020115679 A JP 2020115679A
Authority
JP
Japan
Prior art keywords
detection
image
unit
detected
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020072638A
Other languages
English (en)
Inventor
雄亮 権丈
Yusuke Gonjo
雄亮 権丈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2020072638A priority Critical patent/JP2020115679A/ja
Publication of JP2020115679A publication Critical patent/JP2020115679A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Details Of Cameras Including Film Mechanisms (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮影のために検出する物体の誤検出を低減する。【解決手段】撮像装置100であって、撮像部3により撮像されるフレーム画像内から物体を検出する検出部7cと、第1の手法によりフレーム画像内から物体の検出が可能であるか否かを判定する検出判定部7dと、物体の検出が可能でないと判定された場合に、第1の手法とは異なる第2の手法によりフレーム画像内から物体を検出するように制御する検出制御部7gと、物体が検出されたことを契機として、撮像部3により撮像された撮像画像から記録用の画像を生成させる撮影制御部7hとを備えている。【選択図】図1

Description

本発明は、撮像装置、撮像制御方法及びプログラムに関する。
従来、デジタルカメラ等の撮像装置に設けられる機能として、撮像画像内の指定領域で被写体の動きを検出して自動的にシャッタを切る自動撮影機能(以下、モーションシャッタという)が知られている(例えば、特許文献1参照)。
特開2005−333420号公報
ところで、モーションシャッタは、被写体であるヒトの意図的な動作(例えば、手の動きなど)を指定領域内で検出することにより実現することを想定している。しかしながら、上記特許文献1の場合、指定領域内に、例えば、風で揺れている木の枝が写りこんでいたり、光線が乱反射する水面が写り込んでいたりすると、被写体の意図的な動作との区別が困難となり、誤検出してしまう虞がある。
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、撮影のために検出する物体の誤検出を低減することができる撮像装置、撮像制御方法及びプログラムを提供することである。
上記課題を解決するための本発明の一態様は、撮像装置であって、
撮像手段により撮像される撮像画像内から物体を検出する検出手段と、
前記検出手段によって第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する判定手段と、
前記判定手段により物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から前記検出手段によって物体を検出するように制御する検出制御手段と、
前記検出手段により物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する撮影制御手段と、
を備えたことを特徴としている。
本発明によれば、撮影のために検出する物体の誤検出を低減することができる。
本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図1の撮像装置を模式的に示す斜視図である。 図1の撮像装置による撮影処理に係る動作の一例を示すフローチャートである。 図3の撮影処理を説明するための図である。 図3の撮影処理における第1撮影処理に係る動作の一例を示すフローチャートである。 図5の第1撮影処理を説明するための図である。 図3の撮影処理における第2撮影処理に係る動作の一例を示すフローチャートである。 図7の第2撮影処理を説明するための図である。 図3の撮影処理における第3撮影処理に係る動作の一例を示すフローチャートである。 図9の第3撮影処理を説明するための図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。また、図2(a)は、撮像装置100を模式的に示す斜視図であり、図2(b)は、撮像装置100の表示パネル5aを180°回動させた状態を模式的に示す斜視図である。
図1に示すように、本実施形態の撮像装置100は、具体的には、中央制御部1と、メモリ2と、撮像部3と、画像処理部4と、表示部5と、操作入力部6と、動作処理部7と、画像記録部8とを備えている。
また、中央制御部1、メモリ2、撮像部3、画像処理部4、表示部5、操作入力部6、動作処理部7及び画像記録部8は、バスライン9を介して接続されている。
また、図2(a)及び図2(b)に示すように、撮像装置100は、撮像部3(特に、レンズ部3a;後述)を具備する装置本体部100Aに表示部5の表示パネル5a(後述)が所定の回動機構(例えば、ヒンジ機構等)を介して取りつけられている。
具体的には、表示パネル5aは、光軸X方向に略直交する一の軸(例えば、水平方向の軸等)周りに略180°回動自在に装置本体部100Aに軸支されている。つまり、表示パネル5aを装置本体部100Aに対して相対的に略180°回動させることで、表示パネル5aの表示方向を撮像部3の撮像方向と略等しくするように、すなわち、表示パネル5aをレンズ部3aの露出面と同様に被写体S側に臨むように配置することができるようになっている(図2(b)参照)。そして、表示パネル5aをレンズ部3aの露出面と同じ側とした状態では、ユーザが表示パネル5aに表示されるユーザ自身を含む画像を視認しながら、所謂、自分撮りを行うことができる。
なお、表示パネル5aは、例えば、装置本体部100Aに対して光軸X方向に略直交する垂直方向の軸周りに略180°回動自在に軸支されていても良く、この場合も、表示パネル5aをレンズ部3aの露出面と同じ側とした状態では、所謂、自分撮りを行うことができる。
中央制御部1は、撮像装置100の各部を制御するものである。具体的には、中央制御部1は、図示は省略するが、CPU(Central Processing Unit)等を備え、撮像装置1
00用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
メモリ2は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部1、動作処理部7等によって処理されるデータ等を一時的に格納する。
撮像部3は、被写体Sを任意の撮像フレームレートで撮像してフレーム画像を生成する。具体的には、撮像部3は、レンズ部3aと、電子撮像部3bと、撮像制御部3cとを備えている。
レンズ部3aは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部3bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサ(撮像素子)から構成されている。そして、電子撮像部3bは、レンズ部3aの各種レンズを通過した光学像を二次元の画像信号に変換する。
撮像制御部3cは、撮像部3による被写体Sの撮像を制御する。
すなわち、撮像制御部3cは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部3cは、タイミング発生器、ドライバにより電子撮像部3bを走査駆動して、レンズ部3aを通過した光学像を電子撮像部3bにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部3bの撮像領域から1画面分ずつフレーム画像を読み出して画像処理部4に出力させる。
また、撮像制御部3cは、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体Sを撮像する際の条件の調整制御を行う。
なお、撮像部3は、レンズ部3a、電子撮像部3b及び撮像制御部3cに加えて、レンズ部3aを通過する光の量を調整する絞り、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等(何れも図示略)を備えていても良い。
画像処理部4は、電子撮像部3bから転送されたフレーム画像のアナログ値の信号に対して各種の画像信号処理を施す。具体的には、画像処理部4は、電子撮像部3bから転送されたフレーム画像のアナログ値の信号に対してRGBの色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
また、カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ2にDMA転送される。
表示部5は、表示パネル5aの表示画面に画像を表示する。
すなわち、表示部5は、画像処理部4により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル5aの表示画面に表示する。具体的には、表示部5は、静止画像や動画像の撮影モードにて、撮像部3による被写体Sの撮像により生成された複数のフレーム画像を所定の再生フレームレートで逐次更新しながらライブビュー画像L(図4(a)等参照)を表示パネル5aの表示画面に表示する。
なお、表示パネル5aは、例えば、液晶表示パネルや有機EL(Electro-Luminescence)表示パネル等から構成されているが、一例であってこれらに限られるものではない。
操作入力部6は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部6は、被写体Sの静止画像の撮影指示や動画像の録画開始指示及び録画終了指示に係るシャッタボタン、撮影モードや再生モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部6は、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部6から出力され入力された操作指示に従って所定の動作(例えば、動画像の再生等)を各部に実行させる。
動作処理部7は、状態判定部7aと、フレーム取得部7bと、検出部7cと、検出判定部7dと、領域設定部7eと、画像情報取得部7fと、検出制御部7gと、撮影制御部7hとを具備している。
なお、動作処理部7の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
状態判定部7aは、撮像装置100の状態を判定する。
すなわち、状態判定部7aは、撮像部3により撮像されて表示部5に表示される被写体Sの画像を当該被写体S自身に視認させることが可能な所定の状態(所謂、自分撮りの状態)であるか否かを判定する。
具体的には、状態判定部7aは、撮像部3による被写体Sの撮像の際に、撮像部3の撮像方向(レンズ部3aの露出方向)と表示パネル5aの表示方向が略等しくなっている状態であるか否かを判定する。例えば、状態判定部7aは、装置本体部100Aに対して表示パネル5aが略180°回動したことを機械的に検出するスイッチ(図示略)の検出信号や、表示パネル5aの重力方向に対する傾きを検出するセンサ(例えば、加速度センサ等;図示略)の検出信号の入力に基づいて、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっているか否かを判定する。
そして、状態判定部7aは、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっていると判定した場合に(図2(b)参照)、撮像部3により撮像されて表示部5に表示される被写体Sの画像を当該被写体S自身に視認させることが可能な所定の状態であると特定する。
フレーム取得部7bは、撮像部3により順次撮像された複数のフレーム画像(撮像画像)を取得する。
具体的には、例えば、撮像部3は、所謂、自分撮りの状態の被写体Sを所定の撮像フレームレートで連続して撮像し、画像処理部4は、複数のフレーム画像のYUVデータを生成しメモリ2に転送する。フレーム取得部7bは、メモリ2に格納されている複数のフレーム画像を読み出して取得する。
ここで、所謂、自分撮りの状態での撮影の際に、表示部5は、例えば、被写体Sの特定の部位である物体O(例えば、手のひら等)の検出領域(例えば、第1検出領域A1等)を表す指標をライブビュー画像Lに重畳させてOSD(on-screen display)表示させて
も良い(図4(a)参照)。
なお、フレーム取得部7bは、複数のフレーム画像を必要に応じて所定の比率で縮小した所定サイズ(例えば、VGAサイズ等)のフレーム画像を取得しても良い。
検出部(検出手段)7cは、撮像部3により撮像されるフレーム画像内から、検出対象となる物体O(例えば、手のひら等の被写体Sの特定の部位)を検出するモーション検出を行う。
すなわち、検出部7cは、検出制御部7gの制御によって、撮像部3により撮像されるフレーム画像内の第1の検出領域A1(図6(a)参照)や第2の検出領域A2(図8(a)参照)から物体Oを検出する。具体的には、検出部7cは、例えば、撮像部3により順次撮像され、フレーム取得部7bにより取得された複数のフレーム画像間の相対的な画像情報に基づき、物体Oの状態の変化を検出する(第1の検出方法;詳細後述)。例えば、検出部7cは、フレーム取得部7bにより取得された隣合うフレーム画像の第1の検出領域A1や第2の検出領域A2の画素値(例えば、輝度値)の差分情報(例えば、差分値や差分二乗和等)を算出し、予め設定されている閾値と比較して、閾値よりも大きくなった場合に物体Oの状態の変化を検出する。
なお、上記した物体Oの検出は、フレーム取得部7bにより連続して取得された複数のフレーム画像に対して行われても良いし、所定の比率で間引かれたフレーム画像に対して行われても良い。
また、上記閾値の設定方法としては、例えば、フレーム取得部7bにより取得された所定数(例えば、n個)分のフレーム画像について、隣合うフレーム画像との第1の検出領域A1や第2の検出領域A2の画素値(例えば、輝度値)の差分情報を算出し、算出された複数(例えば、n−1個)の差分情報の代表値(例えば、平均値、中央値等)を演算して、閾値として設定する方法が挙げられる。
また、検出部7cは、検出制御部7gの制御によって、撮像部3により撮像されるフレーム画像内の第1の検出領域A1から、物体Oに係る絶対的な画像情報に基づき物体Oを検出する。
具体的には、例えば、撮像部3により撮像されるフレーム画像内に第2の検出領域A2が存在しない場合に、検出部7cは、後述する画像情報取得部7fによりフレーム画像内の画像情報取得領域A0(図10(a)参照)から取得された物体Oの色に係る画像情報に基づき、第1の検出領域A1から物体Oを検出する(第2の検出方法;詳細後述)。
検出判定部(判定手段)7dは、検出部7cによって第1の手法により物体Oの検出が可能であるか否かを判定する。
すなわち、検出判定部7dは、第1の手法として、撮像部3により撮像されるフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能であるか否かを判定する。
ここで、第1の検出方法は、上記した検出部7cによって行われる検出方法であり、撮像部3により順次撮像され、フレーム取得部7bにより取得された複数のフレーム画像間の相対的な画像情報に基づき、物体Oの状態の変化を検出する方法である。
領域設定部7eは、撮像部3により撮像されるフレーム画像内に、検出判定部7dによって第1の検出方法により物体Oの検出が可能であると判定される第2の検出領域A2を設定する。
すなわち、領域設定部7eは、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定された場合に、フレーム画像内に第1の検出領域A1とは異なる領域であって、第1の検出方法により物体Oを検出することが可能である第2の検出領域A2を設定する。
具体的には、領域設定部7eは、フレーム取得部7bにより取得された所定数(例えば、n個;nは自然数)分のフレーム画像について、隣合うフレーム画像との間で各画素の画素値(例えば、輝度値)の差分情報(例えば、差分値等)を算出する。そして、領域設定部7eは、算出された複数(例えば、n−1個)の差分情報が所定の許容範囲内である領域を特定し、特定された領域内で物体Oの検出を可能な程度の面積を有する領域(例えば、第1の検出領域A1と略等しい面積の領域等)があるか否かを判定する。
領域設定部7eは、物体Oの検出を可能な程度の面積を有する領域があると判定された場合に、第1の検出領域A1から最も近い位置に存在する領域を第2の検出領域A2として設定する。
画像情報取得部7fは、フレーム画像内の画像情報取得領域A0から物体Oに係る絶対的な画像情報を取得する。
すなわち、画像情報取得部(取得手段)7fは、撮像部3により撮像されるフレーム画像内における画像情報取得領域(所定の領域)A0から色に係る画像情報(例えば、RGBデータ等)を絶対的な画像情報として取得する。具体的には、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定され、且つ、検出判定部7dによって第1の検出方法により物体Oを検出することが可能である第2の検出領域A2が存在しないと判定された場合に、画像情報取得部7fは、フレーム画像内の所定位置(例えば、中央等)に物体Oの色情報を取得するための画像情報取得領域A0を設定する。このとき、表示部5は、例えば、画像情報取得領域A0を表す指標とともに、「背景に動きがあって誤検出する恐れがあるため、検出する手をかざしてください」等の案内表示をライブビュー画像Lに重畳させてOSD表示させても良い。
そして、画像情報取得部7fは、例えば、画像情報取得領域A0が設定されてから、或いは、指標や案内表示がOSD表示されてから所定時間(例えば、2秒等)後に、撮像部3によりされたフレーム画像内の画像情報取得領域A0から物体Oの色情報を取得する。その後、表示部5は、例えば、「物体の色を取得しました」等の確認表示をライブビュー画像Lに重畳させてOSD表示させても良い。
なお、上記した画像情報の取得方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、絶対的な画像情報として、物体Oの色情報を例示したが、一例であってこれに限られるものではなく、例えば、物体Oの彩度に係る画像情報など適宜任意に変更可能である。
検出制御部7gは、検出部7cによってフレーム画像(撮像画像)内から第1の手法や第2の手法により物体O(例えば、手のひら等)を検出するように制御する。
すなわち、検出制御部7gは、第1の手法として、撮像部3により撮像されるフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oを検出するように制御する。
また、検出制御部7gは、検出判定部7dによって第1の手法により物体Oの検出が可能でないと判定された場合に、第1の手法とは異なる第2の手法によりフレーム画像内から検出部7cによって物体Oを検出するように制御する。具体的には、検出制御部7gは、第2の手法として、フレーム画像内における検出判定部7dによって第1の検出方法により物体Oの検出が可能であると判定される第2の検出領域A2から第1の検出方法により物体Oを検出するように制御する。例えば、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定された場合に、検出制御部7gは、フレーム画像内にて領域設定部7eにより設定された第2の検出領域A2から第1の検出方法により物体Oを検出するように制御する。
ここで、第1の検出方法について、第1の検出領域A1で物体O(例えば、被写体Sの手のひら等)を検出する場合を例示して説明する。
例えば、フレーム画像内の向かって右上の位置に第1の検出領域A1が設定されている場合(図6(a)参照)、ユーザである被写体Sは、この第1の検出領域A1の略下側から第1の検出領域A1の略中央に向かって手のひらを移動させるようにして第1の検出領域A1内に配置させる。このとき、検出制御部7gは、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、これら複数のフレーム画像間における画素値の変化の方向を検出する。つまり、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定していき、特定された画素から画素値の変化の方向を検出する。そして、検出制御部7gは、画素値の変化の方向に規則性(例えば、略下側から一直線方向等)があるか否かを判定する。
また、第1の検出領域A1内の所定位置(例えば、略中央等)に手のひらを配置させた状態(図6(b)参照)では、画素値が変化しないことから、検出制御部7gは、複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、画素値の変化が停止したか否かを判定する。ここで、検出制御部7gにより画素値の変化の方向に規則性があると判定された後、画素値の変化が停止したと判定された場合には、表示部(報知手段)5は、例えば、「準備OK」等の物体Oの検出の待機状態である旨を表す案内表示Gをライブビュー画像Lに重畳させてOSD表示させても良い(図6(b)参照)。
その後、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定していき、特定された画素から画素値の変化の方向を検出する。そして、検出制御部7gは、画素値の変化の方向が停止前の方向と逆方向(例えば、略中央から略下側等)であるか否かを判定する。ここでの方向の判定は、物体Oの進入動作の軌跡と離脱動作の軌跡とのなす角度が所定の角度範囲内であれば、画素値の変化の方向が停止前の方向と逆方向であると判定するようにしても良い。
そして、検出制御部7gは、画素値の変化の方向に規則性があること、画素値の変化が停止したこと、その後、画素値の変化の方向が停止前の方向と逆方向であることを順に検出した場合に、検出部7cは、被写体Sの手のひら(物体O)を検出したものとみなす。
なお、第2の検出領域A2で物体Oを検出する場合、当該第2の検出領域A2の位置に応じて手のひらを移動させる方向が異なるものの、検出の手法は上記と略同様であり、詳細な説明は省略する。
また、第1の検出領域A1や第2の検出領域A2に対する物体Oの進入動作や離脱動作として、一直線に沿うように動かす動作を例示したが、一例であってこれに限られるものではなく、例えば、所定の曲率の曲線に沿うように動かす動作であっても良いし、ジグザグ形状や波型形状等の繰り返し動作であっても良いし、ランダムな動作であっても良い。すなわち、物体Oの検出に際して、第1の検出領域A1や第2の検出領域A2に対する物体Oの進入動作の方向は予め設定しておく必要がなく、物体Oの進入動作の方向と物体Oの離脱動作の方向とが逆方向となっていれば、物体Oの検出を行うことができる。
また、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定され、且つ、第1の検出方法により物体Oを検出することが可能である第2の検出領域A2が存在しない場合に、検出制御部7gは、第1の検出方法とは異なる第2の検出方法により第1の検出領域A1から物体Oを検出するように制御する。具体的には、検出制御部7gは、撮像部3により撮像されるフレーム画像内の第1の検出領域A1から、物体Oに係る絶対的な画像情報に基づき物体Oを検出する第2の検出方法により当該物体Oを検出するように検出部7cを制御する。
例えば、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定され、且つ、領域設定部7eによって第1の検出方法により物体Oを検出することが可能である第2の検出領域A2が設定されずに、フレーム画像内に第2の検出領域A2が存在しないことが特定されたことを契機として、検出制御部7gは、画像情報取得部7fにフレーム画像内の所定位置(例えば、略中央等)に物体Oの色情報を取得するための画像情報取得領域A0を設定させる。そして、検出制御部7gは、画像情報取得部7fに画像情報取得領域A0から物体Oの色情報を取得させ、画像情報取得領域A0から取得された物体Oの色に係る画像情報に基づき第1の検出領域A1から物体Oを検出する第2の検出方法により当該物体Oを検出するように検出部7cを制御する。
ここで、第2の検出方法について、第1の検出領域A1で物体Oを検出する場合を例示して説明する。
例えば、フレーム画像内の向かって右上の位置に第1の検出領域A1が設定されている場合(図10(b)参照)、ユーザである被写体Sは、この第1の検出領域A1の内側に手のひらを移動させるようにして第1の検出領域A1内に配置させる。このとき、検出制御部7gは、先ず、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、画素値の変化が停止したか否かを判定する。つまり、手のひらを移動させている状態では、第1の検出領域A1を構成する複数の画素の相対的な画素値は変化した状態となり、手のひらの移動を停止させることで、画素値の変化が停止する。
ここで、画素値の変化が停止したと判定されると、検出制御部7gは、フレーム画像内の第1の検出領域A1を構成する複数の画素の色情報を取得して、画像情報取得領域A0から取得された物体Oの色情報と比較する。そして、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、色情報どうしの差が所定の許容範囲内である画素の数を算出する。さらに、検出制御部7gは、算出された画素の数の第1の検出領域A1を構成する複数の画素の全数に対する比率を算出して、算出された比率が所定値以上と判定した場合に、物体O(例えば、被写体Sの手のひら等)を検出したものとみなす。このとき、表示部5は、例えば、「準備OK」等の撮影の待機状態である旨を表す案内表示をライブビュー画像Lに重畳させてOSD表示させても良い。
その後、ユーザである被写体Sは、第1の検出領域A1の外側に手のひらを移動させるようにして第1の検出領域A1内から離脱させる。このとき、上記と同様に、検出制御部7gは、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、画素値の変化が生じたか否かを判定する。つまり、手のひらを移動させている状態では、第1の検出領域A1を構成する複数の画素の相対的な画素値は変化した状態となる。
撮影制御部7hは、被写体Sの撮影処理の実行を制御する。
すなわち、撮影制御部(撮影制御手段)7hは、検出部7cにより物体Oが検出されたことを契機として、撮像部3に記録用の画像を撮像させる。具体的には、撮影制御部7hは、例えば、検出部7cにより第1の検出領域A1や第2の検出領域A2から物体Oが検出されると、所定時間経過後に被写体Sを自動的に撮影するタイマーを設定する。そして、撮影制御部7hは、タイマーで設定された所定時間が経過した際に、撮像部3により被写体Sを撮像させ、画像処理部4により記録用の画像を生成させる。
生成された記録用の画像の画像データは、画像記録部8に転送されて記録される。
画像記録部8は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、画像処理部4の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式、MPEG形式等)で符号化された静止画像や動画像の記録用の画像データを記録する。
また、画像記録部8は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
<撮影処理>
次に、撮像装置100による撮影処理について、図3〜図10を参照して説明する。
図3は、撮影処理に係る動作の一例を示すフローチャートである。また、図4(a)〜図4(c)は、撮影処理を説明するための図である。
なお、以下の説明では、モーション検出するための第1の検出領域A1は、フレーム画像内の所定位置(例えば、右上等)に予め設定されているものとする。
図3に示すように、先ず、状態判定部7aは、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっている状態であるか否かを判定する。(ステップS1)。すなわち、状態判定部7aは、装置本体部100Aに対して表示パネル5aが略180°回動した状態とされているか否かを判定する。
ステップS1にて、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっている状態であると判定されると(ステップS1;YES)、表示部5は、撮像部3により撮像され、画像処理部4により生成された複数のフレーム画像を所定の再生フレームレートで逐次更新しながらライブビュー画像Lを表示パネル5aに表示させる(ステップS2)。
次に、中央制御部1のCPUは、ユーザにより操作入力部6のシャッタボタンが全押し操作されたか否かを判定する(ステップS3)。
ここで、シャッタボタンが全押し操作されていないと判定されると(ステップS3;NO)、中央制御部1のCPUは、シャッタボタンが全押し操作されたか否かを判定する処理を所定の時間間隔で繰り返し実行する。
ステップS3にて、シャッタボタンが全押し操作されたと判定されると(ステップS3;YES)、検出制御部7gは、検出部7cによるモーション検出を開始させる(ステップS4)。
そして、検出判定部7dは、撮像部3により順次撮像され、フレーム取得部7bにより取得された複数のフレーム画像間の相対的な画像情報に基づき、物体Oの状態の変化を検出する第1の検出方法により、フレーム画像内の第1の検出領域A1から物体Oの検出が可能であるか否かを判定する(ステップS5)。すなわち、例えば、被写体Sの背景内における第1の検出領域A1にて当該被写体S以外の異物体が動いていない状態では(図4(a)参照)、第1の検出領域A1から物体Oの検出が可能となり、一方、第1の検出領域A1にて当該被写体S以外の異物体が動いている状態では(図4(b)及び図4(c)参照)、第1の検出領域A1から物体Oの検出が不可能となる。
ステップS5にて、第1の検出方法により、フレーム画像内の第1の検出領域A1から物体Oの検出が可能であると判定されると(ステップS5;YES)、動作処理部7は、第1の検出方法により、フレーム画像内の第1の検出領域A1から物体Oを検出した場合に、自動的に撮影を行う第1撮影処理(後述;図5参照)を実行させる(ステップS6)。
その後、中央制御部1のCPUは、ユーザによる操作入力部6の所定操作に基づいて、モーション検出の終了指示が入力されたか否かを判定する(ステップS7)。
ステップS7にて、モーション検出の終了指示が入力されていないと判定されると(ステップS7;NO)、動作処理部7は、処理をステップS5に戻し、それ以降の各処理を実行する。
一方、ステップS5にて、第1の検出方法により、フレーム画像内の第1の検出領域A1から物体Oの検出が可能でないと判定されると(ステップS5;NO)、領域設定部7eは、フレーム画像内に第1の検出領域A1とは異なる領域であって、第1の検出方法により物体Oを検出することが可能である第2の検出領域A2を設定可能であるか否かを判定する(ステップS8)。具体的には、領域設定部7eは、例えば、フレーム取得部7bにより取得された所定数分のフレーム画像について、隣合うフレーム画像との間で各画素の画素値の差分情報を算出する。そして、領域設定部7eは、算出された複数の差分情報が所定の許容範囲内である領域を特定し、特定された領域内で物体Oの検出を可能な程度の面積を有する領域があるか否かを判定する。
すなわち、例えば、被写体Sの背景内における第1の検出領域A1以外の一部の領域にて当該被写体S以外の異物体が動いていない状態では(図4(b)参照)、物体Oの検出に係る第2の検出領域A2を設定可能となり、一方、被写体Sの背景内における第1の検出領域A1以外の略全ての領域にて当該被写体S以外の異物体が動いている状態では(図4(c)参照)、第2の検出領域A2を設定不可能となる。
ステップS8にて、第2の検出領域A2を設定可能であると判定されると(ステップS8;YES)、動作処理部7は、第1の検出方法により、フレーム画像内の第2の検出領域A2から物体Oを検出した場合に、自動的に撮影を行う第2撮影処理(後述;図7参照)を実行させる(ステップS9)。
その後、中央制御部1のCPUは、処理をステップS7に移行し、モーション検出の終了指示が入力されたか否かを判定する(ステップS7)。
一方、ステップS8にて、第2の検出領域A2を設定可能でないと判定されると(ステップS8;NO)、動作処理部7は、第2の検出方法により、フレーム画像内の第1の検出領域A1から物体Oを検出した場合に、自動的に撮影を行う第3撮影処理(後述;図9参照)を実行させる(ステップS10)。
その後、中央制御部1のCPUは、処理をステップS7に移行し、モーション検出の終了指示が入力されたか否かを判定する(ステップS7)。
ステップS7にて、モーション検出の終了指示が入力されたと判定されると(ステップS7;YES)、中央制御部1のCPUは、ユーザによる操作入力部6の所定操作に基づいて、撮影処理の終了指示が入力されたか否かを判定する(ステップS11)。
ステップS11にて、撮影処理の終了指示が入力されていないと判定されると(ステップS11;NO)、中央制御部1のCPUは、処理をステップS1に戻し、状態判定部7aは、上記と同様に、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっている状態であるか否かを判定する。
ステップS11にて、撮影処理の終了指示が入力されたと判定されると(ステップS11;YES)、中央制御部1のCPUは、当該撮影処理を終了させる。
一方、ステップS1にて、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっている状態でないと判定された場合(ステップS1;NO)には、ユーザが表示部5に表示されているライブビュー画像Lを見ながら操作入力部6のシャッタボタンを操作する通常の撮影処理を行う(ステップS12)。
<第1撮影処理>
以下に、第1撮影処理について、図5及び図6を参照して説明する。
図5は、第1撮影処理に係る動作の一例を示すフローチャートである。また、図6(a)〜図6(c)は、第1撮影処理を説明するための図である。
図5に示すように、検出制御部7gは、先ず、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、当該第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定する(ステップS21)。続けて、検出制御部7gは、特定された画素から画素値の変化の方向を検出し、画素値の変化の方向に規則性があるか否かを判定する(ステップS22)。
すなわち、ユーザである被写体Sが第1の検出領域A1内に手のひらを配置させる場合(図6(a)参照)には、手のひらの移動方向は第1の検出領域A1の略下側から第1の検出領域A1の略中央に向けて直線状となり、第1の検出領域A1を構成する複数の画素の画素値も略下側から略中央に向けて順次変化していく。つまり、画素値の変化の方向が一直線に沿った規則性を有するものとなる。
ステップS22にて、画素値の変化の方向に規則性がないと判定されると(ステップS22;NO)、検出制御部7gは、処理をステップS21に戻し、それ以降の各処理を実行する。
一方、ステップS22にて、画素値の変化の方向に規則性があると判定されると(ステップS22;YES)、検出制御部7gは、第1の検出領域A1を構成する複数の画素の画素値の変化が停止したか否かを判定する(ステップS23)。
すなわち、第1の検出領域A1内の所定位置(例えば、略中央等)に手のひらを配置させた状態(図6(b)参照)では、画素値の変化が停止する。
ステップS23にて、第1の検出領域A1を構成する複数の画素の画素値の変化が停止していないと判定されると(ステップS23;NO)、検出制御部7gは、画素値の変化が停止したか否かを判定する処理を所定の時間間隔で繰り返し実行する。
一方、ステップS23にて、第1の検出領域A1を構成する複数の画素の画素値の変化が停止したと判定されると(ステップS23;YES)、表示部5は、例えば、「準備OK」等の物体Oの検出の待機状態である旨を表す案内表示Gをライブビュー画像Lに重畳させてOSD表示させる(ステップS24;図6(b)参照)。
次に、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定する(ステップS25)。続けて、検出制御部7gは、特定された画素から画素値の変化の方向を検出し、画素値の変化の方向が停止前と逆方向(例えば、略中央から略下側等)であるか否かを判定する(ステップS26)。
ここで、画素値の変化の方向が停止前と逆方向でないと判定されると(ステップS26;NO)、検出制御部7gは、処理をステップS21に戻し、それ以降の各処理を実行する。すなわち、第1撮影処理を最初からやり直すこととなるため、この場合、表示部5は、物体Oの検出の待機状態である旨を表す案内表示Gを停止させる。
一方、ステップS26にて、画素値の変化の方向が停止前と逆方向であると判定されると(ステップS26;YES)、検出部7cは、被写体Sの手のひら(物体O)を検出したものとみなし、撮影制御部7hは、被写体Sの撮影処理の実行を制御する(ステップS27)。具体的には、例えば、撮影制御部7hは、所定時間経過後に被写体Sを自動的に撮影するタイマーを設定し、タイマーで設定された所定時間が経過した際に、撮像部3により被写体Sを撮像させ、画像処理部4により記録用の画像を生成させる。
その後、画像記録部8は、画像処理部4から転送された記録用の画像の画像データを記録して(ステップS28)、当該第1撮影処理を終了する。
<第2撮影処理>
以下に、第2撮影処理について、図7及び図8を参照して説明する。
図7は、第2撮影処理に係る動作の一例を示すフローチャートである。また、図8(a)及び図8(b)は、第2撮影処理を説明するための図である。
図7に示すように、領域設定部7eは、フレーム画像内に第2の検出領域A2を設定する(ステップS31)。具体的には、領域設定部7eは、フレーム取得部7bにより取得された複数のフレーム画像について、隣合うフレーム画像との間での各画素の画素値の差分情報が所定の許容範囲内である領域の中で、物体Oの検出を可能な程度の面積を有し、第1の検出領域A1から最も近い位置(例えば、向かって右側の木の根元等)に存在する領域を第2の検出領域A2として設定する(図8(a)参照)。この場合、被写体Sの顔領域を避けることが望ましい。
次に、検出制御部7gは、第2の検出領域A2について、上記した第1撮影処理と略同様の処理を行う。すなわち、検出制御部7gは、フレーム取得部7bにより取得された複数のフレーム画像間の第2の検出領域A2を構成する複数の画素の相対的な画素値に基づいて、当該第2の検出領域A2を構成する複数の画素の中で、画素値が変化する画素を特定する(ステップS32)。続けて、検出制御部7gは、特定された画素から画素値の変化の方向を検出し、画素値の変化の方向に規則性があるか否かを判定する(ステップS33)。
すなわち、ユーザである被写体Sが第2の検出領域A2内に手のひらを配置させる場合(図8(b)参照)には、手のひらの移動方向は第2の検出領域A2の略下側から第2の検出領域A2の略中央に向けて直線状となり、第2の検出領域A2を構成する複数の画素の画素値も略下側から略中央に向けて順次変化していく。つまり、画素値の変化の方向が一直線に沿った規則性を有するものとなる。
ステップS33にて、画素値の変化の方向に規則性がないと判定されると(ステップS33;NO)、検出制御部7gは、処理をステップS32に戻し、それ以降の各処理を実行する。
一方、ステップS33にて、画素値の変化の方向に規則性があると判定されると(ステップS33;YES)、検出制御部7gは、第2の検出領域A2を構成する複数の画素の画素値の変化が停止したか否かを判定する(ステップS34)。
すなわち、第2の検出領域A2内の所定位置(例えば、略中央等)に手のひらを配置させた状態では、画素値の変化が停止する。
ステップS34にて、第2の検出領域A2を構成する複数の画素の画素値の変化が停止していないと判定されると(ステップS34;NO)、検出制御部7gは、画素値の変化が停止したか否かを判定する処理を所定の時間間隔で繰り返し実行する。
一方、ステップS34にて、第2の検出領域A2を構成する複数の画素の画素値の変化が停止したと判定されると(ステップS34;YES)、表示部5は、例えば、「準備OK」等の物体Oの検出の待機状態である旨を表す案内表示をライブビュー画像Lに重畳させてOSD表示させる(ステップS35)。
次に、検出制御部7gは、第2の検出領域A2を構成する複数の画素の中で、画素値が変化する画素を特定する(ステップS36)。続けて、検出制御部7gは、特定された画素から画素値の変化の方向を検出し、画素値の変化の方向が停止前と逆方向(例えば、略中央から略下側等)であるか否かを判定する(ステップS37)。
ここで、画素値の変化の方向が停止前と逆方向でないと判定されると(ステップS37;NO)、検出制御部7gは、処理をステップS32に戻し、それ以降の各処理を実行する。すなわち、第2撮影処理を最初からやり直すこととなるため、この場合、表示部5は、物体Oの検出の待機状態である旨を表す案内表示を停止させる。
一方、ステップS37にて、画素値の変化の方向が停止前と逆方向であると判定されると(ステップS37;YES)、検出部7cは、被写体Sの手のひら(物体O)を検出したものとみなし、撮影制御部7hは、被写体Sの撮影処理の実行を制御する(ステップS38)。具体的には、例えば、撮影制御部7hは、所定時間経過後に被写体Sを自動的に撮影するタイマーを設定し、タイマーで設定された所定時間が経過した際に、撮像部3により被写体Sを撮像させ、画像処理部4により記録用の画像を生成させる。
その後、画像記録部8は、画像処理部4から転送された記録用の画像の画像データを記録して(ステップS39)、当該第2撮影処理を終了する。
<第3撮影処理>
以下に、第3撮影処理について、図9及び図10を参照して説明する。
図9は、第3撮影処理に係る動作の一例を示すフローチャートである。また、図10(a)〜図10(c)は、第3撮影処理を説明するための図である。
図9に示すように、画像情報取得部7fは、先ず、フレーム画像内の所定位置(例えば、中央下側等)に物体O(例えば、手のひら)の色情報を取得するための画像情報取得領域A0を設定する(ステップS41;図10(a)参照)。その後、ユーザが画像情報取得領域A0内に手のひらを配置して、画像情報取得部7fは、例えば、画像情報取得領域A0が設定されてから所定時間(例えば、2秒等)後に、撮像部3によりされたフレーム画像内の画像情報取得領域A0から物体Oの色情報を取得する(ステップS42;図10(b)参照)。
次に、検出制御部7gは、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定していき(ステップS43)、画素値の変化が停止したか否かを判定する(ステップS44)。
すなわち、ユーザである被写体Sが第1の検出領域A1内に手のひらを配置させると、第1の検出領域A1を構成する複数の画素の相対的な画素値は変化した状態となり、手のひらの移動を停止させることで、画素値の変化が停止する(図10(c)参照)。
ステップS44にて、第1の検出領域A1を構成する複数の画素の画素値の変化が停止していないと判定されると(ステップS44;NO)、検出制御部7gは、画素値の変化が停止したか否かを判定する処理を所定の時間間隔で繰り返し実行する。
一方、ステップS44にて、第1の検出領域A1を構成する複数の画素の画素値の変化が停止したと判定されると(ステップS44;YES)、検出制御部7gは、フレーム画像内の第1の検出領域A1を構成する複数の画素の色情報を取得して、画像情報取得領域A0から取得された物体Oの色情報と比較する(ステップS45)。そして、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、色情報どうしの差が所定の許容範囲内である画素の数を算出し、算出された画素の数の第1の検出領域A1を構成する複数の画素の全数に対する比率が所定値以上であるか否かを判定する(ステップS46)。
ステップS46にて、比率が所定値以上でないと判定されると(ステップS46;NO)、検出制御部7gは、処理をステップS43に戻し、それ以降の各処理を実行する。
一方、ステップS46にて、比率が所定値以上であると判定されると(ステップS46;YES)、物体O(例えば、被写体Sの手のひら等)を検出したものとみなし、表示部5は、例えば、「準備OK」等の撮影の待機状態である旨を表す案内表示をライブビュー画像Lに重畳させてOSD表示させる(ステップS47)。
次に、検出制御部7gは、フレーム画像内の第1の検出領域A1を構成する複数の画素の中で、色情報どうしの差が所定の許容範囲内である画素の数を算出し(ステップS48)、算出された画素の数の第1の検出領域A1を構成する複数の画素の全数に対する比率が所定値未満であるか否かを判定する(ステップS49)。
すなわち、ユーザである被写体Sは、第1の検出領域A1の外側に手のひらを移動させるようにして第1の検出領域A1内から離脱させることで、比率が所定値未満となる。
ステップS49にて、第1の検出領域A1を構成する複数の画素の全数に対する比率が所定値未満でないと判定されると(ステップS49;NO)、検出制御部7gは、比率が所定値未満となったか否かを判定する処理を所定の時間間隔で繰り返し実行する。
一方、ステップS49にて、第1の検出領域A1を構成する複数の画素の全数に対する比率が所定値未満であると判定されると(ステップS49;YES)、撮影制御部7hは、被写体Sの撮影処理の実行を制御する(ステップS50)。具体的には、例えば、撮影制御部7hは、所定時間経過後に被写体Sを自動的に撮影するタイマーを設定し、タイマーで設定された所定時間が経過した際に、撮像部3により被写体Sを撮像させ、画像処理部4により記録用の画像を生成させる。
その後、画像記録部8は、画像処理部4から転送された記録用の画像の画像データを記録して(ステップS51)、当該第3撮影処理を終了する。
以上のように、本実施形態の撮像装置100によれば、第1の手法によりフレーム画像内から物体O(例えば、手のひら等)の検出が可能であるか否かを判定し、物体Oの検出が可能でないと判定された場合に、第1の手法とは異なる第2の手法によりフレーム画像内から物体Oを検出するように制御するので、フレーム画像内から物体Oを検出する際に、物体Oを検出する手法の異なる二つの手法を切替えて物体Oの検出を行うことができ、撮影のために検出する物体Oの誤検出を低減することができる。すなわち、例えば、被写体Sの背景等の撮影状況に応じて、物体Oの検出領域を切り替えたり、物体Oの検出方法を切り替えたりすることができ、これにより、フレーム画像内からの物体Oの検出を適正に行うことができる。
また、フレーム画像内から物体Oが検出されたことを契機として、被写体Sの自動撮影を行って記録用の画像を生成することができる。
特に、フレーム画像内における第1の検出領域A1から第1の検出方法により物体Oを検出する手法と、フレーム画像内における第1の検出領域A1とは異なり、且つ、第1の検出方法により物体Oの検出が可能であると判定される第2の検出領域A2から当該第1の検出方法により物体Oを検出する手法とを切替えて物体Oの検出を行うことができる。すなわち、被写体Sの背景内における第1の検出領域A1にて、例えば、風で揺れている木の枝等の被写体S以外の異物体が動いている状態では、第1の検出領域A1を利用した物体Oの検出が困難となるため、この場合には、物体Oの検出領域を第1の検出領域A1とは異なる第2の検出領域A2とすることで、物体Oの誤検出を低減することができる。
また、第1の検出方法として、撮像部3により順次撮像される複数のフレーム画像間の相対的な画像情報(例えば、画素値の差分情報等)に基づき、物体Oの状態の変化を検出する方法を用いることで、例えば、物体Oの色情報等の絶対的な画像情報を用いて当該物体Oの検出を行う方法に比べて処理を軽減することができ、物体Oの検出に際して省電力化を図ることができる。
また、第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定され、且つ、フレーム画像内で第1の検出方法により物体Oを検出することが可能である第2の検出領域A2が存在しない場合には、第1の検出方法とは異なる第2の検出方法に切り替えて第1の検出領域A1から物体Oの検出を行うことができる。すなわち、被写体Sの背景内における第1の検出領域A1以外の略全ての領域にて、例えば、光線が乱反射する水面等の当該被写体S以外の異物体が動いている状態では、フレーム画像内に第2の検出領域A2を設定不可能となるため、この場合には、物体Oの検出方法を第1の検出方法とは異なる第2の検出方法とすることで、物体Oの誤検出を低減することができる。
また、第2の検出方法として、物体Oに係る絶対的な画像情報(例えば、物体Oの色情報等)に基づき第1の検出領域A1から物体Oを検出する方法を用いることで、例えば、複数のフレーム画像間の相対的な画像情報に基づいて物体Oの状態の変化を検出することができない状況であっても、フレーム画像内からの物体Oの検出を適正に行うことができる。
また、撮像部3により順次撮像される複数のフレーム画像間の相対的な画像情報(例えば、画素値の差分情報等)に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したこと、複数のフレーム画像間における画像情報の変化の方向が停止前の方向と逆方向であることをこの順に検出した場合に、物体Oを検出したものとみなすようにすることで、第1の検出領域A1や第2の検出領域A2に対しての物体Oの進入動作、停止動作、離脱動作を利用して物体Oの検出を適正に行うことができる。すなわち、第1の検出領域A1や第2の検出領域A2に対しての物体Oの進入動作と離脱動作とが略等しい経路をたどる往復動作となることを条件とすることで、単純な動作態様を利用しつつ物体Oの誤検出を低減することができる。
このとき、複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したことが順に検出されたことを契機として、物体Oの検出の待機状態である旨を報知することで、ユーザの利便性を向上させることができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定された場合に、第2の検出領域A2を設定可能か否かを判定することなく、物体Oに係る絶対的な画像情報(例えば、物体Oの色情報等)に基づき第1の検出領域A1から物体Oを検出する第2の検出方法に切り替えても良い。すなわち、例えば、被写体Sの背景内における一部分の領域である第1の検出領域A1にて、撮像部3により順次撮像される複数のフレーム画像間の相対的な画像情報(例えば、画素値の差分情報等)に基づき、物体Oの状態の変化を検出する第1の検出方法を利用した物体Oの検出が困難である状況では、被写体Sの背景内における他の領域でも第1の検出方法を利用した物体Oの検出が困難であると考えられる場合もあるため、或いは、検出領域の位置が変わることをユーザが好ましく思わない場合もあるため、即座に、物体Oに係る絶対的な画像情報に基づき第1の検出領域A1から物体Oを検出する第2の検出方法に切り替えることで、第2の検出領域A2が設定可能か否かを判定する必要がなくなり、物体Oの検出に係る処理の高速化を図ることができる。
また、上記実施形態にあっては、物体Oとして、被写体Sの特定の部位である手のひらを例示したが、一例であってこれに限られるものではなく、例えば、手袋をした状態であっても良いし、頭や足等の被写体Sの他の部位であっても良い。さらに、物体O自体は、例えば、被写体Sを構成しないもの、すなわち、検出動作には用いられるものの実際には撮影されない検出専用の治具等であっても良い。
また、上記実施形態にあっては、相対的な画像情報に基づき物体Oを検出できなかった場合に、絶対的な画像情報に基づき物体Oを検出するようにしているが、例えば、相対的な画像情報に基づき物体Oを検出できなかった場合に、絶対的な画像情報の相対的な変化方向を更に検出するようにしても良い。すなわち、物体Oの色情報等の絶対的な画像情報を取得したのち、複数のフレーム画像間の第1の検出領域A1における絶対的な画像情報の相対的な変化に基づいて、これら複数のフレーム画像間における画素値の変化の方向を検出する。そして、検出した変化方向とは逆方向の絶対的な画像情報の相対的な変化を検出した際に撮影処理を実行する。これにより、より精度の高い物体Oの検出が可能となる。
また、上記実施形態にあっては、物体Oの検出の待機状態である旨を表示部5の表示パネル5aに案内表示Gを表示して報知するようにしたが、一例であってこれに限られるものではなく、例えば、人の五感、特に、聴覚、触覚等によって当該報知を把握、認識させることができるものであれば如何なる態様であっても良い。例えば、所定の警告音(報知音)を放音したり、撮像装置100を所定の周期で振動させるようにしても良い。
さらに、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
加えて、上記実施形態にあっては、検出手段、判定手段、検出制御手段、撮影制御手段としての機能を、中央制御部1の制御下にて、検出部7c、検出判定部7d、検出制御部7g、撮影制御部7hが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムメモリ(図示略)に、検出処理ルーチン、判定処理ルーチン、検出制御処理ルーチン、撮影制御処理ルーチンを含むプログラムを記録しておく。そして、検出処理ルーチンにより中央制御部1のCPUに、撮像部3により撮像されるフレーム画像内から物体Oを検出する機能を実現させるようにしても良い。また、判定処理ルーチンにより中央制御部1のCPUに、第1の手法によりフレーム画像内から物体Oの検出が可能であるか否かを判定する機能を実現させるようにしても良い。また、検出制御処理ルーチンにより中央制御部1のCPUに、物体Oの検出が可能でないと判定された場合に、第1の手法とは異なる第2の手法によりフレーム画像内から物体Oを検出するように制御する機能を実現させるようにしても良い。また、撮影制御処理ルーチンにより中央制御部1のCPUに、物体が検出されたことを契機として、撮像部3に記録用の画像を撮像させる撮影処理を制御する機能を実現させるようにしても良い。
同様に、取得手段、報知手段についても、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
撮像手段により撮像される撮像画像内から物体を検出する検出手段と、
前記検出手段によって第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する判定手段と、
前記判定手段により物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から前記検出手段によって物体を検出するように制御する検出制御手段と、
前記検出手段により物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する撮影制御手段と、
を備えたことを特徴とする撮像装置。
<請求項2>
前記第1の手法は、前記撮像画像内における第1の領域から第1の検出方法により物体を検出する手法を含み、
前記第2の手法は、前記撮像画像内における前記第1の領域とは異なり、且つ、前記判定手段によって前記第1の検出方法により物体の検出が可能であると判定される第2の領域から当該第1の検出方法により物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。
<請求項3>
前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定された場合に、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である領域を前記第2の領域として物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。
<請求項4>
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、前記第1の検出方法とは異なる第2の検出方法により前記第1の領域から物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。
<請求項5>
前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、物体に係る絶対的な画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項4に記載の撮像装置。
<請求項6>
前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しないことが特定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項5に記載の撮像装置。
<請求項7>
前記第1の手法は、前記撮像画像内から第1の検出方法により物体を検出する手法を含み、
前記第2の手法は、前記第1の検出方法とは異なる第2の検出方法により前記撮像画像内から物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。
<請求項8>
前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定された場合に、物体に係る絶対的な画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項7に記載の撮像装置。
<請求項9>
前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項8に記載の撮像装置。
<請求項10>
前記第1の手法は、前記撮像画像内における所定の領域から、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき物体を検出する手法を含み、
前記検出手段は、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したこと、前記複数のフレーム画像間における画像情報の変化の方向が前記停止前の方向と逆方向であることをこの順に検出した場合に、物体を検出したものとみなすことを特徴とする請求項1に記載の撮像装置。
<請求項11>
前記検出手段により、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したことが順に検出されたことを契機として、物体の検出の待機状態である旨を報知する報知手段を、更に備えることを特徴とする請求項10に記載の撮像装置。<請求項12>
撮像装置を用いた撮像制御方法であって、
撮像手段により撮像される撮像画像内から物体を検出する処理と、
第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する処理と、
物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する処理と、
物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する処理と、
を含むことを特徴とする撮像制御方法。
<請求項13>
撮像装置のコンピュータに、
撮像手段により撮像される撮像画像内から物体を検出する機能と、
第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する機能と、
物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する機能と、
物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する機能と、
を実現させることを特徴とするプログラム。
100 撮像装置
1 中央制御部
5 表示部
5a 表示パネル
7 動作処理部
7a 状態判定部
7b フレーム取得部
7c 検出部
7d 検出判定部
7e 領域設定部
7f 画像情報取得部
7g 検出制御部
7h 撮影制御部
本発明は、物体検出装置、検出制御方法及びプログラムに関する。
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、検出する物体の誤検出を低減することができる物体検出装置、検出制御方法及びプログラムを提供することである。
上記課題を解決するための本発明の一態様は、物体検出装置であって、
撮像手段により撮像される撮像画像内から物体を検出する検出手段と、
前記検出手段によって第1の検出方法により前記撮像画像内における第1の領域から物体の検出が可能であるか否かを判定する判定手段と、
前記判定手段により、前記第1の検出方法により物体の検出が可能でないと判定され、前記第1の領域とは異なり、且つ、前記判定手段によって前記第1の検出方法により物体の検出が可能であると判定される第2の領域が存在しない場合に、前記第1の検出方法とは異なる第2の検出方法により前記第1の領域から物体を検出するように制御する検出制御手段と
備えたことを特徴としている。
本発明によれば、検出する物体の誤検出を低減することができる。

Claims (13)

  1. 撮像手段により撮像される撮像画像内から物体を検出する検出手段と、
    前記検出手段によって第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する判定手段と、
    前記判定手段により物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から前記検出手段によって物体を検出するように制御する検出制御手段と、
    前記検出手段により物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する撮影制御手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記第1の手法は、前記撮像画像内における第1の領域から第1の検出方法により物体を検出する手法を含み、
    前記第2の手法は、前記撮像画像内における前記第1の領域とは異なり、且つ、前記判定手段によって前記第1の検出方法により物体の検出が可能であると判定される第2の領域から当該第1の検出方法により物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。
  3. 前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
    前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
    前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定された場合に、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である領域を前記第2の領域として物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。
  4. 前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、前記第1の検出方法とは異なる第2の検出方法により前記第1の領域から物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。
  5. 前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
    前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
    前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、物体に係る絶対的な画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項4に記載の撮像装置。
  6. 前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
    前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しないことが特定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項5に記載の撮像装置。
  7. 前記第1の手法は、前記撮像画像内から第1の検出方法により物体を検出する手法を含み、
    前記第2の手法は、前記第1の検出方法とは異なる第2の検出方法により前記撮像画像内から物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。
  8. 前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
    前記判定手段は、前記撮像画像内から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
    前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定された場合に、物体に係る絶対的な画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項7に記載の撮像装置。
  9. 前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
    前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項8に記載の撮像装置。
  10. 前記第1の手法は、前記撮像画像内における所定の領域から、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき物体を検出する手法を含み、
    前記検出手段は、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したこと、前記複数のフレーム画像間における画像情報の変化の方向が前記停止前の方向と逆方向であることをこの順に検出した場合に、物体を検出したものとみなすことを特徴とする請求項1に記載の撮像装置。
  11. 前記検出手段により、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したことが順に検出されたことを契機として、物体の検出の待機状態である旨を報知する報知手段を、更に備えることを特徴とする請求項10に記載の撮像装置。
  12. 撮像装置を用いた撮像制御方法であって、
    撮像手段により撮像される撮像画像内から物体を検出する処理と、
    第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する処理と、
    物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する処理と、
    物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する処理と、
    を含むことを特徴とする撮像制御方法。
  13. 撮像装置のコンピュータに、
    撮像手段により撮像される撮像画像内から物体を検出する機能と、
    第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する機能と、
    物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する機能と、
    物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する機能と、
    を実現させることを特徴とするプログラム。
JP2020072638A 2020-04-15 2020-04-15 物体検出装置、検出制御方法及びプログラム Pending JP2020115679A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020072638A JP2020115679A (ja) 2020-04-15 2020-04-15 物体検出装置、検出制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020072638A JP2020115679A (ja) 2020-04-15 2020-04-15 物体検出装置、検出制御方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015170149A Division JP6693071B2 (ja) 2015-08-31 2015-08-31 撮像装置、撮像制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2020115679A true JP2020115679A (ja) 2020-07-30

Family

ID=71778721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020072638A Pending JP2020115679A (ja) 2020-04-15 2020-04-15 物体検出装置、検出制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2020115679A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750149A (zh) * 2021-01-16 2021-05-04 胡滨 基于运动目标检测的高压隔离开关故障监测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017050593A (ja) * 2015-08-31 2017-03-09 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017050593A (ja) * 2015-08-31 2017-03-09 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750149A (zh) * 2021-01-16 2021-05-04 胡滨 基于运动目标检测的高压隔离开关故障监测方法

Similar Documents

Publication Publication Date Title
JP4884417B2 (ja) 携帯型電子装置及びその制御方法
JP5375744B2 (ja) 動画再生装置、動画再生方法及びプログラム
JP4784678B2 (ja) 撮像装置、撮像方法及びプログラム
JP5293206B2 (ja) 画像検索装置、画像検索方法及びプログラム
US9779290B2 (en) Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images
JP2006005662A (ja) 電子カメラ、及び電子カメラシステム
JP2008109336A (ja) 画像処理装置および撮像装置
JP2007318725A (ja) カメラ、カメラの撮影制御方法、プログラム、記録媒体
JP5966778B2 (ja) 撮像装置、撮像方法及びプログラム
JP5200821B2 (ja) 撮像装置及びそのプログラム
JP5880135B2 (ja) 検出装置、検出方法及びプログラム
JP2009147574A (ja) 撮像装置及びそのプログラム
JP6693071B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
JP2020115679A (ja) 物体検出装置、検出制御方法及びプログラム
JP6024135B2 (ja) 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム
JP2009253925A (ja) 撮像装置及び撮像方法と、撮影制御プログラム
JP5533241B2 (ja) 動画再生装置、動画再生方法及びプログラム
JP5228927B2 (ja) 電子機器、動作制御方法及びプログラム
JP2011097502A (ja) 撮影制御装置および撮影制御方法
JP2009098850A (ja) 演算装置及びそのプログラム
JP6322964B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP6432290B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP5644180B2 (ja) 撮像装置、撮像方法及びプログラム
JP2009194469A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220524