JP2020115679A - 物体検出装置、検出制御方法及びプログラム - Google Patents
物体検出装置、検出制御方法及びプログラム Download PDFInfo
- Publication number
- JP2020115679A JP2020115679A JP2020072638A JP2020072638A JP2020115679A JP 2020115679 A JP2020115679 A JP 2020115679A JP 2020072638 A JP2020072638 A JP 2020072638A JP 2020072638 A JP2020072638 A JP 2020072638A JP 2020115679 A JP2020115679 A JP 2020115679A
- Authority
- JP
- Japan
- Prior art keywords
- detection
- image
- unit
- detected
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Details Of Cameras Including Film Mechanisms (AREA)
- Studio Devices (AREA)
Abstract
Description
撮像手段により撮像される撮像画像内から物体を検出する検出手段と、
前記検出手段によって第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する判定手段と、
前記判定手段により物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から前記検出手段によって物体を検出するように制御する検出制御手段と、
前記検出手段により物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する撮影制御手段と、
を備えたことを特徴としている。
また、中央制御部1、メモリ2、撮像部3、画像処理部4、表示部5、操作入力部6、動作処理部7及び画像記録部8は、バスライン9を介して接続されている。
具体的には、表示パネル5aは、光軸X方向に略直交する一の軸(例えば、水平方向の軸等)周りに略180°回動自在に装置本体部100Aに軸支されている。つまり、表示パネル5aを装置本体部100Aに対して相対的に略180°回動させることで、表示パネル5aの表示方向を撮像部3の撮像方向と略等しくするように、すなわち、表示パネル5aをレンズ部3aの露出面と同様に被写体S側に臨むように配置することができるようになっている(図2(b)参照)。そして、表示パネル5aをレンズ部3aの露出面と同じ側とした状態では、ユーザが表示パネル5aに表示されるユーザ自身を含む画像を視認しながら、所謂、自分撮りを行うことができる。
なお、表示パネル5aは、例えば、装置本体部100Aに対して光軸X方向に略直交する垂直方向の軸周りに略180°回動自在に軸支されていても良く、この場合も、表示パネル5aをレンズ部3aの露出面と同じ側とした状態では、所謂、自分撮りを行うことができる。
00用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
電子撮像部3bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサ(撮像素子)から構成されている。そして、電子撮像部3bは、レンズ部3aの各種レンズを通過した光学像を二次元の画像信号に変換する。
すなわち、撮像制御部3cは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部3cは、タイミング発生器、ドライバにより電子撮像部3bを走査駆動して、レンズ部3aを通過した光学像を電子撮像部3bにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部3bの撮像領域から1画面分ずつフレーム画像を読み出して画像処理部4に出力させる。
また、撮像制御部3cは、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体Sを撮像する際の条件の調整制御を行う。
また、カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ2にDMA転送される。
すなわち、表示部5は、画像処理部4により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル5aの表示画面に表示する。具体的には、表示部5は、静止画像や動画像の撮影モードにて、撮像部3による被写体Sの撮像により生成された複数のフレーム画像を所定の再生フレームレートで逐次更新しながらライブビュー画像L(図4(a)等参照)を表示パネル5aの表示画面に表示する。
なお、表示パネル5aは、例えば、液晶表示パネルや有機EL(Electro-Luminescence)表示パネル等から構成されているが、一例であってこれらに限られるものではない。
そして、ユーザにより各種ボタンが操作されると、操作入力部6は、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部6から出力され入力された操作指示に従って所定の動作(例えば、動画像の再生等)を各部に実行させる。
なお、動作処理部7の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
すなわち、状態判定部7aは、撮像部3により撮像されて表示部5に表示される被写体Sの画像を当該被写体S自身に視認させることが可能な所定の状態(所謂、自分撮りの状態)であるか否かを判定する。
具体的には、状態判定部7aは、撮像部3による被写体Sの撮像の際に、撮像部3の撮像方向(レンズ部3aの露出方向)と表示パネル5aの表示方向が略等しくなっている状態であるか否かを判定する。例えば、状態判定部7aは、装置本体部100Aに対して表示パネル5aが略180°回動したことを機械的に検出するスイッチ(図示略)の検出信号や、表示パネル5aの重力方向に対する傾きを検出するセンサ(例えば、加速度センサ等;図示略)の検出信号の入力に基づいて、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっているか否かを判定する。
そして、状態判定部7aは、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっていると判定した場合に(図2(b)参照)、撮像部3により撮像されて表示部5に表示される被写体Sの画像を当該被写体S自身に視認させることが可能な所定の状態であると特定する。
具体的には、例えば、撮像部3は、所謂、自分撮りの状態の被写体Sを所定の撮像フレームレートで連続して撮像し、画像処理部4は、複数のフレーム画像のYUVデータを生成しメモリ2に転送する。フレーム取得部7bは、メモリ2に格納されている複数のフレーム画像を読み出して取得する。
ここで、所謂、自分撮りの状態での撮影の際に、表示部5は、例えば、被写体Sの特定の部位である物体O(例えば、手のひら等)の検出領域(例えば、第1検出領域A1等)を表す指標をライブビュー画像Lに重畳させてOSD(on-screen display)表示させて
も良い(図4(a)参照)。
なお、フレーム取得部7bは、複数のフレーム画像を必要に応じて所定の比率で縮小した所定サイズ(例えば、VGAサイズ等)のフレーム画像を取得しても良い。
すなわち、検出部7cは、検出制御部7gの制御によって、撮像部3により撮像されるフレーム画像内の第1の検出領域A1(図6(a)参照)や第2の検出領域A2(図8(a)参照)から物体Oを検出する。具体的には、検出部7cは、例えば、撮像部3により順次撮像され、フレーム取得部7bにより取得された複数のフレーム画像間の相対的な画像情報に基づき、物体Oの状態の変化を検出する(第1の検出方法;詳細後述)。例えば、検出部7cは、フレーム取得部7bにより取得された隣合うフレーム画像の第1の検出領域A1や第2の検出領域A2の画素値(例えば、輝度値)の差分情報(例えば、差分値や差分二乗和等)を算出し、予め設定されている閾値と比較して、閾値よりも大きくなった場合に物体Oの状態の変化を検出する。
また、上記閾値の設定方法としては、例えば、フレーム取得部7bにより取得された所定数(例えば、n個)分のフレーム画像について、隣合うフレーム画像との第1の検出領域A1や第2の検出領域A2の画素値(例えば、輝度値)の差分情報を算出し、算出された複数(例えば、n−1個)の差分情報の代表値(例えば、平均値、中央値等)を演算して、閾値として設定する方法が挙げられる。
具体的には、例えば、撮像部3により撮像されるフレーム画像内に第2の検出領域A2が存在しない場合に、検出部7cは、後述する画像情報取得部7fによりフレーム画像内の画像情報取得領域A0(図10(a)参照)から取得された物体Oの色に係る画像情報に基づき、第1の検出領域A1から物体Oを検出する(第2の検出方法;詳細後述)。
すなわち、検出判定部7dは、第1の手法として、撮像部3により撮像されるフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能であるか否かを判定する。
ここで、第1の検出方法は、上記した検出部7cによって行われる検出方法であり、撮像部3により順次撮像され、フレーム取得部7bにより取得された複数のフレーム画像間の相対的な画像情報に基づき、物体Oの状態の変化を検出する方法である。
すなわち、領域設定部7eは、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定された場合に、フレーム画像内に第1の検出領域A1とは異なる領域であって、第1の検出方法により物体Oを検出することが可能である第2の検出領域A2を設定する。
具体的には、領域設定部7eは、フレーム取得部7bにより取得された所定数(例えば、n個;nは自然数)分のフレーム画像について、隣合うフレーム画像との間で各画素の画素値(例えば、輝度値)の差分情報(例えば、差分値等)を算出する。そして、領域設定部7eは、算出された複数(例えば、n−1個)の差分情報が所定の許容範囲内である領域を特定し、特定された領域内で物体Oの検出を可能な程度の面積を有する領域(例えば、第1の検出領域A1と略等しい面積の領域等)があるか否かを判定する。
領域設定部7eは、物体Oの検出を可能な程度の面積を有する領域があると判定された場合に、第1の検出領域A1から最も近い位置に存在する領域を第2の検出領域A2として設定する。
すなわち、画像情報取得部(取得手段)7fは、撮像部3により撮像されるフレーム画像内における画像情報取得領域(所定の領域)A0から色に係る画像情報(例えば、RGBデータ等)を絶対的な画像情報として取得する。具体的には、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定され、且つ、検出判定部7dによって第1の検出方法により物体Oを検出することが可能である第2の検出領域A2が存在しないと判定された場合に、画像情報取得部7fは、フレーム画像内の所定位置(例えば、中央等)に物体Oの色情報を取得するための画像情報取得領域A0を設定する。このとき、表示部5は、例えば、画像情報取得領域A0を表す指標とともに、「背景に動きがあって誤検出する恐れがあるため、検出する手をかざしてください」等の案内表示をライブビュー画像Lに重畳させてOSD表示させても良い。
そして、画像情報取得部7fは、例えば、画像情報取得領域A0が設定されてから、或いは、指標や案内表示がOSD表示されてから所定時間(例えば、2秒等)後に、撮像部3によりされたフレーム画像内の画像情報取得領域A0から物体Oの色情報を取得する。その後、表示部5は、例えば、「物体の色を取得しました」等の確認表示をライブビュー画像Lに重畳させてOSD表示させても良い。
なお、上記した画像情報の取得方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、絶対的な画像情報として、物体Oの色情報を例示したが、一例であってこれに限られるものではなく、例えば、物体Oの彩度に係る画像情報など適宜任意に変更可能である。
すなわち、検出制御部7gは、第1の手法として、撮像部3により撮像されるフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oを検出するように制御する。
また、検出制御部7gは、検出判定部7dによって第1の手法により物体Oの検出が可能でないと判定された場合に、第1の手法とは異なる第2の手法によりフレーム画像内から検出部7cによって物体Oを検出するように制御する。具体的には、検出制御部7gは、第2の手法として、フレーム画像内における検出判定部7dによって第1の検出方法により物体Oの検出が可能であると判定される第2の検出領域A2から第1の検出方法により物体Oを検出するように制御する。例えば、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定された場合に、検出制御部7gは、フレーム画像内にて領域設定部7eにより設定された第2の検出領域A2から第1の検出方法により物体Oを検出するように制御する。
例えば、フレーム画像内の向かって右上の位置に第1の検出領域A1が設定されている場合(図6(a)参照)、ユーザである被写体Sは、この第1の検出領域A1の略下側から第1の検出領域A1の略中央に向かって手のひらを移動させるようにして第1の検出領域A1内に配置させる。このとき、検出制御部7gは、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、これら複数のフレーム画像間における画素値の変化の方向を検出する。つまり、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定していき、特定された画素から画素値の変化の方向を検出する。そして、検出制御部7gは、画素値の変化の方向に規則性(例えば、略下側から一直線方向等)があるか否かを判定する。
また、第1の検出領域A1内の所定位置(例えば、略中央等)に手のひらを配置させた状態(図6(b)参照)では、画素値が変化しないことから、検出制御部7gは、複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、画素値の変化が停止したか否かを判定する。ここで、検出制御部7gにより画素値の変化の方向に規則性があると判定された後、画素値の変化が停止したと判定された場合には、表示部(報知手段)5は、例えば、「準備OK」等の物体Oの検出の待機状態である旨を表す案内表示Gをライブビュー画像Lに重畳させてOSD表示させても良い(図6(b)参照)。
その後、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、画素値が変化する画素を特定していき、特定された画素から画素値の変化の方向を検出する。そして、検出制御部7gは、画素値の変化の方向が停止前の方向と逆方向(例えば、略中央から略下側等)であるか否かを判定する。ここでの方向の判定は、物体Oの進入動作の軌跡と離脱動作の軌跡とのなす角度が所定の角度範囲内であれば、画素値の変化の方向が停止前の方向と逆方向であると判定するようにしても良い。
そして、検出制御部7gは、画素値の変化の方向に規則性があること、画素値の変化が停止したこと、その後、画素値の変化の方向が停止前の方向と逆方向であることを順に検出した場合に、検出部7cは、被写体Sの手のひら(物体O)を検出したものとみなす。
また、第1の検出領域A1や第2の検出領域A2に対する物体Oの進入動作や離脱動作として、一直線に沿うように動かす動作を例示したが、一例であってこれに限られるものではなく、例えば、所定の曲率の曲線に沿うように動かす動作であっても良いし、ジグザグ形状や波型形状等の繰り返し動作であっても良いし、ランダムな動作であっても良い。すなわち、物体Oの検出に際して、第1の検出領域A1や第2の検出領域A2に対する物体Oの進入動作の方向は予め設定しておく必要がなく、物体Oの進入動作の方向と物体Oの離脱動作の方向とが逆方向となっていれば、物体Oの検出を行うことができる。
例えば、検出判定部7dによってフレーム画像内の第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定され、且つ、領域設定部7eによって第1の検出方法により物体Oを検出することが可能である第2の検出領域A2が設定されずに、フレーム画像内に第2の検出領域A2が存在しないことが特定されたことを契機として、検出制御部7gは、画像情報取得部7fにフレーム画像内の所定位置(例えば、略中央等)に物体Oの色情報を取得するための画像情報取得領域A0を設定させる。そして、検出制御部7gは、画像情報取得部7fに画像情報取得領域A0から物体Oの色情報を取得させ、画像情報取得領域A0から取得された物体Oの色に係る画像情報に基づき第1の検出領域A1から物体Oを検出する第2の検出方法により当該物体Oを検出するように検出部7cを制御する。
例えば、フレーム画像内の向かって右上の位置に第1の検出領域A1が設定されている場合(図10(b)参照)、ユーザである被写体Sは、この第1の検出領域A1の内側に手のひらを移動させるようにして第1の検出領域A1内に配置させる。このとき、検出制御部7gは、先ず、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、画素値の変化が停止したか否かを判定する。つまり、手のひらを移動させている状態では、第1の検出領域A1を構成する複数の画素の相対的な画素値は変化した状態となり、手のひらの移動を停止させることで、画素値の変化が停止する。
ここで、画素値の変化が停止したと判定されると、検出制御部7gは、フレーム画像内の第1の検出領域A1を構成する複数の画素の色情報を取得して、画像情報取得領域A0から取得された物体Oの色情報と比較する。そして、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、色情報どうしの差が所定の許容範囲内である画素の数を算出する。さらに、検出制御部7gは、算出された画素の数の第1の検出領域A1を構成する複数の画素の全数に対する比率を算出して、算出された比率が所定値以上と判定した場合に、物体O(例えば、被写体Sの手のひら等)を検出したものとみなす。このとき、表示部5は、例えば、「準備OK」等の撮影の待機状態である旨を表す案内表示をライブビュー画像Lに重畳させてOSD表示させても良い。
その後、ユーザである被写体Sは、第1の検出領域A1の外側に手のひらを移動させるようにして第1の検出領域A1内から離脱させる。このとき、上記と同様に、検出制御部7gは、フレーム取得部7bにより取得された複数のフレーム画像間の第1の検出領域A1を構成する複数の画素の相対的な画素値に基づいて、画素値の変化が生じたか否かを判定する。つまり、手のひらを移動させている状態では、第1の検出領域A1を構成する複数の画素の相対的な画素値は変化した状態となる。
すなわち、撮影制御部(撮影制御手段)7hは、検出部7cにより物体Oが検出されたことを契機として、撮像部3に記録用の画像を撮像させる。具体的には、撮影制御部7hは、例えば、検出部7cにより第1の検出領域A1や第2の検出領域A2から物体Oが検出されると、所定時間経過後に被写体Sを自動的に撮影するタイマーを設定する。そして、撮影制御部7hは、タイマーで設定された所定時間が経過した際に、撮像部3により被写体Sを撮像させ、画像処理部4により記録用の画像を生成させる。
生成された記録用の画像の画像データは、画像記録部8に転送されて記録される。
また、画像記録部8は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
次に、撮像装置100による撮影処理について、図3〜図10を参照して説明する。
図3は、撮影処理に係る動作の一例を示すフローチャートである。また、図4(a)〜図4(c)は、撮影処理を説明するための図である。
なお、以下の説明では、モーション検出するための第1の検出領域A1は、フレーム画像内の所定位置(例えば、右上等)に予め設定されているものとする。
ここで、シャッタボタンが全押し操作されていないと判定されると(ステップS3;NO)、中央制御部1のCPUは、シャッタボタンが全押し操作されたか否かを判定する処理を所定の時間間隔で繰り返し実行する。
そして、検出判定部7dは、撮像部3により順次撮像され、フレーム取得部7bにより取得された複数のフレーム画像間の相対的な画像情報に基づき、物体Oの状態の変化を検出する第1の検出方法により、フレーム画像内の第1の検出領域A1から物体Oの検出が可能であるか否かを判定する(ステップS5)。すなわち、例えば、被写体Sの背景内における第1の検出領域A1にて当該被写体S以外の異物体が動いていない状態では(図4(a)参照)、第1の検出領域A1から物体Oの検出が可能となり、一方、第1の検出領域A1にて当該被写体S以外の異物体が動いている状態では(図4(b)及び図4(c)参照)、第1の検出領域A1から物体Oの検出が不可能となる。
ステップS7にて、モーション検出の終了指示が入力されていないと判定されると(ステップS7;NO)、動作処理部7は、処理をステップS5に戻し、それ以降の各処理を実行する。
すなわち、例えば、被写体Sの背景内における第1の検出領域A1以外の一部の領域にて当該被写体S以外の異物体が動いていない状態では(図4(b)参照)、物体Oの検出に係る第2の検出領域A2を設定可能となり、一方、被写体Sの背景内における第1の検出領域A1以外の略全ての領域にて当該被写体S以外の異物体が動いている状態では(図4(c)参照)、第2の検出領域A2を設定不可能となる。
その後、中央制御部1のCPUは、処理をステップS7に移行し、モーション検出の終了指示が入力されたか否かを判定する(ステップS7)。
その後、中央制御部1のCPUは、処理をステップS7に移行し、モーション検出の終了指示が入力されたか否かを判定する(ステップS7)。
ステップS11にて、撮影処理の終了指示が入力されていないと判定されると(ステップS11;NO)、中央制御部1のCPUは、処理をステップS1に戻し、状態判定部7aは、上記と同様に、撮像部3の撮像方向と表示パネル5aの表示方向が略等しくなっている状態であるか否かを判定する。
以下に、第1撮影処理について、図5及び図6を参照して説明する。
図5は、第1撮影処理に係る動作の一例を示すフローチャートである。また、図6(a)〜図6(c)は、第1撮影処理を説明するための図である。
すなわち、ユーザである被写体Sが第1の検出領域A1内に手のひらを配置させる場合(図6(a)参照)には、手のひらの移動方向は第1の検出領域A1の略下側から第1の検出領域A1の略中央に向けて直線状となり、第1の検出領域A1を構成する複数の画素の画素値も略下側から略中央に向けて順次変化していく。つまり、画素値の変化の方向が一直線に沿った規則性を有するものとなる。
一方、ステップS22にて、画素値の変化の方向に規則性があると判定されると(ステップS22;YES)、検出制御部7gは、第1の検出領域A1を構成する複数の画素の画素値の変化が停止したか否かを判定する(ステップS23)。
すなわち、第1の検出領域A1内の所定位置(例えば、略中央等)に手のひらを配置させた状態(図6(b)参照)では、画素値の変化が停止する。
一方、ステップS23にて、第1の検出領域A1を構成する複数の画素の画素値の変化が停止したと判定されると(ステップS23;YES)、表示部5は、例えば、「準備OK」等の物体Oの検出の待機状態である旨を表す案内表示Gをライブビュー画像Lに重畳させてOSD表示させる(ステップS24;図6(b)参照)。
ここで、画素値の変化の方向が停止前と逆方向でないと判定されると(ステップS26;NO)、検出制御部7gは、処理をステップS21に戻し、それ以降の各処理を実行する。すなわち、第1撮影処理を最初からやり直すこととなるため、この場合、表示部5は、物体Oの検出の待機状態である旨を表す案内表示Gを停止させる。
その後、画像記録部8は、画像処理部4から転送された記録用の画像の画像データを記録して(ステップS28)、当該第1撮影処理を終了する。
以下に、第2撮影処理について、図7及び図8を参照して説明する。
図7は、第2撮影処理に係る動作の一例を示すフローチャートである。また、図8(a)及び図8(b)は、第2撮影処理を説明するための図である。
すなわち、ユーザである被写体Sが第2の検出領域A2内に手のひらを配置させる場合(図8(b)参照)には、手のひらの移動方向は第2の検出領域A2の略下側から第2の検出領域A2の略中央に向けて直線状となり、第2の検出領域A2を構成する複数の画素の画素値も略下側から略中央に向けて順次変化していく。つまり、画素値の変化の方向が一直線に沿った規則性を有するものとなる。
一方、ステップS33にて、画素値の変化の方向に規則性があると判定されると(ステップS33;YES)、検出制御部7gは、第2の検出領域A2を構成する複数の画素の画素値の変化が停止したか否かを判定する(ステップS34)。
すなわち、第2の検出領域A2内の所定位置(例えば、略中央等)に手のひらを配置させた状態では、画素値の変化が停止する。
一方、ステップS34にて、第2の検出領域A2を構成する複数の画素の画素値の変化が停止したと判定されると(ステップS34;YES)、表示部5は、例えば、「準備OK」等の物体Oの検出の待機状態である旨を表す案内表示をライブビュー画像Lに重畳させてOSD表示させる(ステップS35)。
ここで、画素値の変化の方向が停止前と逆方向でないと判定されると(ステップS37;NO)、検出制御部7gは、処理をステップS32に戻し、それ以降の各処理を実行する。すなわち、第2撮影処理を最初からやり直すこととなるため、この場合、表示部5は、物体Oの検出の待機状態である旨を表す案内表示を停止させる。
その後、画像記録部8は、画像処理部4から転送された記録用の画像の画像データを記録して(ステップS39)、当該第2撮影処理を終了する。
以下に、第3撮影処理について、図9及び図10を参照して説明する。
図9は、第3撮影処理に係る動作の一例を示すフローチャートである。また、図10(a)〜図10(c)は、第3撮影処理を説明するための図である。
すなわち、ユーザである被写体Sが第1の検出領域A1内に手のひらを配置させると、第1の検出領域A1を構成する複数の画素の相対的な画素値は変化した状態となり、手のひらの移動を停止させることで、画素値の変化が停止する(図10(c)参照)。
一方、ステップS44にて、第1の検出領域A1を構成する複数の画素の画素値の変化が停止したと判定されると(ステップS44;YES)、検出制御部7gは、フレーム画像内の第1の検出領域A1を構成する複数の画素の色情報を取得して、画像情報取得領域A0から取得された物体Oの色情報と比較する(ステップS45)。そして、検出制御部7gは、第1の検出領域A1を構成する複数の画素の中で、色情報どうしの差が所定の許容範囲内である画素の数を算出し、算出された画素の数の第1の検出領域A1を構成する複数の画素の全数に対する比率が所定値以上であるか否かを判定する(ステップS46)。
一方、ステップS46にて、比率が所定値以上であると判定されると(ステップS46;YES)、物体O(例えば、被写体Sの手のひら等)を検出したものとみなし、表示部5は、例えば、「準備OK」等の撮影の待機状態である旨を表す案内表示をライブビュー画像Lに重畳させてOSD表示させる(ステップS47)。
すなわち、ユーザである被写体Sは、第1の検出領域A1の外側に手のひらを移動させるようにして第1の検出領域A1内から離脱させることで、比率が所定値未満となる。
一方、ステップS49にて、第1の検出領域A1を構成する複数の画素の全数に対する比率が所定値未満であると判定されると(ステップS49;YES)、撮影制御部7hは、被写体Sの撮影処理の実行を制御する(ステップS50)。具体的には、例えば、撮影制御部7hは、所定時間経過後に被写体Sを自動的に撮影するタイマーを設定し、タイマーで設定された所定時間が経過した際に、撮像部3により被写体Sを撮像させ、画像処理部4により記録用の画像を生成させる。
その後、画像記録部8は、画像処理部4から転送された記録用の画像の画像データを記録して(ステップS51)、当該第3撮影処理を終了する。
また、フレーム画像内から物体Oが検出されたことを契機として、被写体Sの自動撮影を行って記録用の画像を生成することができる。
また、第1の検出方法として、撮像部3により順次撮像される複数のフレーム画像間の相対的な画像情報(例えば、画素値の差分情報等)に基づき、物体Oの状態の変化を検出する方法を用いることで、例えば、物体Oの色情報等の絶対的な画像情報を用いて当該物体Oの検出を行う方法に比べて処理を軽減することができ、物体Oの検出に際して省電力化を図ることができる。
また、第2の検出方法として、物体Oに係る絶対的な画像情報(例えば、物体Oの色情報等)に基づき第1の検出領域A1から物体Oを検出する方法を用いることで、例えば、複数のフレーム画像間の相対的な画像情報に基づいて物体Oの状態の変化を検出することができない状況であっても、フレーム画像内からの物体Oの検出を適正に行うことができる。
このとき、複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したことが順に検出されたことを契機として、物体Oの検出の待機状態である旨を報知することで、ユーザの利便性を向上させることができる。
例えば、上記実施形態にあっては、第1の検出領域A1から第1の検出方法により物体Oの検出が可能でないと判定された場合に、第2の検出領域A2を設定可能か否かを判定することなく、物体Oに係る絶対的な画像情報(例えば、物体Oの色情報等)に基づき第1の検出領域A1から物体Oを検出する第2の検出方法に切り替えても良い。すなわち、例えば、被写体Sの背景内における一部分の領域である第1の検出領域A1にて、撮像部3により順次撮像される複数のフレーム画像間の相対的な画像情報(例えば、画素値の差分情報等)に基づき、物体Oの状態の変化を検出する第1の検出方法を利用した物体Oの検出が困難である状況では、被写体Sの背景内における他の領域でも第1の検出方法を利用した物体Oの検出が困難であると考えられる場合もあるため、或いは、検出領域の位置が変わることをユーザが好ましく思わない場合もあるため、即座に、物体Oに係る絶対的な画像情報に基づき第1の検出領域A1から物体Oを検出する第2の検出方法に切り替えることで、第2の検出領域A2が設定可能か否かを判定する必要がなくなり、物体Oの検出に係る処理の高速化を図ることができる。
すなわち、プログラムメモリ(図示略)に、検出処理ルーチン、判定処理ルーチン、検出制御処理ルーチン、撮影制御処理ルーチンを含むプログラムを記録しておく。そして、検出処理ルーチンにより中央制御部1のCPUに、撮像部3により撮像されるフレーム画像内から物体Oを検出する機能を実現させるようにしても良い。また、判定処理ルーチンにより中央制御部1のCPUに、第1の手法によりフレーム画像内から物体Oの検出が可能であるか否かを判定する機能を実現させるようにしても良い。また、検出制御処理ルーチンにより中央制御部1のCPUに、物体Oの検出が可能でないと判定された場合に、第1の手法とは異なる第2の手法によりフレーム画像内から物体Oを検出するように制御する機能を実現させるようにしても良い。また、撮影制御処理ルーチンにより中央制御部1のCPUに、物体が検出されたことを契機として、撮像部3に記録用の画像を撮像させる撮影処理を制御する機能を実現させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
撮像手段により撮像される撮像画像内から物体を検出する検出手段と、
前記検出手段によって第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する判定手段と、
前記判定手段により物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から前記検出手段によって物体を検出するように制御する検出制御手段と、
前記検出手段により物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する撮影制御手段と、
を備えたことを特徴とする撮像装置。
<請求項2>
前記第1の手法は、前記撮像画像内における第1の領域から第1の検出方法により物体を検出する手法を含み、
前記第2の手法は、前記撮像画像内における前記第1の領域とは異なり、且つ、前記判定手段によって前記第1の検出方法により物体の検出が可能であると判定される第2の領域から当該第1の検出方法により物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。
<請求項3>
前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定された場合に、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である領域を前記第2の領域として物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。
<請求項4>
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、前記第1の検出方法とは異なる第2の検出方法により前記第1の領域から物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。
<請求項5>
前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、物体に係る絶対的な画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項4に記載の撮像装置。
<請求項6>
前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しないことが特定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項5に記載の撮像装置。
<請求項7>
前記第1の手法は、前記撮像画像内から第1の検出方法により物体を検出する手法を含み、
前記第2の手法は、前記第1の検出方法とは異なる第2の検出方法により前記撮像画像内から物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。
<請求項8>
前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定された場合に、物体に係る絶対的な画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項7に記載の撮像装置。
<請求項9>
前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項8に記載の撮像装置。
<請求項10>
前記第1の手法は、前記撮像画像内における所定の領域から、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき物体を検出する手法を含み、
前記検出手段は、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したこと、前記複数のフレーム画像間における画像情報の変化の方向が前記停止前の方向と逆方向であることをこの順に検出した場合に、物体を検出したものとみなすことを特徴とする請求項1に記載の撮像装置。
<請求項11>
前記検出手段により、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したことが順に検出されたことを契機として、物体の検出の待機状態である旨を報知する報知手段を、更に備えることを特徴とする請求項10に記載の撮像装置。<請求項12>
撮像装置を用いた撮像制御方法であって、
撮像手段により撮像される撮像画像内から物体を検出する処理と、
第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する処理と、
物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する処理と、
物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する処理と、
を含むことを特徴とする撮像制御方法。
<請求項13>
撮像装置のコンピュータに、
撮像手段により撮像される撮像画像内から物体を検出する機能と、
第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する機能と、
物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する機能と、
物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する機能と、
を実現させることを特徴とするプログラム。
1 中央制御部
5 表示部
5a 表示パネル
7 動作処理部
7a 状態判定部
7b フレーム取得部
7c 検出部
7d 検出判定部
7e 領域設定部
7f 画像情報取得部
7g 検出制御部
7h 撮影制御部
撮像手段により撮像される撮像画像内から物体を検出する検出手段と、
前記検出手段によって第1の検出方法により前記撮像画像内における第1の領域から物体の検出が可能であるか否かを判定する判定手段と、
前記判定手段により、前記第1の検出方法により物体の検出が可能でないと判定され、前記第1の領域とは異なり、且つ、前記判定手段によって前記第1の検出方法により物体の検出が可能であると判定される第2の領域が存在しない場合に、前記第1の検出方法とは異なる第2の検出方法により前記第1の領域から物体を検出するように制御する検出制御手段と、
を備えたことを特徴としている。
Claims (13)
- 撮像手段により撮像される撮像画像内から物体を検出する検出手段と、
前記検出手段によって第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する判定手段と、
前記判定手段により物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から前記検出手段によって物体を検出するように制御する検出制御手段と、
前記検出手段により物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する撮影制御手段と、
を備えたことを特徴とする撮像装置。 - 前記第1の手法は、前記撮像画像内における第1の領域から第1の検出方法により物体を検出する手法を含み、
前記第2の手法は、前記撮像画像内における前記第1の領域とは異なり、且つ、前記判定手段によって前記第1の検出方法により物体の検出が可能であると判定される第2の領域から当該第1の検出方法により物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。 - 前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定された場合に、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である領域を前記第2の領域として物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。 - 前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、前記第1の検出方法とは異なる第2の検出方法により前記第1の領域から物体を検出するように前記検出手段を制御することを特徴とする請求項2に記載の撮像装置。
- 前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内における前記第1の領域から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しない場合に、物体に係る絶対的な画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項4に記載の撮像装置。 - 前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
前記検出制御手段は、前記判定手段によって前記第1の領域から前記第1の検出方法により物体の検出が可能でないと判定され、且つ、前記撮像画像内で前記第1の検出方法により物体を検出することが可能である前記第2の領域が存在しないことが特定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記第1の領域から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項5に記載の撮像装置。 - 前記第1の手法は、前記撮像画像内から第1の検出方法により物体を検出する手法を含み、
前記第2の手法は、前記第1の検出方法とは異なる第2の検出方法により前記撮像画像内から物体を検出する手法を含むことを特徴とする請求項1に記載の撮像装置。 - 前記第1の検出方法は、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき、物体の状態の変化を検出する方法であり、
前記判定手段は、前記撮像画像内から前記第1の検出方法により物体の検出が可能であるか否かを判定し、
前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定された場合に、物体に係る絶対的な画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項7に記載の撮像装置。 - 前記撮像画像内における所定の領域から色に係る画像情報を前記絶対的な画像情報として取得する取得手段を、更に備え、
前記検出制御手段は、前記判定手段によって前記撮像画像内から前記第1の検出方法により物体の検出が可能でないと判定されたことを契機として、前記取得手段に前記撮像画像内における所定の領域から色に係る画像情報を取得させ、前記取得手段により取得された色に係る画像情報に基づき前記撮像画像内から物体を検出する前記第2の検出方法により物体を検出するように前記検出手段を制御することを特徴とする請求項8に記載の撮像装置。 - 前記第1の手法は、前記撮像画像内における所定の領域から、前記撮像手段により順次撮像される複数のフレーム画像間の相対的な画像情報に基づき物体を検出する手法を含み、
前記検出手段は、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したこと、前記複数のフレーム画像間における画像情報の変化の方向が前記停止前の方向と逆方向であることをこの順に検出した場合に、物体を検出したものとみなすことを特徴とする請求項1に記載の撮像装置。 - 前記検出手段により、前記複数のフレーム画像間の相対的な画像情報に基づいて、これら複数のフレーム画像間における画像情報の変化の方向に規則性があること、当該画像情報の変化が停止したことが順に検出されたことを契機として、物体の検出の待機状態である旨を報知する報知手段を、更に備えることを特徴とする請求項10に記載の撮像装置。
- 撮像装置を用いた撮像制御方法であって、
撮像手段により撮像される撮像画像内から物体を検出する処理と、
第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する処理と、
物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する処理と、
物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する処理と、
を含むことを特徴とする撮像制御方法。 - 撮像装置のコンピュータに、
撮像手段により撮像される撮像画像内から物体を検出する機能と、
第1の手法により前記撮像画像内から物体の検出が可能であるか否かを判定する機能と、
物体の検出が可能でないと判定された場合に、前記第1の手法とは異なる第2の手法により前記撮像画像内から物体を検出するように制御する機能と、
物体が検出されたことを契機として、前記撮像手段に記録用の画像を撮像させる撮影処理を制御する機能と、
を実現させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020072638A JP2020115679A (ja) | 2020-04-15 | 2020-04-15 | 物体検出装置、検出制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020072638A JP2020115679A (ja) | 2020-04-15 | 2020-04-15 | 物体検出装置、検出制御方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015170149A Division JP6693071B2 (ja) | 2015-08-31 | 2015-08-31 | 撮像装置、撮像制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020115679A true JP2020115679A (ja) | 2020-07-30 |
Family
ID=71778721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020072638A Pending JP2020115679A (ja) | 2020-04-15 | 2020-04-15 | 物体検出装置、検出制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020115679A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112750149A (zh) * | 2021-01-16 | 2021-05-04 | 胡滨 | 基于运动目标检测的高压隔离开关故障监测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017050593A (ja) * | 2015-08-31 | 2017-03-09 | カシオ計算機株式会社 | 撮像装置、撮像制御方法及びプログラム |
-
2020
- 2020-04-15 JP JP2020072638A patent/JP2020115679A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017050593A (ja) * | 2015-08-31 | 2017-03-09 | カシオ計算機株式会社 | 撮像装置、撮像制御方法及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112750149A (zh) * | 2021-01-16 | 2021-05-04 | 胡滨 | 基于运动目标检测的高压隔离开关故障监测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4884417B2 (ja) | 携帯型電子装置及びその制御方法 | |
JP5375744B2 (ja) | 動画再生装置、動画再生方法及びプログラム | |
JP4784678B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5293206B2 (ja) | 画像検索装置、画像検索方法及びプログラム | |
US9779290B2 (en) | Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images | |
JP2006005662A (ja) | 電子カメラ、及び電子カメラシステム | |
JP2008109336A (ja) | 画像処理装置および撮像装置 | |
JP2007318725A (ja) | カメラ、カメラの撮影制御方法、プログラム、記録媒体 | |
JP5966778B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5200821B2 (ja) | 撮像装置及びそのプログラム | |
JP5880135B2 (ja) | 検出装置、検出方法及びプログラム | |
JP2009147574A (ja) | 撮像装置及びそのプログラム | |
JP6693071B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
JP5448868B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP2020115679A (ja) | 物体検出装置、検出制御方法及びプログラム | |
JP6024135B2 (ja) | 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム | |
JP2009253925A (ja) | 撮像装置及び撮像方法と、撮影制御プログラム | |
JP5533241B2 (ja) | 動画再生装置、動画再生方法及びプログラム | |
JP5228927B2 (ja) | 電子機器、動作制御方法及びプログラム | |
JP2011097502A (ja) | 撮影制御装置および撮影制御方法 | |
JP2009098850A (ja) | 演算装置及びそのプログラム | |
JP6322964B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
JP6432290B2 (ja) | 撮像装置、撮像制御方法、及びプログラム | |
JP5644180B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2009194469A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200512 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220524 |