JP2023076884A - 被写体画像抽出システム、被写体画像抽出方法およびプログラム - Google Patents
被写体画像抽出システム、被写体画像抽出方法およびプログラム Download PDFInfo
- Publication number
- JP2023076884A JP2023076884A JP2021189894A JP2021189894A JP2023076884A JP 2023076884 A JP2023076884 A JP 2023076884A JP 2021189894 A JP2021189894 A JP 2021189894A JP 2021189894 A JP2021189894 A JP 2021189894A JP 2023076884 A JP2023076884 A JP 2023076884A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- moving object
- detected
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 136
- 238000000034 method Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】 高速に移動する被写体を撮影して、被写体が好適に写った画像を得ることが可能な被写体画像抽出システム、被写体画像抽出方法およびプログラムを提供する。【解決手段】 画像を連続して撮影する撮影手段と、撮影手段により取得された各画像を処理して、画像における動体を検出する動体検出手段と、動体が検出された場合に、動体が検出された画像を保存する画像保存手段と、保存された画像から被写体を検出し、検出された被写体に基づき、各画像に指標値を付与する被写体検出手段と、指標値に基づいて、抽出する画像である抽出画像を決定する抽出画像決定手段と、を有する被写体画像抽出システム。【選択図】 図1
Description
本開示は被写体画像抽出システム、被写体画像抽出方法およびプログラムに関する。
従来、遊園地、アミューズメントパーク、サーキット場などにおいて高速に移動する被写体をカメラで撮影することが行われている。高速に移動する被写体から好適な画像を抽出する技術としては様々なものが提案されている。その中で、カメラ映像を画像解析し、動きや人物の特徴に基づいた検出を用いた手法も開示されている(特許文献1参照)。
しかしながら、上記従来の技術では、撮影のトリガとして別途センサが必要になるなど設備が複雑になるという問題がある。
そこで、本開示は、高速に移動する被写体を撮影して、被写体が好適に写った画像を得ることが可能な被写体画像抽出システム、被写体画像抽出方法およびプログラムを提供することを課題とする。
上記課題を解決するため、本開示では、
画像を連続して撮影する撮影手段と、
前記撮影手段により取得された各画像を処理して、前記画像における動体を検出する動体検出手段と、
前記動体が検出された場合に、前記動体が検出された画像を保存する画像保存手段と、
前記保存された画像から被写体を検出し、前記検出された被写体に基づき、各画像に指標値を付与する被写体検出手段と、
前記指標値に基づいて、抽出する画像である抽出画像を決定する抽出画像決定手段と、
を有する被写体画像抽出システムを提供する。
画像を連続して撮影する撮影手段と、
前記撮影手段により取得された各画像を処理して、前記画像における動体を検出する動体検出手段と、
前記動体が検出された場合に、前記動体が検出された画像を保存する画像保存手段と、
前記保存された画像から被写体を検出し、前記検出された被写体に基づき、各画像に指標値を付与する被写体検出手段と、
前記指標値に基づいて、抽出する画像である抽出画像を決定する抽出画像決定手段と、
を有する被写体画像抽出システムを提供する。
また、本開示の被写体画像抽出システムにおける、
前記被写体検出手段は、前記動体検出手段よりも低い処理レートで前記保存された画像に対して処理を行ってもよい。
前記被写体検出手段は、前記動体検出手段よりも低い処理レートで前記保存された画像に対して処理を行ってもよい。
また、本開示の被写体画像抽出システムにおける、
前記画像保存手段は、被写体移動距離と被写体速度と撮影レートに基づいて算出された保存枚数を超えない枚数の画像を連続して保存してもよい。
前記画像保存手段は、被写体移動距離と被写体速度と撮影レートに基づいて算出された保存枚数を超えない枚数の画像を連続して保存してもよい。
また、本開示の被写体画像抽出システムにおける、
前記動体検出手段は、連続する画像間の差分に基づいて決定される領域の外接矩形を動体として検出してもよい。
前記動体検出手段は、連続する画像間の差分に基づいて決定される領域の外接矩形を動体として検出してもよい。
また、本開示の被写体画像抽出システムにおける、
前記動体検出手段は、設定された検出領域において検出された動体が、設定された最小検出サイズ以上である場合に限り、動体が検出されたものと判定してもよい。
前記動体検出手段は、設定された検出領域において検出された動体が、設定された最小検出サイズ以上である場合に限り、動体が検出されたものと判定してもよい。
また、本開示の被写体画像抽出システムにおいて
前記検出領域は複数個所設定され、1つの検出領域において、最小検出サイズ以上の動体が検出された場合に、他の検出領域に対して検出処理を行ってもよい。
前記検出領域は複数個所設定され、1つの検出領域において、最小検出サイズ以上の動体が検出された場合に、他の検出領域に対して検出処理を行ってもよい。
また、本開示の被写体画像抽出システムは、
前記被写体検出手段は、機械学習による学習済みモデルを用いた物体検出により前記被写体を検出し、当該検出された被写体の状態に基づく指標値を各画像に設定し、当該指標値に基づいて抽出画像を決定してもよい。
前記被写体検出手段は、機械学習による学習済みモデルを用いた物体検出により前記被写体を検出し、当該検出された被写体の状態に基づく指標値を各画像に設定し、当該指標値に基づいて抽出画像を決定してもよい。
また、本開示の被写体画像抽出システムにおける、
前記被写体検出手段で用いる前記指標値は、前記画像における前記被写体の位置、面積、尤度のいずれかの指標における値であってもよい。
前記被写体検出手段で用いる前記指標値は、前記画像における前記被写体の位置、面積、尤度のいずれかの指標における値であってもよい。
また、本開示では、
画像を連続して撮影する撮影装置に接続されたコンピュータが、被写体が写った画像を抽出画像として抽出する被写体画像抽出方法であって、
コンピュータが、
前記撮影装置により取得された各画像を処理して、前記画像における動体を検出し、
前記動体が検出された場合に、前記動体が検出された画像を保存し、
前記保存された画像から被写体を検出し、前記検出された被写体に基づき、各画像に指標値を付与し、
前記指標値に基づいて、抽出する画像である抽出画像を決定する、
を有する被写体画像抽出方法を提供する。
画像を連続して撮影する撮影装置に接続されたコンピュータが、被写体が写った画像を抽出画像として抽出する被写体画像抽出方法であって、
コンピュータが、
前記撮影装置により取得された各画像を処理して、前記画像における動体を検出し、
前記動体が検出された場合に、前記動体が検出された画像を保存し、
前記保存された画像から被写体を検出し、前記検出された被写体に基づき、各画像に指標値を付与し、
前記指標値に基づいて、抽出する画像である抽出画像を決定する、
を有する被写体画像抽出方法を提供する。
また、本開示では、
被写体を撮影する撮影装置に接続されたコンピュータを、
前記撮影装置により取得された各画像を処理して、前記画像における動体を検出する動体検出手段、
前記動体が検出された場合に、前記動体が検出された画像を保存する画像保存手段、
前記保存された画像から被写体を検出し、前記検出された被写体に基づき、各画像に指標値を付与する被写体検出手段、
前記指標値に基づいて、抽出する画像である抽出画像を決定する抽出画像決定手段、
として機能させるためのプログラムを提供する。
被写体を撮影する撮影装置に接続されたコンピュータを、
前記撮影装置により取得された各画像を処理して、前記画像における動体を検出する動体検出手段、
前記動体が検出された場合に、前記動体が検出された画像を保存する画像保存手段、
前記保存された画像から被写体を検出し、前記検出された被写体に基づき、各画像に指標値を付与する被写体検出手段、
前記指標値に基づいて、抽出する画像である抽出画像を決定する抽出画像決定手段、
として機能させるためのプログラムを提供する。
本開示によれば、高速に移動する被写体を撮影して、好適な静止画を得ることが可能な被写体画像抽出システム、被写体画像抽出方法およびプログラムを提供することが可能となる。
以下、本開示の好適な実施形態について図面を参照して詳細に説明する。
<システム構成>
図1は、本開示の一実施形態に係る被写体画像抽出システムの構成を示す図である。図1において、10は被写体画像抽出システム、11は処理装置、12は撮影装置、13は表示装置、14はプリンタ、15は動画データ出力部である。
<システム構成>
図1は、本開示の一実施形態に係る被写体画像抽出システムの構成を示す図である。図1において、10は被写体画像抽出システム、11は処理装置、12は撮影装置、13は表示装置、14はプリンタ、15は動画データ出力部である。
処理装置11は、被写体画像抽出システム10における様々な演算処理を行う装置であり、CPU、主メモリ、不揮発性の記憶装置等を有するコンピュータに、被写体画像抽出システム10としての機能を実現するためのプログラムを組み込むことにより実現される。処理装置11は、撮影装置12に接続されている。撮影装置12は、撮影を行って画像データとして撮影画像を取得する撮影手段であり、CCD等の撮像素子を備えた動画撮影カメラにより実現される。動画は静止画である画像を連続して撮影することにより得られる。本明細書において、単に画像という場合は静止画を意味する。表示装置13は、処理装置11により処理された結果に基づいて表示を行う表示手段であり、液晶ディスプレイ、有機ELディスプレイ等の汎用の表示機器により実現される。プリンタ14、動画データ出力部15は、画像を出力する画像出力手段である。プリンタ14は、画像を紙媒体等にプリント出力する。動画データ出力部15は、連続する複数の画像を動画として出力するデータ出力装置で実現される。
図2は、処理装置11の詳細を示す機能ブロック図である。本実施形態では、処理装置11は、汎用のコンピュータに専用のプログラムを組み込むことにより実現される。図2に示すように、処理装置11は、動体検出手段11a、画像保存手段11b、画像記憶手段11c、被写体検出手段11d、抽出画像決定手段11eを有する。
動体検出手段11aは、撮影装置12により取得された撮影画像に対して画像解析を行い、撮影画像内の動体を検出する手段であり、不揮発性の記憶装置に記憶されたプログラムをCPUが読み込んで実行することにより実現される。動体とは、移動する物体を意味する。画像保存手段11bは、動体が検出された場合に、動体が検出された画像を画像記憶手段11cに保存する手段であり、不揮発性の記憶装置に記憶されたプログラムをCPUが読み込んで実行することにより実現される。
画像記憶手段11cは、画像保存手段11bにより保存される画像を記憶する記憶手段である。画像記憶手段11cは、不揮発性の記憶装置により実現される。被写体検出手段11dは、保存された画像から被写体を検出し、検出された被写体に基づき、各画像に指標値を付与する手段であり、不揮発性の記憶装置に記憶されたプログラムをCPUが読み込んで実行することにより実現される。抽出画像決定手段11eは、指標値に基づいて、抽出する画像である抽出画像を決定する手段であり、不揮発性の記憶装置に記憶されたプログラムをCPUが読み込んで実行することにより実現される。
処理装置11は、キーボードやマウス等の指示入力部を備え、ユーザからの指示を受け付ける。ユーザからの指示に基づき、様々な設定値を設置することができる。
<処理動作>
次に、本実施形態に係る被写体画像抽出システムの処理動作について、本実施形態に係る被写体画像抽出方法とともに説明する。図3は、本実施形態に係る被写体画像抽出システムの処理概要を示す状態遷移図である。本実施形態に係る被写体画像抽出システムは、起動後、S1~S4の4つの状態に遷移しながら処理を行う。
次に、本実施形態に係る被写体画像抽出システムの処理動作について、本実施形態に係る被写体画像抽出方法とともに説明する。図3は、本実施形態に係る被写体画像抽出システムの処理概要を示す状態遷移図である。本実施形態に係る被写体画像抽出システムは、起動後、S1~S4の4つの状態に遷移しながら処理を行う。
まず、被写体画像抽出システムが起動すると、処理を開始する。そして、撮影装置12が常時撮影し、撮影により得られた画像データを撮影画像として取り込む。取り込まれた撮影画像は処理装置11に渡されて所定の処理が行われる。撮影装置12は、所定のレート(fps:フレーム(画像)/秒)で撮影を行い、撮影画像を取り込んで処理装置11に送る。所定のレートとしては任意に設定することができる。本実施形態では、60fpsとしている。撮影装置12による撮影画像の取得は、図3に示したS1~S4の状態に関わらず、被写体画像抽出システムの稼働中は常に行われる。
被写体画像抽出システムで処理が開始されると、まず、動体検出状態S1に移行する。動体検出状態S1では、撮影装置12が常時撮影し、撮影により得られた画像データを撮影画像として取り込む。そして、処理装置11は、取り込んだ撮影画像に対して、解析等の処理を行う。処理装置11における撮影画像の解析レートは、撮影装置12による撮影レートと同じであってもよいし、異なっていてもよい。例えば、上記のように撮影レートが60fpsである場合、処理装置11における解析レートは、撮影レートと同じ60fpsとしてもよいし、レートを落として例えば40fpsとしてもよい。
動体検出状態S1においては、処理装置11内の動体検出手段11aが動体検出処理を行う。そして、動体検出手段11aが、所定の大きさ以上の動体を1から数領域で連続して検出した場合には、画像保存状態S2に移行する。撮影画像から人物が検出されない場合には、撮影装置12が新たに取り込んだ撮影画像に対して、動体検出手段11aが動体検出処理を繰り返し行う。動体検出処理の詳細については後述する。
画像保存状態S2では、画像保存手段11bが、動体検出手段11aにより動体が検出された後の撮影画像を画像記憶手段11cに保存し続ける。そして、画像記憶手段11cに保存した撮影画像が所定数に達したら、被写体検出状態S3に移行する。
被写体検出状態S3では、被写体検出手段11dが、画像記憶手段11cに保存された画像に対して被写体検出及び指標値の付与を行う。被写体検出手段11dによる被写体検出及び指標値の付与の詳細については後述する。1枚以上被写体検出があった場合は、抽出画像決定状態S4に移行する。1枚も被写体検出がなかった場合は、動体検出状態S1に移行する。
抽出画像決定状態S4では、抽出画像決定手段11eが、抽出すべき画像である抽出画像を決定する。抽出すべき画像とは被写体が好適に写っている画像である。抽出画像決定手段11eは、画像から被写体を検出して、その画像に指標値を付与し、指標値に基づいて抽出画像を指定された枚数決定する。抽出画像決定手段11eが抽出画像を決定したら、処理装置11は、抽出画像を表示装置13に表示する。ユーザは、表示装置13に表示された抽出画像を確認することができる。ユーザの操作により処理装置11に対して出力指示が行われると、処理装置11は、抽出画像を画像出力手段に出力する。画像出力手段がプリンタ14である場合は、各画像がプリント出力される。画像出力手段が動画データ出力部15である場合は、複数の画像を連続表示可能な動画データとして出力される。抽出画像決定状態S4による処理を終えたら、処理装置11は、動体検出状態S1に移行する。
<各状態の処理レート>
本実施形態では、S1~S4の各状態で処理レートが異なる。動体検出状態S1、画像保存状態S2では、全ての撮影画像をリアルタイムで処理するために、撮影レートと同じレートで処理する必要がある。すなわち、動体検出手段11a、画像保存手段11bは、撮影装置12の撮影レートと同じ処理レートで処理を行う。一方、被写体検出状態S3は、保存された一定数の画像に対する処理であり、撮影レートと同じレートで処理する必要はない。また、抽出画像決定状態S4は、各画像に付与された指標値に対する処理であり、撮影レートと同じレートで処理する必要はない。すなわち、被写体検出手段11d、抽出画像決定手段11eは、撮影装置12の撮影レートより低い処理レートで処理を行ってもよい。
本実施形態では、S1~S4の各状態で処理レートが異なる。動体検出状態S1、画像保存状態S2では、全ての撮影画像をリアルタイムで処理するために、撮影レートと同じレートで処理する必要がある。すなわち、動体検出手段11a、画像保存手段11bは、撮影装置12の撮影レートと同じ処理レートで処理を行う。一方、被写体検出状態S3は、保存された一定数の画像に対する処理であり、撮影レートと同じレートで処理する必要はない。また、抽出画像決定状態S4は、各画像に付与された指標値に対する処理であり、撮影レートと同じレートで処理する必要はない。すなわち、被写体検出手段11d、抽出画像決定手段11eは、撮影装置12の撮影レートより低い処理レートで処理を行ってもよい。
図4は、本実施形態における各手段(各状態)における処理レートを示す図である。図4は、撮影装置12による撮影レートが60fpsの場合を示している。図4に示すように、本実施形態では、動体検出手段11a、画像保存手段11bの処理レートはともに60fpsである。また、被写体検出手段11d、抽出画像決定手段11eはともに10fpsである。このように、被写体検出手段11d、抽出画像決定手段11eの処理レートを撮影レートより低く抑えることにより、処理装置11の処理負荷を抑えることができる。
<保存枚数の設定>
保存枚数は、動体検出手段11aが動体を検出した場合における、画像保存手段11bによる保存枚数は、以下の(式1)(式2)により算出される。
保存枚数は、動体検出手段11aが動体を検出した場合における、画像保存手段11bによる保存枚数は、以下の(式1)(式2)により算出される。
設定保存枚数=撮影被写体移動時間×撮影レート・・・(式1)
撮影被写体移動時間=撮影被写体移動距離÷被写体速度・・・(式2)
撮影被写体移動時間=撮影被写体移動距離÷被写体速度・・・(式2)
(式1)における撮影レートは、動画カメラ等の撮影装置12のスペックおよび設定により定まる。(式1)における撮影被写体移動時間は、(式2)により算出されたものを求める。(式2)における被写体速度は、事前に設定したものを用いることができる。例えば、遊園地のジェットコースターや、レーシング場のレースカーは、撮影ポイントから見える所定の位置における速度はおおよその範囲で定まっている。このため、想定される被写体速度を事前に設定しておくことができる。
(式2)における撮影被写体移動距離は、事前に設定された撮影装置12の設置個所および移動体の想定移動範囲により定まる。例えば、移動体を撮影するために設置された撮影装置12の画角が、移動体との距離から換算して横10m×縦6mだったとする。この場合、最大となる対角線上の移動距離は11.7mとなる。この場合、切り上げて12mとすることができる。
例えば、以下の条件の場合について、設定保存枚数を算出してみる。
撮影被写体移動距離=12m
被写体速度=60km/h
撮影レート=60fps
撮影被写体移動距離=12m
被写体速度=60km/h
撮影レート=60fps
上記条件の場合、
撮影被写体移動時間=0.72秒・・・(式2)より
設定保存枚数=43枚・・・(式1)より
撮影被写体移動時間=0.72秒・・・(式2)より
設定保存枚数=43枚・・・(式1)より
なお、設定保存枚数は小数点以下切り捨てで算出される。以上のようにして、撮影レート、被写体速度(移動体の速度)、撮影装置12の画角における想定位置等に基づき、設定保存枚数を定めることができる。決定した撮影レート、被写体速度等は、指示入力部により入力され、処理装置11が設定する。画像保存手段11bは、被写体移動距離と被写体速度と撮影レートに基づいて算出された保存枚数を超えない枚数の画像を連続して保存することになる。
<動体検出>
動体検出状態S1における動体検出手段11aの処理について説明する。図5は動体検出手段11aによる動体検出処理を説明するための図である。上述のように、動体検出手段11aは撮影レートと同じ処理レートで撮影画像を処理していく。動体検出手段11aは連続する2枚の撮影画像を用いて動体領域を抽出する。図5(a)は時刻tにおける撮影画像であり、図5(b)は時刻t+1における撮影画像である。時刻tにおける撮影画像と時刻t+1における撮影画像は連続する2枚の撮影画像である。
動体検出状態S1における動体検出手段11aの処理について説明する。図5は動体検出手段11aによる動体検出処理を説明するための図である。上述のように、動体検出手段11aは撮影レートと同じ処理レートで撮影画像を処理していく。動体検出手段11aは連続する2枚の撮影画像を用いて動体領域を抽出する。図5(a)は時刻tにおける撮影画像であり、図5(b)は時刻t+1における撮影画像である。時刻tにおける撮影画像と時刻t+1における撮影画像は連続する2枚の撮影画像である。
動体検出手段11aは、2枚以上の撮影画像を比較解析することにより、動体領域を抽出する。具体的には、連続する画像間の差分を用いて、動体領域を抽出する。図5の例では、2枚の画像を用いている。図5(a)と図5(b)では、自動車だけが移動している。そのため、図5(c)に示すように、移動後の自動車の輪郭で囲まれる部分が動体領域として抽出される。さらに、動体検出手段11aは、抽出された動体領域の外接矩形を求め、この外接矩形を動体として検出する。図5(d)に示すように、外接矩形を動体とすることにより、後の処理における演算負荷を軽減することができる。
動体検出手段11aは撮影レートと同じ処理レートで高速に処理を行う。そのため、検出精度は相対的に低く、検出したい被写体以外を検出してしまうこともある。例えば、影、急激な気象変化、飛来物、鳥など、を誤検出してしまうことがある。このような誤検出を是正するため、本実施形態では、後の被写体検出状態S3において、被写体検出手段11dが、詳細な検出を行う。逆に言えば、被写体検出手段11dが詳細な検出を行うため、動体検出手段11aは撮影レートに合わせて高速な処理を行うことが可能となる。
動体検出手段11aは、図5に示した例以外でも、様々な手法により動体検出を行うことができる。図6は動体検出手段11aによる動体検出処理の他の手法を説明するための図である。図6(a)は1枚の撮影画像であり、図6(b)は図6(a)に示した撮影画像に検出領域を設定した状態である。図6の例は、移動体の動くルートが特定されており、移動体の速度が速い場合に適した手法である。図6においては、動くルートが特定されており、移動体の速度が速いジェットコースターを示している。このような場合、動くルートはレール上に決まっているので、事前にレール上に検出領域を設定しておく。検出領域は1か所以上であれば、任意の数の箇所を設定することができる。
図6(b)の例では、2箇所の検出領域が設定されている。このように検出領域が複数個所設定されている場合、動体検出手段11aはまず1箇所目の検出領域に対して検出処理を行う。そして、図5に示したように、連続する2枚の撮影画像において検出領域のみで比較を行う。検出精度を高めるため、3枚以上の画像を用いてもよい。図6(c)は、検出領域を拡大した状態を示す図である。図6(c)に示すように、各検出領域には、最小検出サイズが設定されている。動体検出手段11aは、設定された検出領域において検出された動体が、設定された最小検出サイズ以上である場合に限り、動体が検出されたものと判定する。1箇所目の検出領域において、最小検出サイズ以上の動体が検出されたら、動体検出手段11aは2箇所目の検出領域に対して検出処理を行う。2箇所目の検出領域でも最小検出サイズ以上の動体が検出されたら、動体検出手段11aは、動体が検出されたと判断する。図6のように、事前に設定した検出領域のみを比較対象とすることにより、図5のように撮影画像全体を比較対象とする場合に比べて、処理負荷を低減して高速な処理を行うことが可能となる。
<被写体検出>
被写体検出状態S3における被写体検出手段11dの処理について説明する。図7は被写体検出手段11dによる被写体検出処理を説明するための図である。図7においては、上から下に向かって画像が連続する様子を示している。図7においては、そのうち、画像G1、G2、G3の3つの画像について示している。上述のように、被写体検出手段11dは撮影レートより低い処理レートで保存された画像を処理していく。被写体検出手段11dは、保存された画像を解析して被写体を検出する。撮影画像の解析は、機械学習による物体検出の学習済みモデルを用いてもよいし、事前に用意された被写体のパターンを用いたパターンマッチングを用いてもよい。
被写体検出状態S3における被写体検出手段11dの処理について説明する。図7は被写体検出手段11dによる被写体検出処理を説明するための図である。図7においては、上から下に向かって画像が連続する様子を示している。図7においては、そのうち、画像G1、G2、G3の3つの画像について示している。上述のように、被写体検出手段11dは撮影レートより低い処理レートで保存された画像を処理していく。被写体検出手段11dは、保存された画像を解析して被写体を検出する。撮影画像の解析は、機械学習による物体検出の学習済みモデルを用いてもよいし、事前に用意された被写体のパターンを用いたパターンマッチングを用いてもよい。
被写体が検出されたら、被写体検出手段11dは、検出された被写体の撮影画像上における位置を特定する。具体的には、撮影画像内における被写体位置と被写体面積を設定する。被写体位置は、撮影画像の中心画素から被写体の中心画素までの距離で表現する。したがって、被写体位置が0であれば、被写体は画像の中心にあることを意味する。被写体位置が0に近付くほど被写体は画像の中心に近いことを意味し、被写体位置の値が大きくなるほど被写体は画像の中心から遠いことを意味する。
被写体面積は、撮影画像における被写体の面積を示す。被写体の面積は撮影画像中の画素数に比例して設定される。このようにして、被写体検出手段11dは、画像記憶手段11cに記憶された各撮影画像に指標値を付与する。
画像G1では、被写体が比較的小さいため、被写体面積が2、画像G2では、人物が中くらいの大きさであるため、被写体面積が6、画像G3では、被写体が比較的大きいため、被写体面積が8となっている。また、画像G1では、被写体が中心から比較的遠いため、被写体位置が8、画像G2では、被写体が中心に位置するため、被写体位置が0、画像G3では、被写体が中心から比較的近いため、被写体位置が6となっている。
図7の例に限定されず、被写体面積は、被写体の相対的な大きさを表現できる指標であればよい。また、被写体位置は、必ずしも中央からの距離である必要はなく、撮影画像における位置を相対的に表現できる指標であればよい。
<抽出画像決定>
抽出画像決定状態S4における抽出画像決定手段11eの処理について説明する。図8は抽出画像決定手段11eによる抽出画像決定処理を説明するための図である。上述のように、抽出画像決定手段11eは撮影レートより低い処理レートで撮影画像を処理していく。実際には、被写体検出手段11dと同一の処理レートで行うことが好ましい。抽出画像決定状態S4は、被写体検出手段11dにより検出された被写体の指標値に基づいて、抽出画像を決定する。
抽出画像決定状態S4における抽出画像決定手段11eの処理について説明する。図8は抽出画像決定手段11eによる抽出画像決定処理を説明するための図である。上述のように、抽出画像決定手段11eは撮影レートより低い処理レートで撮影画像を処理していく。実際には、被写体検出手段11dと同一の処理レートで行うことが好ましい。抽出画像決定状態S4は、被写体検出手段11dにより検出された被写体の指標値に基づいて、抽出画像を決定する。
被写体のどの指標値に基づいて抽出画像を決定するかについては、事前に設定しておくことができる。例えば、被写体位置の指標を優先にした場合(位置優先)、被写体位置が中心に近い画像から順に所定枚数を抽出する。例えば、被写体面積の指標を優先にした場合(面積優先)、被写体面積が大きい画像方から順に所定枚数を抽出する。また、抽出する枚数については、枚数自体を設定しておいてもよいし、指標値が所定の条件を満たす枚数だけ抽出するようにしてもよい。
例えば60fpsのように高速撮影した場合、撮影画像に写る被写体の位置や大きさ(面積)は徐々に変化する。そのため、位置優先の場合も面積優先の場合も連続した画像が抽出されることが多い。位置優先で10枚を抽出する設定が行われていた場合、図8に示すように画像G2を含む10枚の画像が連続して抽出される。面積優先で10枚を抽出する設定が行われていた場合、図8に示すように画像G3を含む10枚の画像が連続して抽出される。抽出画像を決定するために用いる指標としては、被写体の位置や面積だけでなく、尤度(確からしさ)を用いるようにしてもよい。尤度とは、被写体である可能性の高さを示す度合であり、学習済みモデルを用いた物体検出の際のスコアなどを用いることができる。
以上のようにして、抽出された撮影画像は、プリンタ14、動画データ出力部15等の画像出力部に出力される。画像出力部への画像の出力は、抽出画像決定手段11eにより決定された抽出画像を直接行うようにしてもよい。また、抽出画像決定手段11eにより決定された抽出画像を表示装置13に表示出力し、内容を確認した後、指示入力部からのユーザからの指示に基づき、画像出力部へ画像を出力するようにしてもよい。
以上、本開示の好適な実施形態について説明したが、本開示は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、処理装置11としてコンピュータを用い、記憶装置に記憶された専用のプログラムをCPUが実行することにより、動体検出手段、画像保存手段、被写体検出手段、抽出画像決定手段を実現するようにしたが、これらの各手段を演算回路としてハードウェアに組み込むようにしても良い。
11・・・処理装置
11a・・・動体検出手段
11b・・・画像保存手段
11c・・・画像記憶手段
11d・・・被写体検出手段
11e・・・抽出画像決定手段
12・・・撮影装置
13・・・表示装置
14・・・プリンタ
15・・・動画データ出力部
11a・・・動体検出手段
11b・・・画像保存手段
11c・・・画像記憶手段
11d・・・被写体検出手段
11e・・・抽出画像決定手段
12・・・撮影装置
13・・・表示装置
14・・・プリンタ
15・・・動画データ出力部
Claims (10)
- 画像を連続して撮影する撮影手段と、
前記撮影手段により取得された各画像を処理して、前記画像における動体を検出する動体検出手段と、
前記動体が検出された場合に、前記動体が検出された画像を保存する画像保存手段と、
前記保存された画像から被写体を検出し、前記検出された被写体に基づき、各画像に指標値を付与する被写体検出手段と、
前記指標値に基づいて、抽出する画像である抽出画像を決定する抽出画像決定手段と、
を有する被写体画像抽出システム。 - 前記被写体検出手段は、前記動体検出手段よりも低い処理レートで前記保存された画像に対して処理を行う、請求項1に記載の被写体画像抽出システム。
- 前記画像保存手段は、被写体移動距離と被写体速度と撮影レートに基づいて算出された保存枚数を超えない枚数の画像を連続して保存する、請求項1または請求項2に記載の被写体画像抽出システム。
- 前記動体検出手段は、連続する画像間の差分に基づいて決定される領域の外接矩形を動体として検出する、請求項1から請求項3のいずれか一項に記載の被写体画像抽出システム。
- 前記動体検出手段は、設定された検出領域において検出された動体が、設定された最小検出サイズ以上である場合に限り、動体が検出されたものと判定する、請求項1から請求項4のいずれか一項に記載の被写体画像抽出システム。
- 前記検出領域は複数個所設定され、1つの検出領域において、最小検出サイズ以上の動体が検出された場合に、他の検出領域に対して検出処理を行う、請求項5に記載の被写体画像抽出システム。
- 前記被写体検出手段は、機械学習による学習済みモデルを用いた物体検出により前記被写体を検出し、当該検出された被写体の状態に基づく指標値を各画像に設定し、当該指標値に基づいて抽出画像を決定する、請求項1から請求項6のいずれか一項に記載の被写体画像抽出システム。
- 前記被写体検出手段で用いる前記指標値は、前記画像における前記被写体の位置、面積、尤度のいずれかの指標における値である、請求項1から請求項7のいずれか一項に記載の被写体画像抽出システム。
- 画像を連続して撮影する撮影装置に接続されたコンピュータが、被写体が写った画像を抽出画像として抽出する被写体画像抽出方法であって、
コンピュータが、
前記撮影装置により取得された各画像を処理して、前記画像における動体を検出し、
前記動体が検出された場合に、前記動体が検出された画像を保存し、
前記保存された画像から被写体を検出し、前記検出された被写体に基づき、各画像に指標値を付与し、
前記指標値に基づいて、抽出する画像である抽出画像を決定する、
を有する被写体画像抽出方法。 - 被写体を撮影する撮影装置に接続されたコンピュータを、
前記撮影装置により取得された各画像を処理して、前記画像における動体を検出する動体検出手段、
前記動体が検出された場合に、前記動体が検出された画像を保存する画像保存手段、
前記保存された画像から被写体を検出し、前記検出された被写体に基づき、各画像に指標値を付与する被写体検出手段、
前記指標値に基づいて、抽出する画像である抽出画像を決定する抽出画像決定手段、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021189894A JP2023076884A (ja) | 2021-11-24 | 2021-11-24 | 被写体画像抽出システム、被写体画像抽出方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021189894A JP2023076884A (ja) | 2021-11-24 | 2021-11-24 | 被写体画像抽出システム、被写体画像抽出方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023076884A true JP2023076884A (ja) | 2023-06-05 |
Family
ID=86610350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021189894A Pending JP2023076884A (ja) | 2021-11-24 | 2021-11-24 | 被写体画像抽出システム、被写体画像抽出方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023076884A (ja) |
-
2021
- 2021-11-24 JP JP2021189894A patent/JP2023076884A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
US8254630B2 (en) | Subject extracting method and device by eliminating a background region using binary masks | |
JP5699432B2 (ja) | 画像処理装置 | |
US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
JP2010118862A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
US20060245649A1 (en) | Method and system for recognizing objects in an image based on characteristics of the objects | |
KR20170112763A (ko) | 전자 장치 및 그의 동작 방법 | |
JP2013062741A (ja) | 画像処理装置および撮像装置、ならびに画像処理方法 | |
JP2006318364A (ja) | 画像処理装置 | |
KR101661211B1 (ko) | 얼굴 인식률 개선 장치 및 방법 | |
JP4717445B2 (ja) | 画像処理システム、画像処理装置、ゲーム装置、プログラム、情報記憶媒体および画像処理方法 | |
CN107958202B (zh) | 人体检测设备、人体检测设备的控制方法和存储介质 | |
JP2016167128A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7197000B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP6789410B2 (ja) | 画像処理装置、制御方法及び制御プログラム | |
JP2023076884A (ja) | 被写体画像抽出システム、被写体画像抽出方法およびプログラム | |
JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
JP4716266B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
US20210227131A1 (en) | Image capturing support apparatus, image capturing support method, and computer-readable recording medium | |
JP5995610B2 (ja) | 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム | |
JP2018092507A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5884759B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5247419B2 (ja) | 撮像装置および被写体追跡方法 | |
JP6543546B2 (ja) | 特定動作検出装置及び特定動作検出方法 | |
WO2020259603A1 (zh) | 图像处理装置及图像处理方法 |