JP2014187484A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2014187484A JP2014187484A JP2013060125A JP2013060125A JP2014187484A JP 2014187484 A JP2014187484 A JP 2014187484A JP 2013060125 A JP2013060125 A JP 2013060125A JP 2013060125 A JP2013060125 A JP 2013060125A JP 2014187484 A JP2014187484 A JP 2014187484A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- ball
- image processing
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】計測対象の物体以外の動体が画像中に存在する場合でも精度良く計測対象の物体を検出できるようにすること。
【解決手段】撮像装置１は、フレームアウト画像特定部５６と、ボール検出部５８とを備えている。フレームアウト画像特定部５６は、連続的に撮像された各画像から、計測対象の物体の一例であるボールが存在しなくなる、フレームアウト画像を特定する。ボール検出部５８は、フレームアウト画像を基準として、連続的に撮像された各画像から計測対象の物体を探索する。
【選択図】図２
【解決手段】撮像装置１は、フレームアウト画像特定部５６と、ボール検出部５８とを備えている。フレームアウト画像特定部５６は、連続的に撮像された各画像から、計測対象の物体の一例であるボールが存在しなくなる、フレームアウト画像を特定する。ボール検出部５８は、フレームアウト画像を基準として、連続的に撮像された各画像から計測対象の物体を探索する。
【選択図】図２
Description
本発明は、計測物体の領域を検出する画像処理装置、画像処理方法及びプログラムに関する。
従来より、ゴルフやテニス等の球技におけるユーザのフォームが連続画像として撮像され、当該連続画像が解析され、その解析結果に基づいてユーザのフォームのアドバイス等が行われている。
このような連続画像の解析の１つとして、連続画像から、移動するボールを検出する技術が知られている（例えば特許文献１及び２参照）。
このような連続画像の解析の１つとして、連続画像から、移動するボールを検出する技術が知られている（例えば特許文献１及び２参照）。
しかしながら、特許文献１を含め従来の技術では、連続画像に含まれる移動物体がボールだけの場合には一定の精度でボールを検出することができるものの、ゴルフクラブ等、ボールと略等しい速度の移動物体がボールとは別に存在するような場合には、ボールの検出の精度が悪化したり、ボールの検出がうまくできなくなる虞があった。
そこで、計測対象の物体以外の動体が画像中に存在する場合でも、精度良く計測対象の物体を検出することが要望されている。
そこで、計測対象の物体以外の動体が画像中に存在する場合でも、精度良く計測対象の物体を検出することが要望されている。
本発明は、このような状況に鑑みてなされたものであり、計測対象の物体以外の動体が画像中に存在する場合でも精度良く計測対象の物体を検出できるようにすることを目的とする。
上記目的を達成するため、本発明の一態様の画像処理装置は、
連続的に撮像された各画像から、計測対象の物体のフレームアウト直前の画像を特定する特定手段と、
前記特定手段により特定された前記フレームアウト直前の画像を基準として、前記連続的に撮像された各画像から前記計測対象の物体の領域を検出する検出手段と、
を備えることを特徴とする。
連続的に撮像された各画像から、計測対象の物体のフレームアウト直前の画像を特定する特定手段と、
前記特定手段により特定された前記フレームアウト直前の画像を基準として、前記連続的に撮像された各画像から前記計測対象の物体の領域を検出する検出手段と、
を備えることを特徴とする。
本発明によれば、計測対象の物体以外の動体が画像中に存在する場合でも精度良く計測対象の物体を検出することが可能になる。
以下、本発明の実施形態について、図面を用いて説明する。
図１は、本発明の画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラして構成される。
撮像装置１は、例えばデジタルカメラして構成される。
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
例えば、画像処理部４１は、撮像部１７から出力される画像のデータに対して、ノイズ低減、ホワイトバランスの調整、手ぶれ補正等の画像処理を施す。
例えば、画像処理部４１は、撮像部１７から出力される画像のデータに対して、ノイズ低減、ホワイトバランスの調整、手ぶれ補正等の画像処理を施す。
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や画像処理部１４等に適宜供給される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や画像処理部１４等に適宜供給される。
入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
図２は、このような撮像装置１の機能的構成のうち、ボール速度推定処理を実行するための機能的構成を示す機能ブロック図である。
ここで、ボール速度推定処理とは、例えばゴルフのスイングの動作が高速撮影された連続画像（例えば本実施形態では、複数のフレームから構成される動画像であるとする）が処理対象の画像とされて、処理対象の画像における移動（飛行）するボールの軌跡及び速度が算出されるまでに実行される一連の処理をいう。
本実施形態では、精度良いボールの追跡を可能にすべく、撮像装置１は、移動するボールがカメラの撮像範囲から外れて撮像されなくなった（被写体として含まれなくなった）フレーム（以下、「フレームアウト画像」と呼ぶ）を特定する。そして、撮像装置１は、当該フレームアウト画像に基づいて、ボール速度推定アルゴリズムを逆時系列順に適用することで、ボールの軌跡及び速度を算出する。
ここで、ボール速度推定アルゴリズムとは、処理対象の連続画像の輝度画像から、分離度マップ（処理対象と同一解像度の画像であって、各画素値として分離度が採用されている画像）を生成し、ボールが等速直線運動をしているという仮定の下で分離度の高い地点（画素）を結ぶことによって、ボールの軌跡を算出すると共に、当該ボールの速度を算出するためのアルゴリズムをいう。分離度を含め、ボール速度推定アルゴリズムの詳細は、特許文献１に既に開示されているので、ここではその説明は省略する。
詳細については後述するが、本実施形態では、ボール速度推定アルゴリズムが適用されるに際し、ゴルフクラブとボールとの関係から適応的に各種閾値が自動的に設定されて用いられるので、特許文献１における場合と比較して推定の精度が向上する。
本実施形態では、精度良いボールの追跡を可能にすべく、撮像装置１は、移動するボールがカメラの撮像範囲から外れて撮像されなくなった（被写体として含まれなくなった）フレーム（以下、「フレームアウト画像」と呼ぶ）を特定する。そして、撮像装置１は、当該フレームアウト画像に基づいて、ボール速度推定アルゴリズムを逆時系列順に適用することで、ボールの軌跡及び速度を算出する。
ここで、ボール速度推定アルゴリズムとは、処理対象の連続画像の輝度画像から、分離度マップ（処理対象と同一解像度の画像であって、各画素値として分離度が採用されている画像）を生成し、ボールが等速直線運動をしているという仮定の下で分離度の高い地点（画素）を結ぶことによって、ボールの軌跡を算出すると共に、当該ボールの速度を算出するためのアルゴリズムをいう。分離度を含め、ボール速度推定アルゴリズムの詳細は、特許文献１に既に開示されているので、ここではその説明は省略する。
詳細については後述するが、本実施形態では、ボール速度推定アルゴリズムが適用されるに際し、ゴルフクラブとボールとの関係から適応的に各種閾値が自動的に設定されて用いられるので、特許文献１における場合と比較して推定の精度が向上する。
このようなボール速度算出処理が実行される場合、図２に示すように、ＣＰＵ１１又は画像処理部１４においては、画像読み込み部５１と、分離度算出部５２と、差分分離度算出部５３と、クラブ速度算出部５４と、指標値算出部５５と、フレームアウト画像特定部５６と、閾値設定部５７と、ボール検出部５８と、ボール速度算出部５９とが機能する。
記憶部２０の一領域として、動画記憶部６１と、対象画像記憶部６２とが設けられる。
動画記憶部６１には、ゴルフのスイングの動作の様子が夫々映る１以上の動画像のデータが予め記憶されている。なお、動画記憶部６１に記憶される動画像のデータは、撮像部１７により撮像された撮像画像のデータであってもよいし、図示せぬ他の装置から送信されて通信部２１に受信された画像のデータであってもよい。
対象画像記憶部６２には、動画記憶部６１に記憶された１以上の動画像のデータのうち、ボール速度算出処理の対象となるデータ、即ちボールの軌跡及び速度の算出の対象となる動画像のデータが記憶される。
記憶部２０の一領域として、動画記憶部６１と、対象画像記憶部６２とが設けられる。
動画記憶部６１には、ゴルフのスイングの動作の様子が夫々映る１以上の動画像のデータが予め記憶されている。なお、動画記憶部６１に記憶される動画像のデータは、撮像部１７により撮像された撮像画像のデータであってもよいし、図示せぬ他の装置から送信されて通信部２１に受信された画像のデータであってもよい。
対象画像記憶部６２には、動画記憶部６１に記憶された１以上の動画像のデータのうち、ボール速度算出処理の対象となるデータ、即ちボールの軌跡及び速度の算出の対象となる動画像のデータが記憶される。
画像読み込み部５１は、ボール速度算出処理の対象となる動画像のデータを動画記憶部６１から読み込み、対象画像記憶部６２に記憶させる。
ここで、ボール速度算出処理は、ボールのショットのシーンの前後についての、次の２つの処理に大別される。
即ち、ボールのショットのシーンの前の処理として、ショットの前まではボールは静止しており速度は０であるため、ショット直前のゴルフクラブの速度を算出する処理が実行される。以下、このような処理を、「ショット前の速度算出処理」と呼ぶ。
一方、ボールのショットのシーンの後の処理として、ショット後に移動する（飛んでいく）ボールの軌跡を算出する処理（以下、「ショット後のボール検出処理」と呼ぶ）が実行されて、ボールの速度を算出する処理が実行される。
即ち、ボールのショットのシーンの前の処理として、ショットの前まではボールは静止しており速度は０であるため、ショット直前のゴルフクラブの速度を算出する処理が実行される。以下、このような処理を、「ショット前の速度算出処理」と呼ぶ。
一方、ボールのショットのシーンの後の処理として、ショット後に移動する（飛んでいく）ボールの軌跡を算出する処理（以下、「ショット後のボール検出処理」と呼ぶ）が実行されて、ボールの速度を算出する処理が実行される。
ショット前部分の速度算出処理が実行される場合、図２の機能ブロックのうち、特に、画像読み込み部５１、分離度算出部５２、差分分離度算出部５３、及びクラブ速度算出部５４が機能する。
画像読み込み部５１は、対象画像記憶部６２に記憶されている動画像のデータのうち、ショット前の様子が映る所定区間の動画像のデータ、例えばショットフレーム直前の４フレームのデータを処理対象として読み込む。
ここで、ショットフレームとは、ショットの瞬間が映るフレームであり、既知のアルゴリズムにより特定されているものとする。また、ショットフレーム内のボールの位置も既に特定されているものとする。
ここで、ショットフレームとは、ショットの瞬間が映るフレームであり、既知のアルゴリズムにより特定されているものとする。また、ショットフレーム内のボールの位置も既に特定されているものとする。
分離度算出部５２は、処理対象の各フレームのデータ毎に、画素単位で分離度を算出することで、分離度マップを夫々生成する。即ち、ショット前部分の速度算出処理では、ショットフレーム直前の４フレームの夫々に対応して、分離度マップが夫々生成される。
分離度の算出の手法は、特に限定されないが、本実施形態では、特許文献１に記載の手法が採用されているものとする。
以下、特許文献１に記載の分離度の算出の手法の概要について説明する。
例えば、所定のフレーム（画像）における所定の座標（ｘ，ｙ）に位置する画素が、注目画素に設定されるものとする。移動物体の半径が「ｒｏ」とされ、移動物体の振れ幅範囲が「ｒ」とされた場合、注目画素を中心として、座標（ｘ−２ｒ，ｙ−２ｒ０）、座標（ｘ−２ｒ，ｙ＋２ｒ０）、座標（ｘ＋２ｒ，ｙ−２ｒ０）、及び座標（ｘ＋２ｒ，ｙ＋２ｒ０）の夫々４点を頂点とする矩形領域が全体領域Ａ０に設定される。また、全体領域Ａ０のうち、座標（ｘ−ｒ，ｙ−ｒ０）、座標（ｘ−ｒ，ｙ＋ｒ０）、座標（ｘ＋ｒ，ｙ−ｒ０）、及び座標（ｘ＋ｒ，ｙ＋ｒ０）を頂点とする矩形領域が第１領域Ａ１に設定され、第１領域Ａ１以外の領域が第２領域Ａ２に設定される。
ここで、全体領域Ａ０について、画素数が「Ｎ」と、各画素値（輝度値）が「Ｐｉ」と、画素値平均が「Ｐmave」と、夫々記述され、第１領域Ａ１について、画素数が「ｎ１」と、画素値平均が「Ｐ１ave」と、夫々記述され、第２領域Ａ２について、画素数が「ｎ２」と、画素値平均が「Ｐ２ave」と、夫々記述された場合に、注目画素の分離度ηは、次式（１）により算出される。
なお、画素値としては、輝度値に代えて、例えば特定の色成分や色相等を利用してもよい。
式（１）の分離度ηは、全体領域Ａ０全体の変動に占める第１領域Ａ１と第２領域Ａ２との領域間の変動の割合を示しており、領域間を最良に分離するときに最大値をとるようになっている。
ここで、式（１）の分離度ηは、０〜１の範囲に正規化された値であるため、異なる大きさや形状の領域に適用しても単純に比較することができる点で有用である。
なお、当該手法のさらなる詳細については、特許文献１を参照するとよい。
以下、特許文献１に記載の分離度の算出の手法の概要について説明する。
例えば、所定のフレーム（画像）における所定の座標（ｘ，ｙ）に位置する画素が、注目画素に設定されるものとする。移動物体の半径が「ｒｏ」とされ、移動物体の振れ幅範囲が「ｒ」とされた場合、注目画素を中心として、座標（ｘ−２ｒ，ｙ−２ｒ０）、座標（ｘ−２ｒ，ｙ＋２ｒ０）、座標（ｘ＋２ｒ，ｙ−２ｒ０）、及び座標（ｘ＋２ｒ，ｙ＋２ｒ０）の夫々４点を頂点とする矩形領域が全体領域Ａ０に設定される。また、全体領域Ａ０のうち、座標（ｘ−ｒ，ｙ−ｒ０）、座標（ｘ−ｒ，ｙ＋ｒ０）、座標（ｘ＋ｒ，ｙ−ｒ０）、及び座標（ｘ＋ｒ，ｙ＋ｒ０）を頂点とする矩形領域が第１領域Ａ１に設定され、第１領域Ａ１以外の領域が第２領域Ａ２に設定される。
ここで、全体領域Ａ０について、画素数が「Ｎ」と、各画素値（輝度値）が「Ｐｉ」と、画素値平均が「Ｐmave」と、夫々記述され、第１領域Ａ１について、画素数が「ｎ１」と、画素値平均が「Ｐ１ave」と、夫々記述され、第２領域Ａ２について、画素数が「ｎ２」と、画素値平均が「Ｐ２ave」と、夫々記述された場合に、注目画素の分離度ηは、次式（１）により算出される。
式（１）の分離度ηは、全体領域Ａ０全体の変動に占める第１領域Ａ１と第２領域Ａ２との領域間の変動の割合を示しており、領域間を最良に分離するときに最大値をとるようになっている。
ここで、式（１）の分離度ηは、０〜１の範囲に正規化された値であるため、異なる大きさや形状の領域に適用しても単純に比較することができる点で有用である。
なお、当該手法のさらなる詳細については、特許文献１を参照するとよい。
処理対象の各フレーム毎に、全画素が注目画素に順次設定されて、その都度分離度ηが算出されることによって、分離度マップが夫々生成される。即ち、１枚のフレームに対応して、各分離度ηを各画素値として有する画像のデータが分離度マップとして生成される。
差分分離度算出部５３は、処理対象の各フレームのデータ毎に、所定フレームに対応する分離度マップと、その直前のフレームに対応する分離度マップとの間で、いわゆるフレーム間差分値（対応する画素位置での各分離度の差分）を算出する。なお、この算出の結果得られる、分離度の差分値を各画素値として有する画像のデータを、以下、「差分分離度マップ」と呼ぶ。
このように差分分離度マップが算出される理由は、静止物体の影響を除去することができるからである。つまり、背景に移動物体と大きさが略等しい静止物体（或いは、図柄模様を有する物体等）が存在する場合には、当該静止物体の領域における分離度が、移動物体の領域と同様に高くなり、分離度に基づくボールの位置の算出が行われる場合には、当該静止物体の位置がボールの位置と誤認されるおそれがある。そこで、隣接するフレームに対応する各分離度マップの差分を取ることで、即ち差分分離度マップが生成されることで、この静止物体の領域における差分値は略０になるため、当静止静物体の影響を除去することが可能になる。
なお、分離度の差分のさらなる詳細については、特許文献１を参照するとよい。
このように差分分離度マップが算出される理由は、静止物体の影響を除去することができるからである。つまり、背景に移動物体と大きさが略等しい静止物体（或いは、図柄模様を有する物体等）が存在する場合には、当該静止物体の領域における分離度が、移動物体の領域と同様に高くなり、分離度に基づくボールの位置の算出が行われる場合には、当該静止物体の位置がボールの位置と誤認されるおそれがある。そこで、隣接するフレームに対応する各分離度マップの差分を取ることで、即ち差分分離度マップが生成されることで、この静止物体の領域における差分値は略０になるため、当静止静物体の影響を除去することが可能になる。
なお、分離度の差分のさらなる詳細については、特許文献１を参照するとよい。
クラブ速度算出部５４は、処理対象の各フレームの夫々に対応する各差分分離度マップを用いて、ゴルフクラブを移動物体として、当該ゴルフクラブの速度を算出する。
即ち、差分分離度マップで表される各画素位置の分離度の差分は、背景画像中の静止物体の影響が除去された、各画素位置の移動物体（ここではゴルフクラブ）が存する確度に係る評価値を表している。
そこで、クラブ速度算出部５４は、ゴルフクラブの移動が予測される領域内において、評価値を累積し、その累積値に基づいてゴルフクラブの速度を算出する。
なお、移動物体（ここではゴルフクラブ）の速度の算出の手法のさらなる詳細については、特許文献１を参照するとよい。
即ち、差分分離度マップで表される各画素位置の分離度の差分は、背景画像中の静止物体の影響が除去された、各画素位置の移動物体（ここではゴルフクラブ）が存する確度に係る評価値を表している。
そこで、クラブ速度算出部５４は、ゴルフクラブの移動が予測される領域内において、評価値を累積し、その累積値に基づいてゴルフクラブの速度を算出する。
なお、移動物体（ここではゴルフクラブ）の速度の算出の手法のさらなる詳細については、特許文献１を参照するとよい。
このようにして、画像読み込み部５１、分離度算出部５２、差分分離度算出部５３、及びクラブ速度算出部５４により、ショット前部分の速度算出処理が実行されると、ボールのショットの後の処理として、上述したように、ショット後のボール検出処理が実行されて、ボールの速度を算出する処理が実行される。
ショット後のボール検出処理が実行される場合、図２の機能ブロックのうち、特に、画像読み込み部５１、分離度算出部５２、差分分離度算出部５３、指標値算出部５５、フレームアウト画像特定部５６、閾値設定部５７、及びボール検出部５８が機能する。
画像読み込み部５１は、対象画像記憶部６２に記憶されている動画像のデータのうち、ショット後の様子が映る所定区間の動画像のデータ、例えばショットフレーム直後の１５フレームのデータを処理対象として読み込む。
その後、処理対象の各フレームのデータ毎に、分離度算出部５２により分離度マップが夫々算出され、差分分離度算出部５３により差分分離度マップが夫々算出される。
その後、処理対象の各フレームのデータ毎に、分離度算出部５２により分離度マップが夫々算出され、差分分離度算出部５３により差分分離度マップが夫々算出される。
指標値算出部５５は、処理対象の各フレームの各々に対応する差分分離度マップについて、ゴルフのボールの移動が予想される領域において、差分分離度（評価値）を累積した値を、当該ボールが存する確度の指標を示す値（以下、「指標値」と呼ぶ）として算出する。
図３は、指標値の算出の手法を説明するための、処理対象の所定フレームに対応する差分分離度マップの一例を示している。
例えば、処理対象の所定フレームに対応する差分分離度マップＦＴのうち、右下の領域ＣＡが、ゴルフのボールの移動が予想される領域であるものとする。この領域ＣＡは、座標（ｘ１，ｙ１）、座標（ｘｎ，ｙ１）、座標（ｘ１，ｙｍ）、及び座標（ｘｎ，ｙｍ）の夫々４点を頂点とする矩形領域とされている。ここで、ｎは、１以上の整数値であるものとする。即ち、領域ＣＡの長辺の長さ（Ｘ軸方向の長さ）は、ｎ画素分の長さとされている。具体的には例えば、本実施形態では、ｎは、水平ラインの全画素数の４／５であるものとする。一方、ｍは、１以上の整数値であってｎとは独立した整数値であるものとする。即ち、領域ＣＡの短辺の長さ（Ｙ軸方向の長さ）は、ｍ画素分の長さとされている。具体的には例えば、本実施形態では、ｍは、垂直ラインの全画素数の１／２であるものとする。
この場合、指標値算出部５５は、処理対象の所定フレームに対応する差分分離度マップＦＴのうち、領域ＣＡの各Ｘ座標毎に、Ｙ軸方向への差分分離度の累積加算値を、指標値として算出する。
即ち、Ｘ座標ｘｉ（ｉは、１乃至ｎのうち何れかの整数値）における指標値Ｔ［ｘｉ］は、次の式（２）により算出される。
式（２）において、Ｄ［ｘｉ，ｙｊ］は、処理対象の所定フレームにおける座標（ｘｉ，ｙｊ）に位置する画素についての、差分分離度を示している。
即ち、処理対象の所定フレームについて、ｎ個（領域ＣＡのＸ方向の画素数分）の指標値Ｔ［ｘ１］乃至Ｔ［ｘｎ］が算出される。つまり、本実施形態では、処理対象の１５フレーム毎に、ｎ個の指標値Ｔ［ｘ１］乃至Ｔ［ｘｎ］が夫々算出される。
例えば、処理対象の所定フレームに対応する差分分離度マップＦＴのうち、右下の領域ＣＡが、ゴルフのボールの移動が予想される領域であるものとする。この領域ＣＡは、座標（ｘ１，ｙ１）、座標（ｘｎ，ｙ１）、座標（ｘ１，ｙｍ）、及び座標（ｘｎ，ｙｍ）の夫々４点を頂点とする矩形領域とされている。ここで、ｎは、１以上の整数値であるものとする。即ち、領域ＣＡの長辺の長さ（Ｘ軸方向の長さ）は、ｎ画素分の長さとされている。具体的には例えば、本実施形態では、ｎは、水平ラインの全画素数の４／５であるものとする。一方、ｍは、１以上の整数値であってｎとは独立した整数値であるものとする。即ち、領域ＣＡの短辺の長さ（Ｙ軸方向の長さ）は、ｍ画素分の長さとされている。具体的には例えば、本実施形態では、ｍは、垂直ラインの全画素数の１／２であるものとする。
この場合、指標値算出部５５は、処理対象の所定フレームに対応する差分分離度マップＦＴのうち、領域ＣＡの各Ｘ座標毎に、Ｙ軸方向への差分分離度の累積加算値を、指標値として算出する。
即ち、Ｘ座標ｘｉ（ｉは、１乃至ｎのうち何れかの整数値）における指標値Ｔ［ｘｉ］は、次の式（２）により算出される。
即ち、処理対象の所定フレームについて、ｎ個（領域ＣＡのＸ方向の画素数分）の指標値Ｔ［ｘ１］乃至Ｔ［ｘｎ］が算出される。つまり、本実施形態では、処理対象の１５フレーム毎に、ｎ個の指標値Ｔ［ｘ１］乃至Ｔ［ｘｎ］が夫々算出される。
図２に戻り、フレームアウト画像特定部５６は、指標値算出部５５の算出結果に基づいて、処理対象の１５フレームの中から、ゴルフのボールがカメラの撮像範囲外まで移動（飛行）した結果として当該ボールが含まれなくなったフレームを、フレームアウト画像として特定する。
具体的には本実施形態では、フレームアウト画像特定部５６は、処理対象の１５フレームの中から、指標値Ｔ［ｘ１］乃至Ｔ［ｘｎ］の中に閾値以上のものが存在するフレームを特定する。
ここで、閾値は、ボールが存在する確度が一定以上となる指標値に基づいて任意に設定される。なお、当該閾値を、後述の他の閾値と明確に区別すべく、「第１閾値」と呼ぶ。即ち、注目フレームにおいて第１閾値以上の指標値Ｔ［ｘｉ］があるということは、注目フレームにおける領域ＣＡのＸ座標ｘｉの位置（Ｙ軸方向についてはＹ座標ｙ１乃至ｙｍのうちの何れかの位置）に、一定の確度以上でボールが位置することを意味する。
従って、ゴルフのボールが、動画像においては相対的に左から右方向に移動していくものとすると、当該ボールがカメラの撮像範囲内で移動中の場合（その様子が映っているフレームが連続している場合）、第１閾値以上の指標値Ｔ［ｘｉ］のｘ座標ｘｉは、直前のフレームに対して右に移行しているはずである。そして、当該ボールがカメラの撮像範囲の外に移動した段階のフレーム、即ちフレームアウト画像になると、第１閾値以上の指標値Ｔ［ｘｉ］は急に存在しなくなるはずである。
そこで、フレームアウト画像特定部５６は、処理対象の１５フレームの中から、第１閾値以上の指標値Ｔ［ｘｉ］が存在するフレームを特定すると、次以降のフレームについて、第１閾値以上の指標値Ｔ［ｘｉ］を追跡していき、それが右に移動していき急に存在しなくなると、その時点のフレームをフレームアウト画像と特定する。
なお、フレームアウト画像の特定のより詳細な処理については、図８のフローチャートを参照して後述する。
具体的には本実施形態では、フレームアウト画像特定部５６は、処理対象の１５フレームの中から、指標値Ｔ［ｘ１］乃至Ｔ［ｘｎ］の中に閾値以上のものが存在するフレームを特定する。
ここで、閾値は、ボールが存在する確度が一定以上となる指標値に基づいて任意に設定される。なお、当該閾値を、後述の他の閾値と明確に区別すべく、「第１閾値」と呼ぶ。即ち、注目フレームにおいて第１閾値以上の指標値Ｔ［ｘｉ］があるということは、注目フレームにおける領域ＣＡのＸ座標ｘｉの位置（Ｙ軸方向についてはＹ座標ｙ１乃至ｙｍのうちの何れかの位置）に、一定の確度以上でボールが位置することを意味する。
従って、ゴルフのボールが、動画像においては相対的に左から右方向に移動していくものとすると、当該ボールがカメラの撮像範囲内で移動中の場合（その様子が映っているフレームが連続している場合）、第１閾値以上の指標値Ｔ［ｘｉ］のｘ座標ｘｉは、直前のフレームに対して右に移行しているはずである。そして、当該ボールがカメラの撮像範囲の外に移動した段階のフレーム、即ちフレームアウト画像になると、第１閾値以上の指標値Ｔ［ｘｉ］は急に存在しなくなるはずである。
そこで、フレームアウト画像特定部５６は、処理対象の１５フレームの中から、第１閾値以上の指標値Ｔ［ｘｉ］が存在するフレームを特定すると、次以降のフレームについて、第１閾値以上の指標値Ｔ［ｘｉ］を追跡していき、それが右に移動していき急に存在しなくなると、その時点のフレームをフレームアウト画像と特定する。
なお、フレームアウト画像の特定のより詳細な処理については、図８のフローチャートを参照して後述する。
閾値設定部５７は、上述の第１閾値を可変設定してフレームアウト画像特定部５６に適宜通知する他、後述のボール検出部５８において用いられる閾値（第１閾値と明確に区別すべく以下「第２閾値」と呼ぶ）を可変設定してボール検出部５８に適宜通知する。
閾値の可変設定の手法は、特に限定されないが、本実施形態では、対象画像記憶部６２に記憶されている動画像の各データの輝度に基づいて閾値を設定する、という手法が採用されている。これにより、対象画像記憶部６２に記憶されている動画像に応じた、即ち処理対象に応じた適切な閾値の設定が可能になる。
閾値の可変設定の手法は、特に限定されないが、本実施形態では、対象画像記憶部６２に記憶されている動画像の各データの輝度に基づいて閾値を設定する、という手法が採用されている。これにより、対象画像記憶部６２に記憶されている動画像に応じた、即ち処理対象に応じた適切な閾値の設定が可能になる。
ボール検出部５８は、フレームアウト画像の１つ前のフレーム、即ちボールが最後に写っていると思われるフレーム（以下、「終端画像」と呼ぶ）を基点として、逆時系列順にボールを検出する。
以下、図４及び図５を適宜参照しつつ、ボールの検出の手法の一例について説明する。
以下、図４及び図５を適宜参照しつつ、ボールの検出の手法の一例について説明する。
図４は、ボールの検出の手法を説明するための図であって、終端画像の一例を示す図である。
ボール検出部５８は、終端画像ＦＦの領域ＣＡ内で、差分分離度が第２閾値以上の画素を検出する。
ここで、第２閾値は、ボールが存在する確度が一定以上となる分離度に基づいて任意に閾値設定部５７により、第１閾値とは独立して別途設定される。即ち、終端画像ＦＦの領域ＣＡにおいて第２閾値以上の差分分離度を有する画素とは、一定の確度以上でボール（その少なくとも一部）を示す画素、即ち（動画像中で最後に写っている）ボールの画素の候補であることを意味する。
そこで、ボール検出部５８は、先ず、終端画像ＦＦの領域ＣＡの中から、第２閾値以上の差分分離度を有する１以上の画素の各々を、（動画像中で最後に写っている）ボールの画素の候補として検出する。なお、図４の例では、領域ＣＡのうち白い領域が、第２閾値以上の差分分離度を有しているので、当該白い領域内の各画素が検出されることになる。
ボール検出部５８は、終端画像ＦＦの領域ＣＡ内で、差分分離度が第２閾値以上の画素を検出する。
ここで、第２閾値は、ボールが存在する確度が一定以上となる分離度に基づいて任意に閾値設定部５７により、第１閾値とは独立して別途設定される。即ち、終端画像ＦＦの領域ＣＡにおいて第２閾値以上の差分分離度を有する画素とは、一定の確度以上でボール（その少なくとも一部）を示す画素、即ち（動画像中で最後に写っている）ボールの画素の候補であることを意味する。
そこで、ボール検出部５８は、先ず、終端画像ＦＦの領域ＣＡの中から、第２閾値以上の差分分離度を有する１以上の画素の各々を、（動画像中で最後に写っている）ボールの画素の候補として検出する。なお、図４の例では、領域ＣＡのうち白い領域が、第２閾値以上の差分分離度を有しているので、当該白い領域内の各画素が検出されることになる。
次に、ボール検出部５８は、終端画像ＦＦにおける（動画像中で最後に写っている）ボールの画素の候補を始点として、処理対象の各フレームを逆時系列の順に辿って、当該ボールの画素の候補を追跡していくことで、ボールの移動の軌跡の候補を検出する。
この場合、ボール検出部５８による検出の範囲は、フレーム全体とされてもよいが、範囲が広がるほど処理量が増大して処理時間を要するようになる。そこで、本実施形態では、処理量の軽減及び処理時間の短縮等を目的として、図５に示すように、ボールの移動の軌跡が含まれている可能性が高い平行四辺形の領域が、ボール検出部５８による検出の範囲の領域（以下、「検出領域」と呼ぶ）として採用されている。
図５は、ボールの検出の手法を説明するための図であって、検出領域の一例を示す図である。
図５の例では、終端画像ＦＦにおける（動画像中で最後に写っている）ボールの画素の候補が始点とされて、ボールの初期位置（ショットフレーム内のボールの位置）の方向に伸ばされた平行四辺形の領域が、検出領域として設定されている。ここで、長さａは、始点と初期位置までの距離と、ボールの大きさ（フレーム内の相対的なサイズ）とが加算された長さが設定される。長さｂは、ボールの大きさに準じて設定される。
なお、本実施形態で検出領域として平行四辺形が採用されている理由は、次の通りである。即ち、ボールは最初に置かれていた点（初期位置）から直線で移動する（飛んでいく）と予測されるので、終端画像でボールがあると指定される点（ボールの画素の候補の点）からボールの初期位置までの直線上でボールが検出される。ただし、実際には全くずれなく直線状にボールの軌跡が乗っていることは稀であるので、ボールの直径程度の長さａ（高さａ）を持った平行四辺形が検出領域として採用されるのである。
この場合、ボール検出部５８による検出の範囲は、フレーム全体とされてもよいが、範囲が広がるほど処理量が増大して処理時間を要するようになる。そこで、本実施形態では、処理量の軽減及び処理時間の短縮等を目的として、図５に示すように、ボールの移動の軌跡が含まれている可能性が高い平行四辺形の領域が、ボール検出部５８による検出の範囲の領域（以下、「検出領域」と呼ぶ）として採用されている。
図５は、ボールの検出の手法を説明するための図であって、検出領域の一例を示す図である。
図５の例では、終端画像ＦＦにおける（動画像中で最後に写っている）ボールの画素の候補が始点とされて、ボールの初期位置（ショットフレーム内のボールの位置）の方向に伸ばされた平行四辺形の領域が、検出領域として設定されている。ここで、長さａは、始点と初期位置までの距離と、ボールの大きさ（フレーム内の相対的なサイズ）とが加算された長さが設定される。長さｂは、ボールの大きさに準じて設定される。
なお、本実施形態で検出領域として平行四辺形が採用されている理由は、次の通りである。即ち、ボールは最初に置かれていた点（初期位置）から直線で移動する（飛んでいく）と予測されるので、終端画像でボールがあると指定される点（ボールの画素の候補の点）からボールの初期位置までの直線上でボールが検出される。ただし、実際には全くずれなく直線状にボールの軌跡が乗っていることは稀であるので、ボールの直径程度の長さａ（高さａ）を持った平行四辺形が検出領域として採用されるのである。
次に、ボール検出部５８は、平行四辺形の検出領域の範囲内を通過する複数の線分の組み合わせを考え、当該組み合わせに属する複数の線分の各々を順次注目線分に設定する。ボール検出部５８は、注目線分上で、処理対象の各フレームを逆時系列順に辿りながら、空間的に等間隔となるように差分分離度を累積加算していき、その累積加算値を求める。
即ち、平行四辺形の検出領域の範囲内の当該組み合わせに属する複数の線分の夫々について、累積加算値が１つずつ求められる。
ここで、空間的に等間隔となるように差分分離度を累積加算するとは、次のような演算をいう。即ち、例えば第１のフレームについての第１の差分分離度が加算されて、第２のフレーム（再生順番的には第１のフレームに対して１つ前のフレーム）についての第２の差分分離度が加算され、さらに第３のフレーム（再生順番的には第２のフレームに対して１つ前のフレーム）についての第３の差分分離度が加算されるものとする。この場合、第１の差分分離度の第１画素（第１のフレーム内）、第２の差分分離度の第２画素（第２のフレーム内）、及び第３の差分分離度の第３画素（第３のフレーム内）は、注目線分上で等間隔に配置された各点になる。即ち、前回のフレーム（再生順番的には１つ後のフレーム）において差分分離度が累積加算された注目線分上の点（前回のフレーム内の画素）の対応点が今回のフレーム内の画素から特定され、当該今回のフレーム内において、当該対応点に対して、等間隔で左下側に離れた点（今回のフレーム内の画素）における差分分離度が累積加算される。
この場合注目線分上において等間隔で分割される数は、終端画像からショット画像までの枚数に応じて可変に設定され、また、その幅は、事前のクラブ速度算出部５４により実行されたショット前の速度算出処理の結果に応じて設定される。即ち、その幅はゴルフクラブの速度（動き）から算出されるボールの速度に応じて可変に設定される。
ボール検出部５８は、平行四辺形の検出領域の範囲内の複数の線分のうち、最大の累積加算値となる線分を、ボールの軌跡の候補を示す線分として特定する。
ここで、終端画像にはボールの候補となる複数の画素が存在する場合がある、この場合、複数の画素毎に（ボールの各候補毎に）、平行四辺形の検出領域が１つずつ設定される。従って、複数の平行四辺形の検出領域毎に、ボールの軌跡の候補を示す線分が１つずつ特定されることになる。
そこで、ボール検出部５８は、これら複数の平行四辺形の検出領域毎の、ボールの軌跡の候補を示す線分のうち、最大の累積加算値となる線分を、ボールの軌跡として特定する。
即ち、平行四辺形の検出領域の範囲内の当該組み合わせに属する複数の線分の夫々について、累積加算値が１つずつ求められる。
ここで、空間的に等間隔となるように差分分離度を累積加算するとは、次のような演算をいう。即ち、例えば第１のフレームについての第１の差分分離度が加算されて、第２のフレーム（再生順番的には第１のフレームに対して１つ前のフレーム）についての第２の差分分離度が加算され、さらに第３のフレーム（再生順番的には第２のフレームに対して１つ前のフレーム）についての第３の差分分離度が加算されるものとする。この場合、第１の差分分離度の第１画素（第１のフレーム内）、第２の差分分離度の第２画素（第２のフレーム内）、及び第３の差分分離度の第３画素（第３のフレーム内）は、注目線分上で等間隔に配置された各点になる。即ち、前回のフレーム（再生順番的には１つ後のフレーム）において差分分離度が累積加算された注目線分上の点（前回のフレーム内の画素）の対応点が今回のフレーム内の画素から特定され、当該今回のフレーム内において、当該対応点に対して、等間隔で左下側に離れた点（今回のフレーム内の画素）における差分分離度が累積加算される。
この場合注目線分上において等間隔で分割される数は、終端画像からショット画像までの枚数に応じて可変に設定され、また、その幅は、事前のクラブ速度算出部５４により実行されたショット前の速度算出処理の結果に応じて設定される。即ち、その幅はゴルフクラブの速度（動き）から算出されるボールの速度に応じて可変に設定される。
ボール検出部５８は、平行四辺形の検出領域の範囲内の複数の線分のうち、最大の累積加算値となる線分を、ボールの軌跡の候補を示す線分として特定する。
ここで、終端画像にはボールの候補となる複数の画素が存在する場合がある、この場合、複数の画素毎に（ボールの各候補毎に）、平行四辺形の検出領域が１つずつ設定される。従って、複数の平行四辺形の検出領域毎に、ボールの軌跡の候補を示す線分が１つずつ特定されることになる。
そこで、ボール検出部５８は、これら複数の平行四辺形の検出領域毎の、ボールの軌跡の候補を示す線分のうち、最大の累積加算値となる線分を、ボールの軌跡として特定する。
このようにして、ボール速度算出処理が実行される場合、図２に示すＣＰＵ１１又は画像処理部１４においては、画像読み込み部５１と、分離度算出部５２と、差分分離度算出部５３と、クラブ速度算出部５４と、指標値算出部５５と、フレームアウト画像特定部５６と、閾値設定部５７と、ボール検出部５８と、ボール速度算出部５９とが機能して、ボールの軌跡が算出される。
ボールの軌跡が算出されると、図２に示すＣＰＵ１１又は画像処理部１４においては、ボール速度算出部５９が機能する。
ボール速度算出部５９は、ボールの軌跡の算出結果に基づいて、ボールの速度を算出する。
ボールの軌跡が算出されると、図２に示すＣＰＵ１１又は画像処理部１４においては、ボール速度算出部５９が機能する。
ボール速度算出部５９は、ボールの軌跡の算出結果に基づいて、ボールの速度を算出する。
次に、図６を参照して、このような図２の機能的構成を有する撮像装置１の動作の詳細として、ボール速度算出処理について説明する。
図６は、図２の機能的構成を有する画像処理装置１が実行する、ボール速度算出処理の流れを説明するフローチャートである。
ボール速度算出処理は、ゴルフのフォームの動画像のデータが図２の動画記憶部６１に１つ以上記録された状態で、所定の条件を満たすと開始され、次のような一連の処理が実行される。
図６は、図２の機能的構成を有する画像処理装置１が実行する、ボール速度算出処理の流れを説明するフローチャートである。
ボール速度算出処理は、ゴルフのフォームの動画像のデータが図２の動画記憶部６１に１つ以上記録された状態で、所定の条件を満たすと開始され、次のような一連の処理が実行される。
ステップＳ１において、画像読み込み部５１は、動画記憶部６１に記憶された、ゴルフのフォームの動画像のデータの中から、処理対象を決定して読み込み、対象画像記憶部６２に記憶させる。
ステップＳ２において、画像読み込み部５１乃至クラブ速度算出部５４は、処理対象の動画像のデータについて、ショット前部分の速度算出処理を実行する。
ショット前部分の速度算出処理の詳細については、図７を参照して後述する。
ショット前部分の速度算出処理の詳細については、図７を参照して後述する。
ステップＳ３において、画像読み込み部５１乃至差分分離度算出部５３及び指標値算出部５５乃至ボール検出部５８は、処理対象の動画像のデータについて、ショット後部分のボール検出処理を実行する。
ショット後部分のボール検出処理の詳細については、図８及び図９を参照して後述する。
ショット後部分のボール検出処理の詳細については、図８及び図９を参照して後述する。
ステップＳ４において、ボール速度算出部５９は、ショット後部分のボール検出処理の結果等に基づいて、処理対象の動画像に映るボールの速度を算出する。
これにより、ボール速度算出処理は終了となる。
これにより、ボール速度算出処理は終了となる。
次に、図７を参照して、このような図６のボール速度算出処理のうち、ステップＳ２のショット前部分の速度算出処理の詳細について説明する。
図７は、図６のボール速度算出処理のうち、ステップＳ２のショット前部分の速度算出処理の詳細な流れを説明するフローチャートである。
ステップＳ２のショット前部分の速度算出処理は、ステップＳ１において処理対象の動画像のデータが決定されて対象画像記憶部６２に記憶されると開始され、次のような一連の処理が実行される。
図７は、図６のボール速度算出処理のうち、ステップＳ２のショット前部分の速度算出処理の詳細な流れを説明するフローチャートである。
ステップＳ２のショット前部分の速度算出処理は、ステップＳ１において処理対象の動画像のデータが決定されて対象画像記憶部６２に記憶されると開始され、次のような一連の処理が実行される。
ステップ２１において、画像読み込み部５１は、ショットフレーム直前の４フレームを処理対象として各データを対象画像記憶部６２から読み込む。
ステップ２２において、分離度算出部５２は、処理対象の輝度画像から分離度マップを生成する。即ち、ショットフレーム直前の４フレーム毎に、分離度マップが１枚ずつ生成される。
ステップ２３において、差分分離度算出部５３は、分離度マップから差分分離度マップを生成する。即ち、ショットフレーム直前の４フレーム毎に、差分分離度マップが１枚ずつ生成される。
ステップ２４において、クラブ速度算出部５４は、差分分離度マップから、上述したように、ショット直前のゴルフクラブの速度を算出する。
これにより、ショット前部分の速度算出処理が終了し、即ち図６のステップＳ２の処理が終了し、処理はステップＳ３に進む。
これにより、ショット前部分の速度算出処理が終了し、即ち図６のステップＳ２の処理が終了し、処理はステップＳ３に進む。
次に、図６のボール速度算出処理のうち、ステップＳ３のショット後部分のボール検出処理の詳細について説明する。
図８は、図６のボール速度算出処理のうち、ステップＳ３のショット後部分のボール検出処理の詳細な流れを説明するフローチャートである。
ステップＳ３のショット後部分のボール検出処理は、上述したようにステップＳ２のショット前部分の速度算出処理が終了すると開始され、次のような一連の処理が実行される。
図８は、図６のボール速度算出処理のうち、ステップＳ３のショット後部分のボール検出処理の詳細な流れを説明するフローチャートである。
ステップＳ３のショット後部分のボール検出処理は、上述したようにステップＳ２のショット前部分の速度算出処理が終了すると開始され、次のような一連の処理が実行される。
ステップ４１において、画像読み込み部５１は、ショットフレーム直後の１５フレームを処理対象として各データを対象画像記憶部６２から読み込む。
ステップ４２において、分離度算出部５２は、処理対象の輝度画像から分離度マップを生成する。即ち、ショットフレーム直後の１５フレーム毎に、分離度マップが１枚ずつ生成される。
ステップ４３において、差分分離度算出部５３は、分離度マップから差分分離度マップを生成する。即ち、ショットフレーム直後の１５フレーム毎に、差分分離度マップが１枚ずつ生成される。
ステップ４４において、指標値算出部５５は、処理対象の１５フレームの夫々について、所定領域の各Ｘ座標毎（図３の例では領域ＣＡのＸ座標ｘ１乃至Ｘｎ毎）に、Ｙ軸方向への差分分離度の累積加算値を、指標値として算出する。例えば図３の例では、上述の式（２）が算出されて、１枚のフレームにつき、ｎ個の指標値Ｔ［ｘ１］乃至Ｔ［ｘｎ］が夫々算出される。
ステップ４５において、フレームアウト画像特定部５６は、処理対象の１５フレームのうち１枚目のフレーム、即ちショットフレームの次のフレームを注目フレームに設定する。
ステップ４６において、フレームアウト画像特定部５６は、注目フレームのｎ個の指標値の中に、第１閾値以上のものがあるか否かを判定する。
注目フレームのｎ個の指標値の中に、第１閾値以上のものが１つも存在しない場合、注目フレームの所定領域の中に、移動するボールが未だ含まれていないと判断され、ステップＳ４６においてＮＯであると判定されて、処理はステップＳ４７に進む。ステップＳ４７において、フレームアウト画像特定部５６は、次のフレームを注目フレームに設定する。これにより、処理はステップＳ４６に戻され、それ以降の処理が繰り返される。
即ち、ショットフレーム直後の処理対象の１５フレームの夫々が時系列の順番（順再生の順番）で注目フレームに順次設定されていき、第１閾値以上の指標値が存在するか否かが順次判定されていく。
第１閾値以上の指標値が存在するフレームが注目フレームになると、当該注目フレームの移動するボールが含まれていると判断され、ステップＳ４６においてＹＥＳであると判定されて、処理はステップＳ４８に進む。
注目フレームのｎ個の指標値の中に、第１閾値以上のものが１つも存在しない場合、注目フレームの所定領域の中に、移動するボールが未だ含まれていないと判断され、ステップＳ４６においてＮＯであると判定されて、処理はステップＳ４７に進む。ステップＳ４７において、フレームアウト画像特定部５６は、次のフレームを注目フレームに設定する。これにより、処理はステップＳ４６に戻され、それ以降の処理が繰り返される。
即ち、ショットフレーム直後の処理対象の１５フレームの夫々が時系列の順番（順再生の順番）で注目フレームに順次設定されていき、第１閾値以上の指標値が存在するか否かが順次判定されていく。
第１閾値以上の指標値が存在するフレームが注目フレームになると、当該注目フレームの移動するボールが含まれていると判断され、ステップＳ４６においてＹＥＳであると判定されて、処理はステップＳ４８に進む。
ステップ４６において、フレームアウト画像特定部５６は、注目フレームの次のフレームのｎ個の指標値の中に、第１閾値以上のものがあるか否かを判定する。
注目フレームの次のフレームのｎ個の指標値の中に、第１閾値以上のものが１つも存在しない場合、注目フレームの所定領域では、移動するボールが含まれていたのに対して、その次のフレームの所定領域では、移動するボールが（外部に出てしまって）含まれなくなったと判断され、ステップＳ４８においてＮＯであると判定されて、処理はステップＳ５１に進む。
ステップＳ５１において、フレームアウト画像特定部５６は、注目フレームの次のフレームを、フレームアウト画像として特定する。
これにより、処理は、ステップＳ５２の逆時系列順のボール検出処理に進む。ただし、ステップＳ５２以降の処理については、図９を参照して後述する。
ステップＳ５１において、フレームアウト画像特定部５６は、注目フレームの次のフレームを、フレームアウト画像として特定する。
これにより、処理は、ステップＳ５２の逆時系列順のボール検出処理に進む。ただし、ステップＳ５２以降の処理については、図９を参照して後述する。
これに対して、注目フレームの次のフレームのｎ個の指標値の中に、第１閾値以上のものが１つでも存在する場合、当該注目フレームの次のフレームに、移動するボールが含まれていると判断され、ステップＳ４８においてＹＥＳであると判定されて、処理はステップＳ４９に進む。
ステップＳ４９において、フレームアウト画像特定部５６は、第１閾値以上の指標値のＸ座標が、注目フレームよりも次のフレームの方が右方にあるか否かを判定する。
第１閾値以上の指標値のＸ座標が、注目フレームよりも次のフレームの方が右方にある場合とは、注目フレームとその次のフレームの何れにも、ゴルフクラブでショットされて右方向に移動し続けるボールが含まれている場合、即ち次のフレームは未だフレームアウト画像ではない場合である。
このような場合、ステップＳ４９においてＹＥＳであると判定されて、処理はステップＳ５０に進む。ステップＳ５０において、フレームアウト画像特定部５６は、次のフレームを注目フレームに設定する。これにより、処理はステップＳ４８に戻され、それ以降の処理が繰り返される。
即ち、所定領域にボールが含まれる（第１閾値以上の指標値が存在する）と判断された後の処理対象の各々の夫々が時系列の順番（順再生の順番）で注目フレームに順次設定されていき、第１閾値以上の指標値が存在するか否かが順次判定されていく。第１閾値以上の指標値のＸ座標（ボールが存在すると算出されるＸ座標）が、注目フレームと比較して次のフレームの方が右方にあり続ける場合には、注目フレームとその次のフレームの何れにも、ゴルフクラブでショットされて右方向に移動し続けるボールが含まれていると判断されて、ステップＳ４８乃至Ｓ５０のループ処理が繰り返し実行される。
ステップＳ４９において、フレームアウト画像特定部５６は、第１閾値以上の指標値のＸ座標が、注目フレームよりも次のフレームの方が右方にあるか否かを判定する。
第１閾値以上の指標値のＸ座標が、注目フレームよりも次のフレームの方が右方にある場合とは、注目フレームとその次のフレームの何れにも、ゴルフクラブでショットされて右方向に移動し続けるボールが含まれている場合、即ち次のフレームは未だフレームアウト画像ではない場合である。
このような場合、ステップＳ４９においてＹＥＳであると判定されて、処理はステップＳ５０に進む。ステップＳ５０において、フレームアウト画像特定部５６は、次のフレームを注目フレームに設定する。これにより、処理はステップＳ４８に戻され、それ以降の処理が繰り返される。
即ち、所定領域にボールが含まれる（第１閾値以上の指標値が存在する）と判断された後の処理対象の各々の夫々が時系列の順番（順再生の順番）で注目フレームに順次設定されていき、第１閾値以上の指標値が存在するか否かが順次判定されていく。第１閾値以上の指標値のＸ座標（ボールが存在すると算出されるＸ座標）が、注目フレームと比較して次のフレームの方が右方にあり続ける場合には、注目フレームとその次のフレームの何れにも、ゴルフクラブでショットされて右方向に移動し続けるボールが含まれていると判断されて、ステップＳ４８乃至Ｓ５０のループ処理が繰り返し実行される。
そして、注目フレームの次のフレームにおいて、第１閾値以上の指標値が存在しなくなるか、又は、第１閾値以上の指標値が存在しても注目フレームよりも右方に存在しない場合、ステップＳ４８又はステップＳ４９においてＮＯであると判定される。
ここで、ステップＳ４８においてＮＯであると判定される場合とは、上述したように、注目フレームの所定領域では、移動するボールが含まれていたのに対して、その次のフレームの所定領域では、移動するボールが（外部に出てしまって）含まれなくなったと判断される場合を意味する。また、ステップＳ４９においてＮＯであると判定される場合とは、注目フレームの次のフレームの所定領域に含まれる第１の閾値以上の指標値は、移動するボールについてのものではなく（ボールが急激に逆移動するとは考えにくく）、ノイズや別の移動物体についてのものであり、結果として、その次のフレームの所定領域では、移動するボールが（外部に出てしまって）含まれなくなったと判断される場合を意味する。
従って、ステップＳ４８又はステップＳ４９においてＮＯであると判定されると、処理はステップＳ５１に進む。
ステップＳ５１において、フレームアウト画像特定部５６は、注目フレームの次のフレームを、フレームアウト画像として特定する。
ここで、ステップＳ４８においてＮＯであると判定される場合とは、上述したように、注目フレームの所定領域では、移動するボールが含まれていたのに対して、その次のフレームの所定領域では、移動するボールが（外部に出てしまって）含まれなくなったと判断される場合を意味する。また、ステップＳ４９においてＮＯであると判定される場合とは、注目フレームの次のフレームの所定領域に含まれる第１の閾値以上の指標値は、移動するボールについてのものではなく（ボールが急激に逆移動するとは考えにくく）、ノイズや別の移動物体についてのものであり、結果として、その次のフレームの所定領域では、移動するボールが（外部に出てしまって）含まれなくなったと判断される場合を意味する。
従って、ステップＳ４８又はステップＳ４９においてＮＯであると判定されると、処理はステップＳ５１に進む。
ステップＳ５１において、フレームアウト画像特定部５６は、注目フレームの次のフレームを、フレームアウト画像として特定する。
ステップＳ５２において、ボール検出部５８は、逆時系列順のボール検出処理を実行する。
次に、図８のショット後部分のボール検出処理のうち、ステップＳ５２の逆時系列順のボール検出処理の詳細について説明する。
図９は、図８のショット後部分のボール検出処理のうち、ステップＳ５２の逆時系列順のボール検出処理の詳細な流れを説明するフローチャートである。
ステップＳ５２の逆時系列順のボール検出処理は、上述したようにステップＳ５１においてフレームアウト画像が特定されると開始され、次のような一連の処理が実行される。
図９は、図８のショット後部分のボール検出処理のうち、ステップＳ５２の逆時系列順のボール検出処理の詳細な流れを説明するフローチャートである。
ステップＳ５２の逆時系列順のボール検出処理は、上述したようにステップＳ５１においてフレームアウト画像が特定されると開始され、次のような一連の処理が実行される。
ステップＳ６１において、ボール検出部５８は、終端画像内で差分分離度が第２閾値よりも高い画素のうち、注目画素に設定されていないものが存在するか否かを判定する。
上述したように、終端画像内で分離度が第２閾値よりも高い画素とは、終端画像内でのボール（その少なくとも一部）を示す画素の候補（以下、「ボール画素候補」と呼ぶ）であることを意味している。
従って、終端画像内で差分分離度が第２閾値よりも高い画素が存在しない場合とは、ボール画素候補が存在しない場合を意味している。この場合、ステップＳ６１においてＮＯであると判定されて、逆時系列順のボール検出処理は終了となる。即ち、図８のショット後のボール検出処理自体も終了となり、処理は図２のステップＳ３からＳ４に進む。
上述したように、終端画像内で分離度が第２閾値よりも高い画素とは、終端画像内でのボール（その少なくとも一部）を示す画素の候補（以下、「ボール画素候補」と呼ぶ）であることを意味している。
従って、終端画像内で差分分離度が第２閾値よりも高い画素が存在しない場合とは、ボール画素候補が存在しない場合を意味している。この場合、ステップＳ６１においてＮＯであると判定されて、逆時系列順のボール検出処理は終了となる。即ち、図８のショット後のボール検出処理自体も終了となり、処理は図２のステップＳ３からＳ４に進む。
これに対して、終端画像内で差分分離度が第２閾値よりも高い画素が１つ以上存在する場合には、ステップＳ６１においてＹＥＳであると判定されて、処理はステップＳ６２に進む。
ステップＳ６２において、ボール検出部５８は、終端画像内で差分分離度が第２閾値よりも高い画素のうち、未だ注目画素に設定されていない画素を、注目画素に設定する。即ち、所定の１つのボール画素候補が注目画素に設定される。
ステップＳ６２において、ボール検出部５８は、終端画像内で差分分離度が第２閾値よりも高い画素のうち、未だ注目画素に設定されていない画素を、注目画素に設定する。即ち、所定の１つのボール画素候補が注目画素に設定される。
ステップＳ６３において、ボール検出部５８は、注目画素を始点として、平行四辺形の検出領域を設定する。
ステップＳ６４において、ボール検出部５８は、逆時系列に処理対象の複数のフレームを順次辿りながら、検出領域内での等間隔の分離度の累積加算値が最大となる線分と間隔の組合せを算出する。
即ち、ステップＳ６４において算出された組合せが、注目画素がボール画素候補とされている場合における、ボールの軌跡の候補として最も確度が高い組合せを意味する。
ステップＳ６４において、ボール検出部５８は、逆時系列に処理対象の複数のフレームを順次辿りながら、検出領域内での等間隔の分離度の累積加算値が最大となる線分と間隔の組合せを算出する。
即ち、ステップＳ６４において算出された組合せが、注目画素がボール画素候補とされている場合における、ボールの軌跡の候補として最も確度が高い組合せを意味する。
ステップＳ６５において、ボール検出部５８は、直前のステップＳ６４において算出された組合せの累積加算値は、保存された組合せの累積加算値よりも大きいか否かを判定する。
直前のステップＳ６４において算出された組合せの累積加算値が、保存された組合せの累積加算値よりも小さい場合とは、終端画像内の他の画素がボール画素候補とされた際に求められたボールの軌跡の候補（保存された組合せにより特定されるボールの軌跡の候補）の方が、今回の注目画素がボール画素候補とされた際に直前のステップＳ６４の処理で求められたボールの軌跡の候補（直前のステップＳ６４により算出された組合せにより特定されるボールの軌跡の候補）よりも確度が高い場合を意味する。
よって、この場合、ボールの軌跡の候補としては、既に保存された組合せが採用されるので、ステップＳ６５においてＮＯであると判定されて、処理はステップＳ６１に戻され、それ以降の処理が繰り返される。即ち、終端画像内の別のボール画素候補について、ステップＳ６１乃至Ｓ６６の処理が実行されて、ボールの軌跡の候補が求められる。
よって、この場合、ボールの軌跡の候補としては、既に保存された組合せが採用されるので、ステップＳ６５においてＮＯであると判定されて、処理はステップＳ６１に戻され、それ以降の処理が繰り返される。即ち、終端画像内の別のボール画素候補について、ステップＳ６１乃至Ｓ６６の処理が実行されて、ボールの軌跡の候補が求められる。
これに対して、直前のステップＳ６４において算出された組合せの累積加算値が、保存された組合せの累積加算値よりも小さい場合とは、今回の注目画素がボール画素候補とされた際に直前のステップＳ６４の処理で求められたボールの軌跡の候補（直前のステップＳ６４により算出された組合せにより特定されるボールの軌跡の候補）の方が、終端画像内の他の画素がボール画素候補とされた際に求められたボールの軌跡の候補（保存された組合せにより特定されるボールの軌跡の候補）よりも確度が高い場合を意味する。
よって、この場合、ボールの軌跡の候補としては、今回の直前のステップＳ６４において算出された組合せに更新されるべく、ステップＳ６５においてＹＥＳであると判定されて、処理はステップＳ６６に進む。
ステップＳ６５において、ボール検出部５８は、直前のステップＳ６４において算出された組合せを、その累積加算値と対応付けて保存（上書き）する。
これにより、処理はステップＳ６１に戻され、それ以降の処理が繰り返される。
よって、この場合、ボールの軌跡の候補としては、今回の直前のステップＳ６４において算出された組合せに更新されるべく、ステップＳ６５においてＹＥＳであると判定されて、処理はステップＳ６６に進む。
ステップＳ６５において、ボール検出部５８は、直前のステップＳ６４において算出された組合せを、その累積加算値と対応付けて保存（上書き）する。
これにより、処理はステップＳ６１に戻され、それ以降の処理が繰り返される。
以上説明したように、本実施形態の撮像装置１は、フレームアウト画像特定部５６と、ボール検出部５８とを備えている。
フレームアウト画像特定部５６は、連続的に撮像された各画像から、計測対象の物体の一例であるボールが存在しなくなる、フレームアウト画像の直前の画像（例えば上述の終端画像）を特定する。
ボール検出部５８は、フレームアウト画像の直前の画像を基準として、連続的に撮像された各画像から計測対象の物体の領域を検出する。
このように、計測対象の物体が存在しなくなるフレームアウト画像が基準として、計測対象の物体が検出されるので、計測対象の物体以外の動体が画像中に存在する場合でも精度良く計測対象の物体を検出できるという効果を奏することが可能になる。
特にこの効果は、次のような条件で本発明が適用される場合に顕著なものとなる。
例えば、ゴルフクラブ等、ボールと同じような速度、大きさ、或いは分離度で移動する別の物体が存在する場合、薄暗い夜や明るい日中等様々な照明条件が課される場合、ゴルフ練習場等でのショット解析が目的とされた場合に、上述の効果は顕著なものとなる。
また例えば、ゴルフクラブとボールの速度がショットによってばらばらで、単純に閾値等では分離することができないような場合、ゴルフクラブの軌跡は楕円であるが、ショット後の数フレームの動きはほぼ直線であり円運動と直線運動で分けることができないような場合、上述の効果は顕著なものとなる。
さらにまた、次のような効果も奏する。即ち、１つのアルゴリズムで既存技術や単純な閾値設定では困難であったボールの軌跡が精度良く追跡されるようになるため、ユーザが事前に設定を行う必要がなく、簡単に速度や軌跡を知ることができる。また、フォーム解析等に用いられる画像と同じ画像が利用可能となるため、システム全体の省スペース化や省コストが実現可能になる。
フレームアウト画像特定部５６は、連続的に撮像された各画像から、計測対象の物体の一例であるボールが存在しなくなる、フレームアウト画像の直前の画像（例えば上述の終端画像）を特定する。
ボール検出部５８は、フレームアウト画像の直前の画像を基準として、連続的に撮像された各画像から計測対象の物体の領域を検出する。
このように、計測対象の物体が存在しなくなるフレームアウト画像が基準として、計測対象の物体が検出されるので、計測対象の物体以外の動体が画像中に存在する場合でも精度良く計測対象の物体を検出できるという効果を奏することが可能になる。
特にこの効果は、次のような条件で本発明が適用される場合に顕著なものとなる。
例えば、ゴルフクラブ等、ボールと同じような速度、大きさ、或いは分離度で移動する別の物体が存在する場合、薄暗い夜や明るい日中等様々な照明条件が課される場合、ゴルフ練習場等でのショット解析が目的とされた場合に、上述の効果は顕著なものとなる。
また例えば、ゴルフクラブとボールの速度がショットによってばらばらで、単純に閾値等では分離することができないような場合、ゴルフクラブの軌跡は楕円であるが、ショット後の数フレームの動きはほぼ直線であり円運動と直線運動で分けることができないような場合、上述の効果は顕著なものとなる。
さらにまた、次のような効果も奏する。即ち、１つのアルゴリズムで既存技術や単純な閾値設定では困難であったボールの軌跡が精度良く追跡されるようになるため、ユーザが事前に設定を行う必要がなく、簡単に速度や軌跡を知ることができる。また、フォーム解析等に用いられる画像と同じ画像が利用可能となるため、システム全体の省スペース化や省コストが実現可能になる。
また、ボール検出部５８は、フレームアウト直前の画像より以前の画像から、計測対象の物体の領域を時系列とは逆順に前記物体の領域を検出することができる。
このように、逆時系列順に計測対象の物体が検出されるので、計測対象の物体の検出精度が向上する。
即ち、仮にショットフレームが基準となり時系列に検出された場合には、ボールとゴルフクラブを誤認識してしまい、ボールの検出自体が失敗する場合が多い。特に、ボールがゴルフクラブにより打たれてから時間が経過すればするほど、ゴルフクラブとボールとの間の距離が離れていくので、誤認識の度合が高くなる。これに対して、本実施形態では、その逆に、ゴルフクラブとボールとの間の距離が最も離れたフレームアウト画像の前の所定の画像から計測対象の物体の候補が検出され、ゴルフクラブとボールとの間の距離が短縮される方向にボールが検出されていくので、計測対象の物体の誤認識の度合が軽減され、その結果、計測対象の物体の検出精度が向上する。
このように、逆時系列順に計測対象の物体が検出されるので、計測対象の物体の検出精度が向上する。
即ち、仮にショットフレームが基準となり時系列に検出された場合には、ボールとゴルフクラブを誤認識してしまい、ボールの検出自体が失敗する場合が多い。特に、ボールがゴルフクラブにより打たれてから時間が経過すればするほど、ゴルフクラブとボールとの間の距離が離れていくので、誤認識の度合が高くなる。これに対して、本実施形態では、その逆に、ゴルフクラブとボールとの間の距離が最も離れたフレームアウト画像の前の所定の画像から計測対象の物体の候補が検出され、ゴルフクラブとボールとの間の距離が短縮される方向にボールが検出されていくので、計測対象の物体の誤認識の度合が軽減され、その結果、計測対象の物体の検出精度が向上する。
また、本実施形態の撮像装置１のボール検出部５８は、検出された物体の領域に基づき、当該物体の軌跡が含まれ得る所定の領域（上述の例では図５の検出領域）を生成する生成手段を有する。そして、本実施形態の撮像装置１は、生成手段により生成された所定の領域に基づいて、物体の軌跡、及び／又は、前記物体の速度を算出する。
これにより、計測対象の物体の検出精度がさらに向上すると共に、検出の範囲が限定されることになるので、それ以降の処理の負担が軽減し、処理時間の短縮にもつながる。
これにより、計測対象の物体の検出精度がさらに向上すると共に、検出の範囲が限定されることになるので、それ以降の処理の負担が軽減し、処理時間の短縮にもつながる。
また、本実施形態の撮像装置１は、連続的に撮像された各画像の分離度を算出する分離度算出部５２を更に備える。また、フレームアウト画像特定部５６は、算出された分離度が閾値（上述の例では第２閾値）以上か否かを判定する判定手段を備える。
ボール検出部５８は、判定手段により所定の閾値以上と判定された領域を、物体の領域として検出する。
これにより、計測対象の物体の検出精度がさらに向上する。即ち、逆時系列順で検出が行われる場合の検出精度は、基準となるフレームアウト画像の前の所定の画像から、計測対象の物体の候補の検出精度に依存する。即ち、計測対象の物体の検出精度を向上させるためには、当該所定の画像から、如何にして正確に対象の物体の候補が検出できるのかが、鍵となる。この点、所定の画像のうち、分離度が閾値以上の領域が、計測対象の物体の候補として検出されるので、当該候補の検出精度は良くなり、その結果として、計測対象の物体の検出精度がさらに向上する。
ボール検出部５８は、判定手段により所定の閾値以上と判定された領域を、物体の領域として検出する。
これにより、計測対象の物体の検出精度がさらに向上する。即ち、逆時系列順で検出が行われる場合の検出精度は、基準となるフレームアウト画像の前の所定の画像から、計測対象の物体の候補の検出精度に依存する。即ち、計測対象の物体の検出精度を向上させるためには、当該所定の画像から、如何にして正確に対象の物体の候補が検出できるのかが、鍵となる。この点、所定の画像のうち、分離度が閾値以上の領域が、計測対象の物体の候補として検出されるので、当該候補の検出精度は良くなり、その結果として、計測対象の物体の検出精度がさらに向上する。
また、本実施形態の撮像装置１は、連続的に撮像された前記各画像に基づいて、前記閾値（上述の例では第２閾値）を可変設定する閾値設定部５７をさらに備えることができる。
これにより、適切な閾値が設定されれば、基準となるフレームアウト画像の前の所定の画像から、計測対象の物体の候補の検出精度がさらに向上し、その結果として、計測対象の物体の検出精度がさらに向上する。
さらに、閾値が厳しめに設定されれば、計測対象の物体の候補として検出される画素の数は、その分だけ減少するので、それ以降の処理の負担が軽減し、処理時間の短縮にもつながる。
これにより、適切な閾値が設定されれば、基準となるフレームアウト画像の前の所定の画像から、計測対象の物体の候補の検出精度がさらに向上し、その結果として、計測対象の物体の検出精度がさらに向上する。
さらに、閾値が厳しめに設定されれば、計測対象の物体の候補として検出される画素の数は、その分だけ減少するので、それ以降の処理の負担が軽減し、処理時間の短縮にもつながる。
また、閾値設定部５７は、連続的に撮像された各画像の輝度に基づいて、閾値を可変設定することができる。
これにより、より適切な閾値の設定が可能になる。
これにより、より適切な閾値の設定が可能になる。
また、本実施形態の撮像装置１のボール検出部５８は、各画像に共通する部分領域（上述の例では図５の検出領域）を設定する領域設定手段を備える。ボール検出部５８は、領域設定手段により設定された部分領域で物体の領域を検出する。
これにより、計測対象の物体の検出精度がさらに向上すると共に、検出の範囲が限定されることになるので、それ以降の処理の負担が軽減し、処理時間の短縮にもつながる。
これにより、計測対象の物体の検出精度がさらに向上すると共に、検出の範囲が限定されることになるので、それ以降の処理の負担が軽減し、処理時間の短縮にもつながる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、終端画像内での計測対象の物体の候補（上述の例ではボール）を検出するための第２閾値は、処理対象の動画像の輝度に基づいて設定されたが、特にこれに限定されない。
例えば、第２閾値は、動画像全体の輝度ではなく所定区間の範囲内の動画像の輝度に基づいて設定されてもよいし、フレーム全体ではなくフレームの一部の領域の輝度に基づいて設定されてもよい。
また例えば、ショット前部分の速度算出処理（図７参照）により、ショット直前のゴルフクラブの速度が算出されているので、第２閾値は、当該ゴルフクラブの速度に基づいて設定されてもよい。
また例えば、動画像全体の分離度マップ（差分分離度マップでもよい）のうち、上位数パーセントの分布（フレーム内に占めるボールの画素数程度）となる分離度に基づいて、第２閾値が設定されてもよい。
例えば、第２閾値は、動画像全体の輝度ではなく所定区間の範囲内の動画像の輝度に基づいて設定されてもよいし、フレーム全体ではなくフレームの一部の領域の輝度に基づいて設定されてもよい。
また例えば、ショット前部分の速度算出処理（図７参照）により、ショット直前のゴルフクラブの速度が算出されているので、第２閾値は、当該ゴルフクラブの速度に基づいて設定されてもよい。
また例えば、動画像全体の分離度マップ（差分分離度マップでもよい）のうち、上位数パーセントの分布（フレーム内に占めるボールの画素数程度）となる分離度に基づいて、第２閾値が設定されてもよい。
上述の実施形態では、逆時系列の順にボールが検出される検出領域は、終端画像のボール画素候補に基づいて生成される平行四辺形の領域とされたが、特にこれに限定されない。
例えば、ショット前部分の速度算出処理（図７参照）により、ショット直前のゴルフクラブの速度が算出されているので、当該ゴルフクラブの速度に応じて可変するような領域が、検出領域として採用されてもよい。具体的には例えば、ショット直前のクラブの速度から想定されるショット後のゴルフクラブとボールの各速度から画像（フレーム）毎に可変に設定されるような領域が、検出領域として採用されてもよい。
また例えば、ボールは最初に置かれていた点から直線で移動する（飛んでいく）と考えられるので、終端画像でボールがあると思われる点（ボール画素候補）からボールの初期位置までの線分そのものが、検出領域として採用されてもよい。ただし、実際には全くずれなく線分上にボールが乗っていることは稀なので、上述の実施形態のように、ボールの直径程の高さ（図５の長さｂ）を有する平行四辺形の形状が検出領域として採用された方が好適である。
例えば、ショット前部分の速度算出処理（図７参照）により、ショット直前のゴルフクラブの速度が算出されているので、当該ゴルフクラブの速度に応じて可変するような領域が、検出領域として採用されてもよい。具体的には例えば、ショット直前のクラブの速度から想定されるショット後のゴルフクラブとボールの各速度から画像（フレーム）毎に可変に設定されるような領域が、検出領域として採用されてもよい。
また例えば、ボールは最初に置かれていた点から直線で移動する（飛んでいく）と考えられるので、終端画像でボールがあると思われる点（ボール画素候補）からボールの初期位置までの線分そのものが、検出領域として採用されてもよい。ただし、実際には全くずれなく線分上にボールが乗っていることは稀なので、上述の実施形態のように、ボールの直径程の高さ（図５の長さｂ）を有する平行四辺形の形状が検出領域として採用された方が好適である。
上述の実施形態では、フレームアウト画像は、ショット前部分の速度算出処理の実行後、ショット後部分のボール検出処理の実行中に特定されたが、その特定タイミングは特に限定されない。
例えば、差分分離度マップが生成される毎にフレームアウト画像の特定が行われてもよい。この場合、処理の高速化や、使用メモリの節約に寄与することになる。
例えば、差分分離度マップが生成される毎にフレームアウト画像の特定が行われてもよい。この場合、処理の高速化や、使用メモリの節約に寄与することになる。
上述の実施形態では、ショット前部分の速度算出処理やショット後部分のボール検出処理において、ボールの存在を推定するための評価値として、分離度が用いられたが、特にこれに限定されない。
例えば、算出された分離度そのものではなく、必要に応じて加工された分離度が用いられてもよい。具体的には例えば、背景が白とびを起こしている領域をボールが通過した場合、ボールの色よりも白とび部分の輝度が高いため、分離度の符号が逆になってしまう。そのような領域では、符号を逆にした（そのように加工された）分離度が用いられてもよい。
また、分離度以外の例として、例えばテンプレートマッチング等によって、差分二乗和を領域画素数で除算したものを正規化した適合率等が用いられてもよい。
例えば、算出された分離度そのものではなく、必要に応じて加工された分離度が用いられてもよい。具体的には例えば、背景が白とびを起こしている領域をボールが通過した場合、ボールの色よりも白とび部分の輝度が高いため、分離度の符号が逆になってしまう。そのような領域では、符号を逆にした（そのように加工された）分離度が用いられてもよい。
また、分離度以外の例として、例えばテンプレートマッチング等によって、差分二乗和を領域画素数で除算したものを正規化した適合率等が用いられてもよい。
上述の実施形態では、計測対象の物体はボールとされたが、計測量は速度とされたが、特にこれらに限定されない。計測対象は、動画像に映る移動物体であれば任意のものを採用され得るし、計測量についても移動に関する量であれば任意のものが採用され得る。
また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
連続的に撮像された各画像から、計測対象の物体のフレームアウト直前の画像を特定する特定手段と、
前記特定手段により特定された前記フレームアウト直前の画像を基準として、前記連続的に撮像された各画像から前記計測対象の物体の領域を検出する検出手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記検出手段は、
前記フレームアウト直前の画像より以前の画像から、前記計測対象の物体の領域を時系列とは逆順に前記物体の領域を検出する
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記検出手段により検出された物体の領域に基づき、当該物体の軌跡が含まれ得る所定の領域を生成する生成手段と、
前記生成手段により生成された所定の領域に基づいて、前記物体の軌跡、及び／又は、前記物体の速度を算出する算出手段と
を更に備えることを特徴とする付記２に記載の画像処理装置。
［付記４］
前記連続的に撮像された各画像の分離度を算出する分離度算出手段と、
前記分離度算出手段により算出された分離度が閾値以上か否かを判定する判定手段と、
を更に備え、
前記検出手段は、前記判定手段により所定の閾値以上と判定された領域を、前記物体の領域として検出する、
ことを特徴とする付記１乃至３のうちの何れか１つに記載の画像処理装置。
［付記５］
前記連続的に撮像された各画像に基づいて、前記閾値を可変設定する閾値設定手段を更に備える、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
前記閾値設定手段は、前記連続的に撮像された各画像の輝度に基づいて、前記閾値を可変に設定する、
ことを特徴とする付記５に記載の画像処理装置。
［付記７］
前記各画像に共通する部分領域を設定する領域設定手段を更に備え、
前記検出手段は、前記領域設定手段により設定された部分領域で前記物体の領域を検出する、
ことを特徴とする付記１乃至６のうちの何れか１つに記載の画像処理装置。
［付記８］
画像処理装置が実行する画像処理方法であって、
連続的に撮像された各画像から、計測対象の物体のフレームアウト直前の画像を特定する特定ステップと、
前記特定ステップにおいて特定された前記フレームアウト直前の画像を基準として、前記前記各画像から前記計測対象の物体の領域を検出する検出ステップと、
を含むことを特徴とする画像処理方法。
［付記９］
コンピュータを、
連続的に撮像された各画像から、計測対象の物体のフレームアウト直前の画像を特定する特定手段、
前記特定手段により特定された前記フレームアウト直前の画像を基準として、前記各画像から前記計測対象の物体の領域を検出する検出手段、
として機能させることを特徴とするプログラム。
［付記１］
連続的に撮像された各画像から、計測対象の物体のフレームアウト直前の画像を特定する特定手段と、
前記特定手段により特定された前記フレームアウト直前の画像を基準として、前記連続的に撮像された各画像から前記計測対象の物体の領域を検出する検出手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記検出手段は、
前記フレームアウト直前の画像より以前の画像から、前記計測対象の物体の領域を時系列とは逆順に前記物体の領域を検出する
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記検出手段により検出された物体の領域に基づき、当該物体の軌跡が含まれ得る所定の領域を生成する生成手段と、
前記生成手段により生成された所定の領域に基づいて、前記物体の軌跡、及び／又は、前記物体の速度を算出する算出手段と
を更に備えることを特徴とする付記２に記載の画像処理装置。
［付記４］
前記連続的に撮像された各画像の分離度を算出する分離度算出手段と、
前記分離度算出手段により算出された分離度が閾値以上か否かを判定する判定手段と、
を更に備え、
前記検出手段は、前記判定手段により所定の閾値以上と判定された領域を、前記物体の領域として検出する、
ことを特徴とする付記１乃至３のうちの何れか１つに記載の画像処理装置。
［付記５］
前記連続的に撮像された各画像に基づいて、前記閾値を可変設定する閾値設定手段を更に備える、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
前記閾値設定手段は、前記連続的に撮像された各画像の輝度に基づいて、前記閾値を可変に設定する、
ことを特徴とする付記５に記載の画像処理装置。
［付記７］
前記各画像に共通する部分領域を設定する領域設定手段を更に備え、
前記検出手段は、前記領域設定手段により設定された部分領域で前記物体の領域を検出する、
ことを特徴とする付記１乃至６のうちの何れか１つに記載の画像処理装置。
［付記８］
画像処理装置が実行する画像処理方法であって、
連続的に撮像された各画像から、計測対象の物体のフレームアウト直前の画像を特定する特定ステップと、
前記特定ステップにおいて特定された前記フレームアウト直前の画像を基準として、前記前記各画像から前記計測対象の物体の領域を検出する検出ステップと、
を含むことを特徴とする画像処理方法。
［付記９］
コンピュータを、
連続的に撮像された各画像から、計測対象の物体のフレームアウト直前の画像を特定する特定手段、
前記特定手段により特定された前記フレームアウト直前の画像を基準として、前記各画像から前記計測対象の物体の領域を検出する検出手段、
として機能させることを特徴とするプログラム。
１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１７・・・撮像部、１８・・・入力部、１９・・・出力部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバブルメディア、５１・・・画像読み込み部、５２・・・分離度算出部、５３・・・差分分離度算出部、５４・・・クラブ速度算出部、５５・・・指標値算出部、５６・・・フレームアウト画像特定部、５７・・・閾値設定部、５８・・・ボール検出部、５９・・・ボール速度算出部、６１・・・動画記憶部、６２・・・対象画像記憶部
Claims (9)
- 連続的に撮像された各画像から、計測対象の物体のフレームアウト直前の画像を特定する特定手段と、
前記特定手段により特定された前記フレームアウト直前の画像を基準として、前記連続的に撮像された各画像から前記計測対象の物体の領域を検出する検出手段と、
を備えることを特徴とする画像処理装置。 - 前記検出手段は、
前記フレームアウト直前の画像より以前の画像から、前記計測対象の物体の領域を時系列とは逆順に前記物体の領域を検出する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記検出手段により検出された物体の領域に基づき、当該物体の軌跡が含まれ得る所定の領域を生成する生成手段と、
前記生成手段により生成された所定の領域に基づいて、前記物体の軌跡、及び／又は、前記物体の速度を算出する算出手段と
を更に備えることを特徴とする請求項２に記載の画像処理装置。 - 前記連続的に撮像された各画像の分離度を算出する分離度算出手段と、
前記分離度算出手段により算出された分離度が閾値以上か否かを判定する判定手段と、
を更に備え、
前記検出手段は、前記判定手段により所定の閾値以上と判定された領域を、前記物体の領域として検出する、
ことを特徴とする請求項１乃至３のうちの何れか１項に記載の画像処理装置。 - 前記連続的に撮像された各画像に基づいて、前記閾値を可変設定する閾値設定手段を更に備える、
ことを特徴とする請求項４に記載の画像処理装置。 - 前記閾値設定手段は、前記連続的に撮像された各画像の輝度に基づいて、前記閾値を可変に設定する、
ことを特徴とする請求項５に記載の画像処理装置。 - 前記各画像に共通する部分領域を設定する領域設定手段を更に備え、
前記検出手段は、前記領域設定手段により設定された部分領域で前記物体の領域を検出する、
ことを特徴とする請求項１乃至６のうちの何れか１項に記載の画像処理装置。 - 画像処理装置が実行する画像処理方法であって、
連続的に撮像された各画像から、計測対象の物体のフレームアウト直前の画像を特定する特定ステップと、
前記特定ステップにおいて特定された前記フレームアウト直前の画像を基準として、前記前記各画像から前記計測対象の物体の領域を検出する検出ステップと、
を含むことを特徴とする画像処理方法。 - コンピュータを、
連続的に撮像された各画像から、計測対象の物体のフレームアウト直前の画像を特定する特定手段、
前記特定手段により特定された前記フレームアウト直前の画像を基準として、前記各画像から前記計測対象の物体の領域を検出する検出手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013060125A JP5884759B2 (ja) | 2013-03-22 | 2013-03-22 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013060125A JP5884759B2 (ja) | 2013-03-22 | 2013-03-22 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014187484A true JP2014187484A (ja) | 2014-10-02 |
| JP5884759B2 JP5884759B2 (ja) | 2016-03-15 |
Family
ID=51834621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013060125A Active JP5884759B2 (ja) | 2013-03-22 | 2013-03-22 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5884759B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017091092A (ja) * | 2015-11-06 | 2017-05-25 | 富士通株式会社 | 画像処理方法、画像処理プログラムおよび画像処理装置 |
| WO2020059029A1 (ja) * | 2018-09-18 | 2020-03-26 | マクセル株式会社 | 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005196385A (ja) * | 2004-01-06 | 2005-07-21 | Toshiba Corp | 画像処理装置、画像処理方法およびデジタルカメラ |
| JP2006234515A (ja) * | 2005-02-23 | 2006-09-07 | Matsushita Electric Works Ltd | 容器内の異物検査方法およびその装置 |
| JP2006314060A (ja) * | 2005-05-09 | 2006-11-16 | Nissan Motor Co Ltd | 画像処理装置及びノイズ検出方法 |
| JP2007188268A (ja) * | 2006-01-12 | 2007-07-26 | Univ Of Tokyo | 画像上移動物体追跡方法及び装置 |
-
2013
- 2013-03-22 JP JP2013060125A patent/JP5884759B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005196385A (ja) * | 2004-01-06 | 2005-07-21 | Toshiba Corp | 画像処理装置、画像処理方法およびデジタルカメラ |
| JP2006234515A (ja) * | 2005-02-23 | 2006-09-07 | Matsushita Electric Works Ltd | 容器内の異物検査方法およびその装置 |
| JP2006314060A (ja) * | 2005-05-09 | 2006-11-16 | Nissan Motor Co Ltd | 画像処理装置及びノイズ検出方法 |
| JP2007188268A (ja) * | 2006-01-12 | 2007-07-26 | Univ Of Tokyo | 画像上移動物体追跡方法及び装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017091092A (ja) * | 2015-11-06 | 2017-05-25 | 富士通株式会社 | 画像処理方法、画像処理プログラムおよび画像処理装置 |
| WO2020059029A1 (ja) * | 2018-09-18 | 2020-03-26 | マクセル株式会社 | 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法 |
| JPWO2020059029A1 (ja) * | 2018-09-18 | 2021-08-30 | マクセル株式会社 | 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法 |
| JP7112504B2 (ja) | 2018-09-18 | 2022-08-03 | マクセル株式会社 | 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法 |
| US11740468B2 (en) | 2018-09-18 | 2023-08-29 | Maxell, Ltd. | Distance measuring apparatus, imaging device, distance measuring system, distance measuring method, and imaging method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5884759B2 (ja) | 2016-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5284048B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| US9674441B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP5842807B2 (ja) | 画像解析装置、情報報知装置、画像解析方法、情報報知方法、及びプログラム | |
| JP2010079655A (ja) | 画像処理装置及び画像処理方法及び撮像装置及びプログラム | |
| US11070729B2 (en) | Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus | |
| JP6577852B2 (ja) | 動きベクトル検出装置およびその制御方法 | |
| JP6924064B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
| KR20140043665A (ko) | 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
| JP6720845B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR101202642B1 (ko) | 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치 | |
| JP2011135553A (ja) | 撮像装置、画像処理方法、及び、コンピュータプログラム | |
| JP5968379B2 (ja) | 画像処理装置およびその制御方法 | |
| JP5173549B2 (ja) | 画像処理装置及び撮像装置 | |
| JP5884759B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2011071925A (ja) | 移動体追尾装置および方法 | |
| JP2008217330A (ja) | 速度推定方法および速度推定プログラム | |
| JP4716266B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
| US10708501B2 (en) | Prominent region detection in scenes from sequence of image frames | |
| JP6168127B2 (ja) | 画像解析装置、画像解析方法、及びプログラム | |
| JP2017016592A (ja) | 主被写体検出装置、主被写体検出方法及びプログラム | |
| JP2005063036A (ja) | 物体追跡装置 | |
| JP4752685B2 (ja) | 撮像装置及びプログラム | |
| JP7324066B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
| US20230065506A1 (en) | Image processing apparatus, control method thereof, and image capturing apparatus | |
| JP4743048B2 (ja) | 撮像装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151211 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160125 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5884759 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |