JP2012098084A - 画像計測装置、画像計測方法及びコンピュータプログラム - Google Patents

Abstract

【課題】注目点の選定や注目点を追尾することが困難な複雑な形状の計測対象物であっても、また時間の経過とともに移動する計測対象物であっても、正確なキャリブレーションを実行することができ、所望の物理量を正確に計測することができる画像計測装置、画像計測方法、及びコンピュータプログラムを提供する。
【解決手段】フレーム画像をコマ送り再生表示し、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける。選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する。生成した合成画像を表示し、表示した合成画像上で所定の物理量を計測する。また、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置し、計測対象物と球とを撮像して取得した動画像に基づいてキャリブレーションを実行する。
【選択図】図１

Description

本発明は、撮像手段で撮像された動画像に基づいて、所望の物理量を計測することができる画像計測装置、該画像計測装置で実行することが可能な画像計測方法、及び該画像計測方法における処理をコンピュータに実行させるコンピュータプログラムに関する。

従来、撮像手段で計測対象物の動画像を撮像し、撮像された動画像の注目点を選定し、注目点を自動的に追尾することにより注目点の移動距離、速度、加速度等を計測する画像計測装置が開発されている。例えば特許文献１には、瞬間的な画像を撮像周期の短い連続的な複数のフレーム画像として撮像するハイスピード撮像を行い、高速動画像を撮像する動画像撮像装置が開示されている。

特許文献１に開示してある動画像撮像装置では、撮像手段であるカメラの位置を固定し、フレーム画像を用いて移動する計測対象物の注目点を追尾することにより、注目点の移動距離、速度、加速度等を計測することができる。

特開２００９−１４１７０９号公報

しかし、計測対象物の形状、計測対象物の動作が複雑な場合等、注目点の選定が困難である場合、従来の画像計測方法では十分な精度で計測することができない。また、選定した注目点が計測対象物の所望の動きを表すものとなっているか否かを判断することが困難な場合もある。さらに、従来の画像計測方法では、計測対象物の形状によってはフレーム画像を用いて注目点を追尾することが困難である場合、あるいは追尾することができない場合が生じうる。したがって、注目点の移動距離、速度、加速度等を計測することができない場合が生じるという問題点があった。

また、複数のフレーム画像はそれぞれその瞬間の静止画像であり、時間の経過とともに移動する計測対象物については撮像位置の補正を行うことが困難であり、注目点の移動距離、速度、加速度等を計測することができないという問題点もあった。

さらに、キャリブレーションの実行時には、寸法等が既知である計測対象物、例えば定規を計測対象物とともに撮像することが必要である。しかし、計測対象物の形状が複雑である場合には定規を撮像手段の正面に配置できるとは限らず、寸法に狂いが生じるおそれがあり、正確なキャリブレーションを実行することができないという問題点もあった。

本発明は上記事情に鑑みてなされたものであり、注目点を選定すること、注目点を追尾すること等が困難な複雑な形状の計測対象物であっても、また時間の経過とともに移動する計測対象物であっても、所望の物理量を正確に計測することができる画像計測装置、該画像計測装置で実行することが可能な画像計測方法、及び該画像計測方法における処理をコンピュータに実行させるコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る画像計測装置は、計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置において、前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段と、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段と、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段と、生成した合成画像を表示する合成画像表示手段と、表示した合成画像上で所定の物理量を計測する計測手段とを備えることを特徴とする。

また、第２発明に係る画像計測装置は、第１発明において、前記コマ送り再生表示手段は、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示するようにしてあることを特徴とする。

また、第３発明に係る画像計測装置は、第１又は第２発明において、選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段と、生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段とを備えることを特徴とする。

また、第４発明に係る画像計測装置は、第１乃至第３発明のいずれか１つにおいて、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示するようにしてあることを特徴とする。

また、第５発明に係る画像計測装置は、第１乃至第４発明のいずれか１つにおいて、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示するようにしてあることを特徴とする。

また、第６発明に係る画像計測装置は、第１乃至第５発明のいずれか１つにおいて、前記合成画像表示手段は、計測した物理量及びフレーム画像間の時間差を併せて表示するようにしてあることを特徴とする。

また、第７発明に係る画像計測装置は、第１乃至第６発明のいずれか１つにおいて、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする。

また、第８発明に係る画像計測装置は、第７発明において、取得した動画像から前記球を抽出する球抽出手段を備え、抽出した球に基づいてキャリブレーションを実行するようにしてあることを特徴とする。

また、第９発明に係る画像計測装置は、第７発明において、前記球の表面に判別することが可能な模様を付してあり、該模様を検出し、検出した模様に基づいてキャリブレーションを実行するようにしてあることを特徴とする。

また、第１０発明に係る画像計測装置は、第７乃至第９発明のいずれか１つにおいて、前記球を発光させるようにしてあることを特徴とする。

次に、上記目的を達成するために第１１発明に係る画像計測方法は、計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能な画像計測方法において、前記フレーム画像をコマ送り再生表示するコマ送り再生表示工程と、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付工程と、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成工程と、生成した合成画像を表示する合成画像表示工程と、表示した合成画像上で所定の物理量を計測する計測工程とを含むことを特徴とする。

また、第１２発明に係る画像計測方法は、第１１発明において、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することを特徴とする。

また、第１３発明に係る画像計測方法は、第１１又は第１２発明において、選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成工程と、生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示工程とを含むことを特徴とする。

また、第１４発明に係る画像計測方法は、第１１乃至第１３発明のいずれか１つにおいて、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示することを特徴とする。

また、第１５発明に係る画像計測方法は、第１１乃至第１４発明のいずれか１つにおいて、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示することを特徴とする。

また、第１６発明に係る画像計測方法は、第１１乃至第１５発明のいずれか１つにおいて、計測した物理量及びフレーム画像間の時間差を併せて表示することを特徴とする。

また、第１７発明に係る画像計測方法は、第１１乃至第１６発明のいずれか１つにおいて、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする。

また、第１８発明に係る画像計測方法は、第１７発明において、取得した動画像から前記球を抽出する球抽出工程を含み、抽出した球に基づいてキャリブレーションを実行することを特徴とする。

また、第１９発明に係る画像計測方法は、第１７発明において、前記球の表面に判別することが可能な模様を付してあり、該模様を検出し、検出した模様に基づいてキャリブレーションを実行することを特徴とする。

また、第２０発明に係る画像計測方法は、第１７乃至第１９発明のいずれか１つにおいて、前記球を発光させることを特徴とする。

次に、上記目的を達成するために第２１発明に係るコンピュータプログラムは、計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能なコンピュータプログラムにおいて、前記画像計測装置を、前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段、生成した合成画像を表示する合成画像表示手段、及び表示した合成画像上で所定の物理量を計測する計測手段として機能させることを特徴とする。

また、第２２発明に係るコンピュータプログラムは、第２１発明において、前記コマ送り再生表示手段を、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示する手段として機能させることを特徴とする。

また、第２３発明に係るコンピュータプログラムは、第２１又は第２２発明において、前記画像計測装置を、選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段、及び生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段として機能させることを特徴とする。

また、第２４発明に係るコンピュータプログラムは、第２１乃至第２３発明のいずれか１つにおいて、前記画像計測装置を、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示する手段として機能させることを特徴とする。

また、第２５発明に係るコンピュータプログラムは、第２１乃至第２４発明のいずれか１つにおいて、前記画像計測装置を、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示する手段として機能させることを特徴とする。

また、第２６発明に係るコンピュータプログラムは、第２１乃至第２５発明のいずれか１つにおいて、前記合成画像表示手段を、計測した物理量及びフレーム画像間の時間差を併せて表示する手段として機能させることを特徴とする。

また、第２７発明に係るコンピュータプログラムは、第２１乃至第２６発明のいずれか１つにおいて、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記画像計測装置を、前記撮像手段で前記計測対象物と前記球とを撮像した動画像を取得する手段、及び取得した動画像に基づいてキャリブレーションを実行する手段として機能させることを特徴とする。

また、第２８発明に係るコンピュータプログラムは、第２７発明において、前記画像計測装置を、取得した動画像から前記球を抽出する球抽出手段、及び抽出した球に基づいてキャリブレーションを実行する手段として機能させることを特徴とする。

また、第２９発明に係るコンピュータプログラムは、第２７発明において、前記球の表面に判別することが可能な模様を付してあり、前記画像計測装置を、該模様を検出し、検出した模様に基づいてキャリブレーションを実行する手段として機能させることを特徴とする。

第１発明、第１１発明及び第２１発明では、コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付け、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する。生成した合成画像を表示し、表示した合成画像上で所望の物理量を計測する。選択を受け付けたフレーム画像は静止画像であるので、静止画像を重ね合わせた合成画像も静止画像となる。したがって、時間の経過とともに移動する計測対象物であっても、形状が複雑な計測対象物であっても、静止画像に対する計測方法を適用することができ、所望の物理量、例えば移動距離、速度、加速度等を複雑な画像処理を施すことなく計測することができる。

第２発明、第１２発明及び第２２発明では、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することにより、注目点が順次移動する様子を目視で確認することができ、所望の物理量、例えば移動距離、速度、加速度等を確実に計測することが可能となる。

第３発明、第１３発明及び第２３発明では、選択を受け付けた複数のフレーム画像のサムネイル画像を生成し、生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示することにより、物理量を計測する対象となるフレーム画像と他のフレーム画像とを明確に区別することができ、誤ったフレーム画像を用いて計測される事態が生じることを未然に防止することができる。

第４発明、第１４発明及び第２４発明では、選択を受け付けた複数のフレーム画像に識別情報を対応付け、他のフレーム画像と区別して表示することにより、物理量を計測する対象となるフレーム画像と他のフレーム画像とを明確に区別することができ、誤ったフレーム画像を用いて計測される事態が生じることを未然に防止することができる。

第５発明、第１５発明及び第２５発明では、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示することにより、計測対象となる注目点の変化がより鮮明になり、より正確に物理量を計測することが可能となる。

第６発明、第１６発明及び第２６発明では、計測した物理量及びフレーム画像間の時間差を併せて表示することにより、所望の物理量として、移動距離だけでなく、速度、加速度等も計測することができる。

第７発明、第１７発明及び第２７発明では、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してある。撮像手段で計測対象物と球とを撮像した動画像を取得し、取得した動画像に基づいてキャリブレーションを実行する。これにより、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。

第８発明、第１８発明及び第２８発明では、取得した動画像から球を抽出し、抽出した球に基づいてキャリブレーションを実行することにより、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。

第９発明、第１９発明及び第２９発明では、球の表面に判別することが可能な模様を付してあり、該模様を検出し、検出した模様に基づいてキャリブレーションを実行することにより、模様の寸法を自動的に認識し、自動的にキャリブレーションを実行することが可能となる。

第１０発明及び第２０発明では、球を発光させることにより、取得した動画像から球を容易に抽出することができ、正確にキャリブレーションを実行することが可能となる。

上記構成によれば、生成した合成画像を表示し、表示した合成画像上で所定の物理量を計測する。選択を受け付けたフレーム画像は静止画像であるので、静止画像を重ね合わせた合成画像も静止画像となる。したがって、時間の経過とともに移動する計測対象物であっても、形状が複雑な計測対象物であっても、静止画像に対する計測方法を適用することができ、所望の物理量、例えば移動距離、速度、加速度等を複雑な画像処理を施すことなく計測することができる。また、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。

本発明の実施の形態１に係る画像計測装置の外観を示す斜視図である。 本発明の実施の形態１に係る画像計測装置の構成を示すブロック図である。 本発明の実施の形態１に係る画像計測装置の一構成例を示す機能ブロック図である。 本発明の実施の形態１に係る画像計測装置の合成画像生成画面の例示図である。 本発明の実施の形態１に係る画像計測装置の合成画像生成画面の例示図である。 本発明の実施の形態１に係る画像計測装置の合成画像生成画面の例示図である。 本発明の実施の形態１に係る画像計測装置の計測画面の例示図である。 本発明の実施の形態１に係る画像計測装置の計測画面での計測時の例示図である。 本発明の実施の形態１に係る画像計測装置の制御部の処理手順を示すフローチャートである。 本発明の実施の形態２に係る画像計測装置の一構成例を示す機能ブロック図である。 本発明の実施の形態２に係る画像計測装置のキャリブレーション実行画面の例示図である。 本発明の実施の形態２に係る画像計測装置の、キャリブレーション実行後の計測画面の例示図である。 本発明の実施の形態２に係る画像計測装置の制御部の自動キャリブレーション処理の手順を示すフローチャートである。 本発明の実施の形態２に係る画像計測装置の球の表面に付す模様の例示図である。

以下、本発明の実施の形態に係る画像計測装置について、図面を参照して説明する。なお、参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一の符号を付して、詳細な説明を省略する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像計測装置の外観を示す斜視図である。図１に示すように本実施の形態１に係る画像計測装置１は、表示装置１１と一体となった匡体を有しており、前面下部に、撮像手段であるカメラ２とケーブルを介して接続するビデオインタフェース１２、外部機器とデータ通信することが可能に接続する通信インタフェース１３等を備えている。

図２は、本発明の実施の形態１に係る画像計測装置１の構成を示すブロック図である。図２に示すように本実施の形態１に係る画像計測装置１は、表示装置１１と一体となった匡体を有しており、少なくともＣＰＵ（中央演算装置）、ＬＳＩ等で構成された制御部１４、メモリ１５、記憶装置１６、表示装置１１と接続してある表示インタフェース１７、外部機器とデータ通信することが可能に接続する通信インタフェース１３、カメラ（撮像手段）２と接続してあるビデオインタフェース１２、入力装置３と接続してある入力インタフェース２０、可搬型ディスクドライブ１８及び上述したハードウェアを接続する内部バス１９で構成されている。

制御部１４は、内部バス１９を介して画像計測装置１の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置１６に記憶されるコンピュータプログラム１００に従って、種々のソフトウェア的機能を実行する。メモリ１５は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム１００の実行時にロードモジュールが展開され、コンピュータプログラム１００の実行時に発生する一時的なデータ等を記憶する。

記憶装置１６は、内蔵される固定型記憶装置（ハードディスク、フラッシュメモリ）、ＲＯＭ等で構成されている。記憶装置１６に記憶されるコンピュータプログラム１００は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ等の可搬型記録媒体９０から、可搬型ディスクドライブ１８によりダウンロードされ、実行時には記憶装置１６からメモリ１５へ展開して実行される。もちろん、通信インタフェース１３を介して外部のコンピュータからダウンロードされたコンピュータプログラム１００であっても良い。

通信インタフェース１３は内部バス１９に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ通信を行うことが可能となっている。すなわち、上述した記憶装置１６は、画像計測装置１に内蔵される構成に限定されるものではなく、通信インタフェース１３を介して接続されている外部のサーバコンピュータ等に設置されているハードディスク等の外部記録媒体であっても良い。

入力装置３は、マウス等のポインティングデバイス、コンソール、キーボード又はリモコン操作機等の有線又は無線の操作装置の他、表示装置１１と一体となったタッチパネル等の入力情報を取得する装置等、データの入力を行うことができるのであれば特に限定されるものではない。

カメラ（撮像手段）２は、ＣＣＤ撮像素子を備えたＣＣＤカメラ等であり、計測対象物の複数のフレーム画像で構成された動画像を撮像する。表示装置１１は、ＣＲＴ、液晶パネル等である。なお、通信インタフェース１３を介して外部制御機器が接続されていても良い。外部制御機器とは、例えばセンサ、波形収集装置、あるいはＰＬＣ（プログラマブルロジックコントローラ）等の、制御部１４に後述する録画の終了タイミングの基準となるトリガ信号を与えることができる機器全般を意味している。

図３は、本発明の実施の形態１に係る画像計測装置１の一構成例を示す機能ブロック図である。図３において、本実施の形態１に係る画像計測装置１には、カメラ２と、入力装置３とが接続されている。なお、計測対象物を照らす照明用光源を有していても良いことは言うまでもない。

カメラ２は、例えばディジタルカメラとして機能し、ハイスピード撮像を行う。ハイスピード撮像とは、人間の目では視覚することが困難である瞬間的な対象物の動きを、連続的な複数のフレーム画像として撮像することを意味しており、例えば撮影フレームレートが１００ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）から１００万ｆｐｓの間で撮像する。本実施の形態１のカメラ２は、１５ｆｐｓ以上３２０００ｆｐｓ以下の撮影フレームレートで計測対象物を撮影することができる。本実施の形態１において動画像とは、所定の撮影フレームレートで連続して撮像した一連の静止画像（フレーム画像）の集合を意味する。

動画像取得部１０１は、カメラ２で撮像した計測対象物の動画像を取得する。本実施の形態１では、録画が開始された場合、動画像として、所定の撮影フレームレートで連続して撮像した一連の静止画像が、順次、メモリ１５に記憶される。メモリ１５は、その一部又は全部の記憶領域をリングバッファとして構成してあり、撮像した一連の静止画像は、順次、リングバッファに格納され、制御部１４にトリガ信号が入力された場合に録画が終了する。これにより、動画像として、所定の撮影フレームレートで連続して撮像した一連の静止画像の集合を取得することができる。

トリガ信号は、ユーザが入力装置３を操作することにより制御部１４に与えられる。入力装置３の操作の代わりに、あるいは入力装置３の操作に加えて、圧力センサ、加速度センサ、音センサ等のセンサ、波形収集装置、あるいはＰＬＣ（プログラマブルロジックコントローラ）等から与えられる信号をトリガ信号として設定するようにしても良い。

制御部１４は、トリガ信号の入力に応じて、予め設定された録画時間に基づいてトリガ信号の入力時点から所定時間後に録画を終了する。リングバッファと録画時間設定とにより、トリガ信号の入力時点の前及び／又は後の所定時間の動画像を取得することができる。

コマ送り再生表示部１０２は、取得した動画像を構成する複数のフレーム画像を表示装置１１にコマ送り再生表示する。コマ送り再生とは、ユーザが入力装置３を操作することにより、連続して撮像した一連の静止画像を１コマずつ順送り又は逆送りで表示することであり、ユーザが入力装置３の操作を停止することで最後に選択された静止画像が表示され続けることを意味する。例えば、後述するように、スライダを左右に操作する、又はフレーム番号表示領域のフレーム番号を変動させることにより、表示装置１１上に順送り又は逆送りを示す各々のボタンが表示され、マウスでボタンをクリックする度に１コマずつ順送り又は逆送りされる構成である。あるいはマウスのホイールのような回転ノブの回転操作により１コマずつ順次再生され、回転方向に応じて順送り又は逆送り再生される構成であっても良い。

なお、コマ送り再生表示部１０２は、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することが好ましい。注目部位が順次移動する様子を目視で確認することができるからである。最初に選択を受け付けたフレーム画像とコマ送り再生表示するフレーム画像との重ね合わせは、両フレーム画像を各画素ごとに平均化して重ね合わせても良いし、両フレーム画像間で差分の大きい箇所を強調して重ね合わせても良い。また、両フレーム画像と同一動画像中の他のフレーム画像又は他の複数のフレーム画像との統計的処理により差分の大きい箇所を特定し、特定された箇所を強調して重ね合わせるようにしても良い。

画像選択受付部１０３は、コマ送り再生表示されているフレーム画像から、入力装置３を介して複数のフレーム画像の選択を受け付ける。具体的には、注目点が移動を開始する時点と移動を終了する時点を示すフレーム画像、あるいは最大振幅を示す両端を示すフレーム画像等の選択を受け付ける。

なお、選択を受け付けた複数のフレーム画像に識別情報を対応付け、他のフレーム画像と区別して表示することが好ましい。どのフレーム画像を計測に用いるのか、目視で確認することができるからである。

また、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示しても良い。輪郭線が付与された画像が表示されることで、計測対象となる注目点の変化がより鮮明になり、より正確に物理量を計測することができるからである。

合成画像生成部１０４は、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成し、合成画像表示部１０５は、生成した合成画像を表示装置１１に表示する。図４乃至図６は、本発明の実施の形態１に係る画像計測装置１の合成画像生成画面の例示図である。

まず、図４に示すように、動画表示領域４１に動画像としてフレーム画像をコマ送り再生表示する。フレーム画像の前後へのコマ送り操作は、スライダ４３を左右に操作する、又はフレーム番号表示領域４４のフレーム番号を変動させることにより行うことができる。

最初に「登録」ボタン４６が選択されるまでは、プレビュー画面表示領域４２には、動画表示領域４１と同一のフレーム画像が表示される。図５は、最初に「登録」ボタン４６が選択された場合の合成画像生成画面を示している。

最初に「登録」ボタン４６が選択された場合、選択された時点で動画表示領域４１に表示されているフレーム画像が、合成対象画像表示領域４５にコピーされて表示される。図５の例では、フレーム画像を表示すると共に、フレーム番号表示領域４４のフレーム番号も表示されている。

そして、動画像をコマ送り再生表示する。コマ送り再生表示時、プレビュー画面表示領域４２には、最初に「登録」ボタン４６が選択された時点で動画表示領域４１に表示されていたフレーム画像に、動画表示領域４１にコマ送り再生表示されているフレーム画像を重ね合わせた画像を表示する。図６は、再度「登録」ボタン４６が選択された場合の合成画像生成画面を示している。

再度「登録」ボタン４６が選択された場合、選択された時点で動画表示領域４１に表示されているフレーム画像が、合成対象画像表示領域４５にコピーされて表示される。図６の例では、再度「登録」ボタン４６が選択された時点のフレーム画像を表示すると共に、フレーム番号表示領域４４のフレーム番号も表示されている。このとき、プレビュー画面表示領域４２には、計測対象となる注目点として秒針が２つ表示された合成画像が表示されている。

このように、選択を受け付けた複数のフレーム画像のサムネイル画像を合成対象画像表示領域４５に表示することで、計測に用いるフレーム画像が正しいか否かを目視で確認することができる。図３に戻って、サムネイル画像生成部１０７は、選択を受け付けた複数のフレーム画像のサムネイル画像を生成する。サムネイル画像表示部１０８は、生成したサムネイル画像を元のフレーム画像を識別する識別情報、例えばフレーム番号と共に表示する。

計測部１０６は、表示した合成画像上で所望の物理量を計測する。図７は、本発明の実施の形態１に係る画像計測装置１の計測画面の例示図である。計測画面では、図６のプレビュー画面表示領域４２に表示された合成画像を合成画像表示領域７１に表示し、計測項目選択領域７２にて、計測したい項目の選択を受け付けて、所望の物理量を計測する。

図８は、本発明の実施の形態１に係る画像計測装置１の計測画面での計測時の例示図である。図８では、図７の計測項目選択領域７２にて、計測したい項目として「角度１」を選択した場合を示している。

「角度１」の選択を受け付けて、計測対象として合成画像表示領域７１に表示されている合成画像の２つの秒針８４、８５の選択指示を受け付けた場合、計測値表示領域８２に、計測対象である秒針間の角度として計測値「３０．８７度」が表示される。なお、図３の合成画像表示部１０５は、計測した物理量及びフレーム画像間の時間差を併せて表示することが好ましい。移動距離だけでなく、速度、加速度等を画面に表示されている情報のみから計測することができるからである。図８では、時間差表示領域８３に、角度の計測対象となった秒針が属するフレーム画像間の時間差が表示されている。

なお、本発明の実施の形態１に係る画像計測装置１では、計測したい項目に対応した計測線（例えば合成画像の２つの秒針８４、８５上の線分）、計測点等を、表示されている合成画像に対して入力装置３を介して直接指定するように構成している。しかし、合成画像の各々の元画像に対して計測したい項目に対応した計測線、計測点等を指定するように構成し、合成画像上でそれぞれ指定された計測線、計測点等が合成されて表示され、合成画像に対して入力装置３を介して直接指定した場合と同様に、計測値表示領域８２に、計測対象である秒針間の角度として計測値「３０．８７度」が表示され、時間差表示領域８３に、角度の計測対象となった秒針が属するフレーム画像間の時間差が表示されるように構成しても良い。

図９は、本発明の実施の形態１に係る画像計測装置１の制御部１４の処理手順を示すフローチャートである。画像計測装置１の制御部１４は、カメラ２で撮像した計測対象物の動画像を取得する（ステップＳ９０１）。本実施の形態１では、動画像として、所定のフレームレートで連続して撮像した一連の静止画像（フレーム画像）の集合を取得する。

制御部１４は、動画像として取得した複数のフレーム画像をコマ送り再生表示し（ステップＳ９０２）、コマ送り再生表示されたフレーム画像から、入力装置３を介して計測対象となる最初のフレーム画像の選択を受け付けたか否かを判断する（ステップＳ９０３）。制御部１４が、選択を受け付けていないと判断した場合（ステップＳ９０３：ＮＯ）、制御部１４は、選択の受付待ち状態となる。選択を受け付けるフレーム画像は、例えば注目点が移動を開始する時点を示すフレーム画像、振幅する場合に一端側にて最大振幅となっている時点を示すフレーム画像等である。

制御部１４が、選択を受け付けたと判断した場合（ステップＳ９０３：ＹＥＳ）、制御部１４は、入力装置３を介して計測対象となるフレーム画像の選択を再度受け付けたか否かを判断する（ステップＳ９０４）。制御部１４が、再度選択を受け付けていないと判断した場合（ステップＳ９０４：ＮＯ）、制御部１４は、選択の受付待ち状態となる。再度選択を受け付けるフレーム画像は、例えば注目点が移動を終了する時点を示すフレーム画像、振幅する場合に他端側にて最大振幅となっている時点を示すフレーム画像等である。

制御部１４が、選択を受け付けたと判断した場合（ステップＳ９０４：ＹＥＳ）、制御部１４は、選択を受け付けたフレーム画像を重ね合わせた合成画像を生成して表示装置１１に表示する（ステップＳ９０５）。制御部１４は、表示した合成画像上で所定の物理量を計測し、結果を表示装置１１に表示する（ステップＳ９０６）。

以上のように、本実施の形態１によれば、選択を受け付けたフレーム画像は静止画像であるので、静止画像を重ね合わせた合成画像も静止画像となる。したがって、時間の経過とともに移動する計測対象物であっても、形状が複雑な計測対象物であっても、静止画像に対する計測方法を適用することができ、所望の物理量、例えば移動距離、速度、加速度等を複雑な画像処理を施すことなく計測することができる。

（実施の形態２）
本発明の実施の形態２に係る画像計測装置１の構成は、実施の形態１と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態２は、物理量計測時に正確なキャリブレーションを実行することができる点で実施の形態１と相違する。

図１０は、本発明の実施の形態２に係る画像計測装置１の一構成例を示す機能ブロック図である。図１０に示すように、本発明の実施の形態２に係る画像計測装置１は、キャリブレーション実行部１００１を備える以外、図３に示した実施の形態１に係る画像計測装置１と同じ構成である。

キャリブレーション実行部１００１は、寸法が既知である球を計測対象物と同一の動画像に写り込むように配置しておき、カメラ２で計測対象物と球とを撮像して取得した動画像に基づいてキャリブレーションを実行する。具体的には、球抽出部１００２が、取得した動画像から球を抽出する。抽出した球の直径の表示画面上での絶対距離ｒと、既知である実際の球の直径Ｒとの比率μ＝Ｒ／ｒを算出して記憶装置１６に記憶する。

なお、球を計測対象物の近傍に配置するためには、例えば球を棒の先端に設けておき、動画像の撮像時に、計測対象物の近傍へと球を差しのべれば良い。このとき、カメラ２から見て、計測対象物と球とが同一の距離となるよう調整することが重要となる。

これにより、表示画面上での計測対象物の距離ｒ１に比率μを乗算することで、実寸値Ｐ＝μ×ｒ１を求めることができ、正確なキャリブレーションを実行することができる。図１１は、本発明の実施の形態２に係る画像計測装置１のキャリブレーション実行画面の例示図である。

図１１において、計測対象物は計測対象物表示領域１１１に球１１２とともに表示されている。手動でキャリブレーションを実行する場合、「マニュアルキャリブレーション」選択ボタン１１５を選択し、基準長入力領域１１４に基準長さとして実際の球の直径の長さである「３ｍｍ」を入力する。

次に、計測対象物表示領域１１１に表示されているフレーム画像から球を抽出し、抽出した球１１２上にて、直径に対してキャリブレーションスケール１１３を合わせて、「ＯＫ」ボタン１１６を選択する。これにより、抽出した球１１２の直径の表示画面上での絶対距離ｒと、既知である実際の球の直径Ｒとの比率μ＝Ｒ／ｒを算出することができ、容易にキャリブレーションを実行することができる。

図１２は、本発明の実施の形態２に係る画像計測装置１の、キャリブレーション実行後の計測画面の例示図である。図１２では、計測したい項目として「２点間（の距離計測）」を選択しており、どこの距離を計測するか指示した計測対象表示１２１の距離を計測して、計測結果を表示する。

自動でキャリブレーションを実行する場合、図１１において「オートキャリブレーション」選択ボタン１１７を選択し、事前に基準長さとして実際の球の直径の長さである「３ｍｍ」を設定しておく。取得した動画像から球１１２を抽出し、球１１２の直径の表示画面上での絶対距離ｒを取得することにより、比率μを算出して自動的にキャリブレーションを実行する。

図１３は、本発明の実施の形態２に係る画像計測装置１の制御部１４の自動キャリブレーション処理の手順を示すフローチャートである。図１３において、カメラ２から見て、計測対象物と同一の距離になるように、寸法が既知である球を配置し、カメラ２にて球が同一のフレーム画像に写り込むように計測対象物を撮像する。

画像計測装置１の制御部１４は、撮像された球及び計測対象物が写り込んだ、複数のフレーム画像で構成された動画像を取得する（ステップＳ１３０１）。制御部１４は、取得した動画像の中から一のフレーム画像を選択し（ステップＳ１３０２）、選択したフレーム画像から球を抽出する（ステップＳ１３０３）。

制御部１４は、抽出した球の直径を特定し、直径の表示画面上での長さを取得する（ステップＳ１３０４）。制御部１４は、取得した直径の表示画面上での長さと、事前に基準長さとして入力してある実際の球の直径の長さとの比率を算出して記憶装置１６に記憶する（ステップＳ１３０５）。

なお、球の表面に判別することが可能な模様を付し、該模様を検出し、検出した模様に基づいてキャリブレーションを実行することにより、模様の寸法を自動的に認識して自動的にキャリブレーションを実行することもできる。図１４は、本発明の実施の形態２に係る画像計測装置１の球の表面に付す模様の例示図である。

球に付する模様としては、図１４（ａ）に示すように、寸法が既知である正三角形であっても良いし、図１４（ｂ）に示すように、寸法が既知である四角形であっても良い。いずれであっても、寸法が既知である模様を検出することができるので、検出した模様に基づいて正確にキャリブレーションを実行することができる。

また、取得した動画像（フレーム画像）から球を確実に抽出するために、ＬＥＤ等を用いて球を発光させても良い。球を発光させることにより、容易に球を抽出することができ、正確にキャリブレーションを実行することが可能となる。

以上のように、本発明の実施の形態２によれば、どの方向から撮像した場合であっても、二次元画像では円形として撮像される球をキャリブレーション実行時の基準とすることにより、正確なキャリブレーションを実行することが可能となる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば球に付する模様は、図１４に示す模様に限定されるものではなく、寸法を計測しやすい模様であれば特に限定されるものではない。

１ 画像計測装置
２ カメラ（撮像手段）
３ 入力装置
１１ 表示装置
１２ ビデオインタフェース
１３ 通信インタフェース
１４ 制御部
１５ メモリ
１６ 記憶装置
１７ 表示インタフェース
１８ 可搬型ディスクドライブ
１９ 内部バス
２０ 入力インタフェース
９０ 可搬型記録媒体
１００ コンピュータプログラム

Claims (29)

1. 計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置において、
   前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段と、
   コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段と、
   選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段と、
   生成した合成画像を表示する合成画像表示手段と、
   表示した合成画像上で所定の物理量を計測する計測手段と
   を備えることを特徴とする画像計測装置。
2. 前記コマ送り再生表示手段は、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示するようにしてあることを特徴とする請求項１に記載の画像計測装置。
3. 選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段と、
   生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段と
   を備えることを特徴とする請求項１又は２記載の画像計測装置。
4. 選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示するようにしてあることを特徴とする請求項１乃至３のいずれか一項に記載の画像計測装置。
5. 選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示するようにしてあることを特徴とする請求項１乃至４のいずれか一項に記載の画像計測装置。
6. 前記合成画像表示手段は、計測した物理量及びフレーム画像間の時間差を併せて表示するようにしてあることを特徴とする請求項１乃至５のいずれか一項に記載の画像計測装置。
7. 寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする請求項１乃至６のいずれか一項に記載の画像計測装置。
8. 取得した動画像から前記球を抽出する球抽出手段を備え、
   抽出した球に基づいてキャリブレーションを実行するようにしてあることを特徴とする請求項７に記載の画像計測装置。
9. 前記球の表面に判別することが可能な模様を付してあり、
   該模様を検出し、検出した模様に基づいてキャリブレーションを実行するようにしてあることを特徴とする請求項７に記載の画像計測装置。
10. 前記球を発光させるようにしてあることを特徴とする請求項７乃至９のいずれか一項に記載の画像計測装置。
11. 計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能な画像計測方法において、
    前記フレーム画像をコマ送り再生表示するコマ送り再生表示工程と、
    コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付工程と、
    選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成工程と、
    生成した合成画像を表示する合成画像表示工程と、
    表示した合成画像上で所定の物理量を計測する計測工程と
    を含むことを特徴とする画像計測方法。
12. 最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示することを特徴とする請求項１１に記載の画像計測方法。
13. 選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成工程と、
    生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示工程と
    を含むことを特徴とする請求項１１又は１２記載の画像計測方法。
14. 選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示することを特徴とする請求項１１乃至１３のいずれか一項に記載の画像計測方法。
15. 選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示することを特徴とする請求項１１乃至１４のいずれか一項に記載の画像計測方法。
16. 計測した物理量及びフレーム画像間の時間差を併せて表示することを特徴とする請求項１１乃至１５のいずれか一項に記載の画像計測方法。
17. 寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、前記撮像手段で前記計測対象物と前記球とを撮像して取得した動画像に基づいてキャリブレーションを実行することを特徴とする請求項１１乃至１６のいずれか一項に記載の画像計測方法。
18. 取得した動画像から前記球を抽出する球抽出工程を含み、
    抽出した球に基づいてキャリブレーションを実行することを特徴とする請求項１７に記載の画像計測方法。
19. 前記球の表面に判別することが可能な模様を付してあり、
    該模様を検出し、検出した模様に基づいてキャリブレーションを実行することを特徴とする請求項１７に記載の画像計測方法。
20. 前記球を発光させることを特徴とする請求項１７乃至１９のいずれか一項に記載の画像計測方法。
21. 計測対象物を撮像手段で撮像して取得した複数のフレーム画像で構成された動画像に基づいて物理量を計測する画像計測装置で実行することが可能なコンピュータプログラムにおいて、
    前記画像計測装置を、
    前記フレーム画像をコマ送り再生表示するコマ送り再生表示手段、
    コマ送り再生表示されたフレーム画像から、複数のフレーム画像の選択を受け付ける画像選択受付手段、
    選択を受け付けたフレーム画像を重ね合わせた合成画像を生成する合成画像生成手段、
    生成した合成画像を表示する合成画像表示手段、及び
    表示した合成画像上で所定の物理量を計測する計測手段
    として機能させることを特徴とするコンピュータプログラム。
22. 前記コマ送り再生表示手段を、最初に選択を受け付けたフレーム画像に、コマ送り再生表示するフレーム画像を順次重ね合わせて表示する手段として機能させることを特徴とする請求項２１に記載のコンピュータプログラム。
23. 前記画像計測装置を、
    選択を受け付けた複数のフレーム画像のサムネイル画像を生成するサムネイル画像生成手段、及び
    生成したサムネイル画像を元のフレーム画像を識別する識別情報と共に表示するサムネイル画像表示手段
    として機能させることを特徴とする請求項２１又は２２記載のコンピュータプログラム。
24. 前記画像計測装置を、選択を受け付けた複数のフレーム画像に前記識別情報を対応付け、他のフレーム画像と区別して表示する手段として機能させることを特徴とする請求項２１乃至２３のいずれか一項に記載のコンピュータプログラム。
25. 前記画像計測装置を、選択を受け付けた複数のフレーム画像に輪郭線を付与した輪郭画像を重ね合わせて表示する手段として機能させることを特徴とする請求項２１乃至２４のいずれか一項に記載のコンピュータプログラム。
26. 前記合成画像表示手段を、計測した物理量及びフレーム画像間の時間差を併せて表示する手段として機能させることを特徴とする請求項２１乃至２５のいずれか一項に記載のコンピュータプログラム。
27. 寸法が既知である球を計測対象物と同一の動画像に写り込むように配置してあり、
    前記画像計測装置を、
    前記撮像手段で前記計測対象物と前記球とを撮像した動画像を取得する手段、及び
    取得した動画像に基づいてキャリブレーションを実行する手段
    として機能させることを特徴とする請求項２１乃至２６のいずれか一項に記載のコンピュータプログラム。
28. 前記画像計測装置を、
    取得した動画像から前記球を抽出する球抽出手段、及び
    抽出した球に基づいてキャリブレーションを実行する手段
    として機能させることを特徴とする請求項２７に記載のコンピュータプログラム。
29. 前記球の表面に判別することが可能な模様を付してあり、
    前記画像計測装置を、
    該模様を検出し、検出した模様に基づいてキャリブレーションを実行する手段として機能させることを特徴とする請求項２７に記載のコンピュータプログラム。