JP2016021651A - 静止画像取得装置、静止画像取得方法、及び静止画像取得プログラム - Google Patents

Abstract

【課題】映像データから静止画像区間を特定し、その静止画像区間における代表静止画像を取得する。
【解決手段】静止画像取得装置３００は、フレーム比較部３５２により時間的に前後に位置するフレームを読み込み、変化量を計算する。計算された変化量から、静止画像抽出部３５４により、静止画像区間を特定するための閾値αを用いて、静止画像区間を特定する。静止画像抽出部３５４により、静止画像区間に属するフレームから、代表静止画像を取得する上で第２の静止画像であるか否かを判定するための閾値βを用いて、第２の静止画像を抽出する。抽出した第２の静止画像から、代表静止画像取得部３５６により、特定した静止画像区間における映像データの内容を表すのに適した静止画像を取得する。
【選択図】図２

Description

本発明は、映像データから静止画像を取得する静止画像取得装置、静止画像取得方法、及び静止画像取得プログラムに関する。

近年のデジタル技術の進展に伴い、撮影した映像より静止画像を自動的に取得することが容易にできるようになった。
撮影した映像より静止画像を自動的に取得する場合、撮影した映像よりフレームを読み込み、その読み込んだフレームから所定の条件に該当するフレームを抽出し、静止画像として取得することが知られている。例えば、映像を構成する複数のフレーム中で画像が変化しない特定の領域に着目して、当該領域を含むフレームを抽出し、静止画像として取得することが知られている。

特許文献１には、映像データより、映像データに付随するテキストデータ（即ち、字幕）に着目して、同じテキストデータを含むフレームを抽出し、その抽出したフレームからフレーム間において画素値の変化の小さいフレームを静止画像として抽出する、静止画像抽出装置が記載されている。
この静止画像抽出装置は、映像データよりテキストデータを読み込み、同一の字幕が表示される期間を、画素値の変化の小さいフレーム区間（以下、静止画像区間）と仮定し、その静止画像区間内にあるフレームのうち、時間的に前後に位置するフレームの画素値の差分が最も小さいフレームを、その静止画像区間の映像内容を特定する代表的な静止画像として抽出するものである。

特許文献１に記載された静止画像抽出装置では、静止画像区間を特定する上で、テキストデータを利用しているが、映像データにはテキストデータが付随されていないケースがほとんどであり、その場合、映像データから静止画像区間を特定することができず、代表的な静止画像を抽出することができない。

本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、映像データから、従来のように、映像中のテキストデータなどのフレーム中の特定領域の画像に依ることなく、静止画像区間を特定でき、その静止画像区間における映像データの内容を特定する静止画像を取得できるようにすることである。

本発明は、映像データから時間的に前後に位置するフレームを読み込むフレーム読込手段と、前記フレーム読込手段により読み込まれた時間的に前後に位置するフレームを比較し、フレーム間の変化量を計算するフレーム比較手段と、前記フレーム比較手段により計算された変化量と、第１の閾値とに基づき、前記読み込んだフレームから第１の静止画像が属する静止画像区間を特定する静止画像区間特定手段と、前記静止画像区間特定手段により特定された静止画像区間に属する第１の静止画像から、前記フレーム比較手段により計算された変化量と、第２の閾値とに基づき、前記静止画像区間毎に、第２の静止画像を抽出する静止画像抽出手段と、前記静止画像抽出手段により抽出された第２の静止画像から静止画像区間における映像データの内容を特定する静止画像を取得する静止画像取得手段と、を有する静止画像取得装置に関する。

本発明によれば、映像データから、従来のように、映像中のテキストデータなどのフレーム中の特定領域の画像に依ることなく、静止画像区間を特定でき、その静止画像区間における映像データの内容を特定する静止画像を取得することができる。

本発明の実施形態に係る静止画像取得装置の概略ブロック図である。 本発明の実施形態に係る静止画像取得装置の機能ブロック図である。 フレーム比較データを示す図である。 フレーム比較データをグラフ化した図である。 静止画像データを示す図である。 本発明の実施形態に係る静止画像取得装置により静止画像区間を特定し、代表静止画像を取得するまでの処理手順を示すフロー図である。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の実施形態に係る静止画像取得装置の概略ブロック図である。
静止画像取得装置３００は、撮影装置１００、外部記憶装置２００、入力装置４００、表示装置５００及び外部接続機器６００と接続される。

撮影装置１００は、被写対象を撮影するための、例えば、ビデオカメラ、ＩＰ（Internet Protocol）カメラ、ｗｅｂカメラ等であり、静止画像取得装置３００にストリーミング映像を提供する。
なお、撮影装置１００は、静止画像取得装置３００内部の映像データ記憶部３５０（図２）とは別に、外部の映像記憶手段としても機能し、撮影装置１００自体において撮影時の映像データを記憶することもできる。したがって、撮影装置１００に記憶した映像データを、静止画像取得装置３００に転送することもできる。

外部記憶装置２００は、ハードディスク等の大容量記憶装置であり、撮影装置１００以外の撮影装置により撮影された映像データを記憶する。
また、撮影装置１００以外の撮影装置で撮影し、その撮影装置自体に映像データを記憶させる場合、その撮影装置を外部記憶装置２００とすることもできる。この場合、その撮影装置のメモリカードをメモリスロット３２０（図２）に挿入することで、またＵＳＢ（Universal Serial Bus）ケーブルをＵＳＢ等接続インタフェース（Ｉ／Ｆ）３４０（図２）に接続することで、映像データを転送することができる。

静止画像取得装置３００は、撮影装置１００からのストリーミング映像、及び外部記憶装置２００からの映像データをフレーム単位で記憶し、その映像データから静止画像区間を特定し、さらに、その特定した静止画像区間にある静止画像から、その静止画像区間における映像データの内容を特定する静止画像（以下、代表静止画像という）を取得する。
なお、静止画像取得装置３００は、ＬＡＮ（Local Area Network）やインターネット等のネットワークに接続することもできる。また、静止画像取得装置３００には、画像処理を実行する上で必要なソフトウェアがインストールされている。

入力装置４００は、例えば、キーボード、マウス等であり、ユーザが静止画像取得装置３００に対して種々の操作を行うための装置である。
表示装置（以下、モニタ）５００は、例えば、液晶表示装置等である。モニタ５００は、現在、静止画像取得装置３００に接続されている撮影装置１００により撮影されている映像、静止画像取得装置３００内の映像データ記憶部３５０（図２）に記憶されている映像、それらの映像から取得した静止画像及び代表静止画像、並びに静止画像取得装置３００にインストールされたソフトウェアの操作画面等を表示する。

外部接続機器６００は、例えば、ＰＣ（Personal Computer）、タブレット、スマートフォン等である。
また、外部接続機器６００は、ＬＡＮケーブル等の有線、又は、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線で、静止画像取得装置３００に接続される。
なお、外部接続機器６００のディスプレイ、又はスクリーンの表示仕様は、モニタ５００の表示仕様と同様である。

図２は、本発明の実施形態に係る静止画像取得装置の機能ブロック図である。
静止画像取得装置３００は、映像データ等の入出力機能として、外部映像入力部３１０、メモリスロット３２０、ＵＳＢ等接続インタフェース３３０、ユーザインタフェース３４０、外部映像出力部３６０、ＬＡＮポート３７０、無線インタフェース３８０を備え、また静止画像取得機能として、静止画像取得装置３００内部に、映像データ記憶部３５０、設定情報取得部３５１、フレーム比較部３５２、フレーム比較データ記憶部３５３、静止画像抽出部３５４、静止画像データ記憶部３５５、代表静止画像取得部３５６、表示制御部３５７を備える。
なお、以上の各部のうち、フレーム比較部３５２、静止画像抽出部３５４、代表静止画像取得部３５６は、静止画像取得装置３００のコンピュータにプログラムを読み取らせることにより生成される機能実現手段である。

外部映像入力部３１０は、静止画像取得装置３００と撮影装置１００とを接続するためのインタフェースである。
メモリスロット３２０は、撮影装置１００以外の撮影装置により撮影された映像データを記憶したメモリカードを挿入し、映像データを転送するためのスロットである。

ＵＳＢ等接続インタフェース３３０は、キーボード、マウス等の入力装置４００をＵＳＢケーブルで接続するためのインタフェースであり、ユーザによる静止画像取得装置３００の操作を可能にする。また、ユーザは、ＵＳＢ等接続インタフェース３３０に、外部記憶装置２００をＵＳＢケーブルで接続することにより、外部記憶装置２００に記憶された映像データを静止画像取得装置３００に転送することができる。
ユーザインタフェース３４０は、静止画像取得装置３００の電源操作、代表静止画像の選択及び表示の制御等、ユーザが静止画像取得装置３００に対して直接、操作するためのインタフェースである。

映像データ記憶部３５０は、静止画像取得装置３００内部の映像記憶手段であり、撮影装置１００で撮影され、外部映像入力部３１０より入力された映像データをフレーム単位で記憶する。
また、映像データ記憶部３５０は、外部記憶装置２００よりメモリスロット３２０、又はＵＳＢ等接続インタフェース３３０を介して転送される映像データも、同様にフレーム単位で記憶する。

設定情報取得部３５１は、映像データから静止画像区間を特定し、さらに、その特定した静止画像区間にある静止画像から代表静止画像を取得する上で必要な情報を取得する。
即ち、設定情報取得部３５１で取得される情報には、静止画像抽出部３５４において静止画像区間を特定するためのパラメータ（閾値）、代表静止画像取得部３５６において静止画像から代表静止画像を取得する方法等がある。

フレーム比較部３５２は、映像データ記憶部３５０にフレーム単位で記憶された映像データより、時間的に前後に位置するフレームを読み込み、各フレーム内の画素毎にフレーム間における画素値の差分（変化量）を計算する。
本実施形態では、画素値の差分を計算する上で、ＲＧＢ値を用いる。
ＲＧＢ値で比較する場合、先ず、比較するフレーム１（ｒ１、ｇ１、ｂ１）及びフレーム２（ｒ２、ｇ２、ｂ２）の各画素に関して、ＲＧＢ値の差分の絶対値（即ち、｜ｒ１−ｒ２｜、｜ｇ１−ｇ２｜、｜ｂ１−ｂ２｜）を計算する。次に、各々の計算結果が設定した所定の閾値（ここでは、感度という）以上となる画素数をカウントし、そのカウントされた画素数が、フレームの総画素数に対して占める割合を計算する。

但し、画素の差分を計算する方法としては、各画素のＲＧＢの値を比較する方法に必ずしも限定されず、各画素のＨＳＶ（Hue Saturation Value）の値を比較する方法、映像データ（画像）をグレースケール化して各画素の輝度値を比較する方法、また映像データ（画像）に対してエッジ処理を実行し、各画素のエッジ強度を比較する方法を用いてもよい。
フレーム比較データ記憶部３５３は、フレーム比較部３５２における計算結果を、フレーム比較データとして記憶する。

静止画像抽出部３５４は、フレーム比較データ記憶部３５３に記憶されているフレーム比較データより、静止画像区間を特定し、その特定した静止画像区間内にある静止画像を、静止画像区間毎の集合（以下、静止画像群ともいう）単位で抽出し、静止画像データ記憶部３５５に記憶する。
なお、静止画像データ記憶部３５５に記憶される静止画像データについては、図５を用いて後述する。

静止画像データ記憶部３５５は、静止画像抽出部３５４により抽出されたフレーム、フレーム番号、及びフレームの総画素数に対する、所定の感度以上となった画素数の割合を、静止画像抽出部３５４により設定された静止画像群単位で記憶する。

代表静止画像取得部３５６は、設定情報取得部３５１により取得された設定（方法）に基づき、静止画像群毎に代表静止画像を取得する。
なお、代表静止画像取得部３５６により取得される代表静止画像は、静止画像群に関連付けて、静止画像データ記憶部３５５に記憶させる。

代表静止画像取得部３５６による代表静止画像の取得方法としては、（ｉ）静止画像群を構成する静止画像の各画素の平均画素値（ＲＧＢ値の平均値）を算出し、その算出された平均画素値より代表静止画像を取得する方法、（ii）静止画像群の最初、又は最後等、所定の抽出位置で静止画像抽出部３５４により抽出され、静止画像データ記憶部３５５に記憶された静止画像を代表静止画像として取得する方法、また、（iii）フレームの総画素数に対する感度以上となった画素数の割合が最も小さいフレーム（静止画像）を代表静止画像として取得する方法がある。また、ユーザは、静止画像群を構成する静止画像を、表示装置５００、又は外部接続機器６００の表示領域（例えば、ディスプレイ、スクリーン等）に表示させ、入力装置４００で選択することで、代表静止画像を取得することもできる。

表示制御部３５７は、入力装置４００、又は外部接続機器６００からの入力情報に従って、静止画像データ記憶部３５５に記憶されている代表静止画像等を読み込み、モニタ５００、又は外部接続機器６００の表示領域に表示させる。

外部映像出力部３６０は、静止画像取得装置３００と表示装置５００とを接続するためのインタフェースである。
ＬＡＮポート３７０は、静止画像取得装置３００と外部接続機器６００とをＬＡＮケーブル等の有線通信手段により接続するためのインタフェースである。
無線インタフェース３８０は、静止画像取得装置３００と外部接続機器６００とをＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信手段により接続するためのインタフェースである。

図３は、フレーム比較データ記憶部３５３に記憶されるフレーム比較データである。
図３において、左欄はフレーム番号（映像データより所定の時間間隔で読み込むフレームの順番）、右欄はフレームの総画素数に対する所定の感度以上となった画素数の割合（％）を示している。例えば、フレーム番号１１では、フレーム番号１０との関係で、フレーム内の各画素に関してＲＧＢ値の差分の絶対値を計算し、その計算結果が設定した所定の感度以上となる画素数の、フレーム総画素数に対して占める割合が８５％であることを示している。フレーム番号１２では、フレーム番号１１との関係で、所定の感度以上となる画素数のフレーム総画素数に対して占める割合が６％であることを示している。フレーム番号１３以下も同様である。

次に、図４を用いて、静止画像抽出部３５４による静止画像区間の特定及び静止画像の抽出のための処理手順について説明する。
図４は、図３に示す、フレーム比較データ記憶部３５３に記憶されるフレーム比較データをグラフ化したものである。図４において、横軸はフレーム番号、縦軸はフレームの総画素数に対する感度以上となった画素数の割合を示している。
なお、図４では、説明の便宜上、フレームを読み込む時間間隔を相応に長く設定している。

図４を参照すると、所定の感度以上となった画素数のフレームの総画素数に対する割合が比較的低いフレーム区間として、フレーム番号１２〜２２までの区間と、フレーム番号２９〜３４までの区間がある。
この場合、フレーム番号１２〜２２までの区間において抽出される静止画像とフレーム番号２９〜３４までの区間において抽出される静止画像とでは、フレーム番号２３〜２８にかけてフレームの総画素数に対する所定の感度以上となった画素数の割合が大きく変化していることから、異なる場面（シーン）における静止画像となる可能性がある。
そこで、静止画像抽出部３５４は、場面毎に静止画像を抽出するために、静止画像区間を特定し、その特定した静止画像区間毎に（即ち、静止画像群単位で）静止画像を抽出し、静止画像データ記憶部３５５に記憶する。

以下、静止画像抽出部３５４における処理を、簡単に説明する。
静止画像抽出部３５４は、先ず、設定情報取得部３５１により取得される静止画像区間を特定するための閾値α（本発明の第１の閾値に対応する）を用いて、静止画像区間を特定する。具体的には、静止画像抽出部３５４は、映像データから所定の時間間隔でフレームを連続的に読み込み、時間的に前後に位置するフレームのフレーム間で画素値（ＲＧＢ値）の差分の絶対値を計算し、その計算された絶対値が所定の感度以上となる後のフレームの画素数をカウントする。次に、後のフレームのカウントされた画素数のフレームの総画素数に対する割合が、閾値α以上から閾値α未満になった時点から閾値α未満から閾値α以上になった時点までの区間（即ち、閾値α未満となる区間）を、静止画像区間として特定する。

静止画像抽出部３５４は、次に、その特定した静止画像区間毎に、この静止画像区間に属する静止画像（ここでは、便宜上、第１の静止画像という）から、画素数の割合が閾値αよりも小さい閾値β（本発明の第２の閾値に対応する）未満となる静止画像（ここでは、便宜上、第２の静止画像という）を抽出する。そして、この抽出した第２の静止画像に基づき、後述する各取得方法に従って、静止画像区間における映像データの内容を特定する静止画像を取得する。具体的には、静止画像抽出部３５４は、所定の感度以上となった画素数のフレームの総画素数に対する割合が閾値β未満となる第２の静止画像を、静止画像群に関連付けて静止画像データ記憶部３５５に記憶する。
なお、静止画像区間は、所定の感度以上となった画素数のフレームの総画素数に対する割合が、閾値α未満から閾値α以上になって初めて特定される区間であること、また、静止画像抽出部３５４は、静止画像区間を特定する前に、フレームを連続的に読み込み、閾値β未満となる第２の静止画像を抽出し、記憶する必要があることから、実際の処理では、静止画像抽出部３５４は、静止画像区間の開始時点を特定すると、所定の条件を充足するフレーム（第２の静止画像）を順次、抽出し、静止画像データ記憶部３５５に記憶する。

その際、本実施形態では、静止画像群設定フラグという所定のフラグを用いて、静止画像群の設定がされたか否かを判別できるようにしている。
具体的には、静止画像群設定フラグは、時間的に連続する前後のフレームに関して、各フレームの画素値の差分の絶対値が設定した所定の値（感度）以上となる画素数のフレームの総画素数に対する割合が、閾値α以上から閾値α未満になると（例えば、図４において、フレーム番号１１から１２、フレーム番号２８から２９）「１」にセットされ、逆に閾値α未満から閾値α以上になると（図４において、フレーム番号２２から２３、フレーム番号３４から３５）「０」にセットされる。
また、静止画像取得装置３００は、内部の処理として、静止画像区間を特定するために、静止画像群設定フラグを用いる。具体的には、静止画像取得装置３００は、静止画像群設定フラグが「１」にセットされてから、「０」にセットされるまでのフレーム区間を静止画像区間として特定する。

図４の表示例では、静止画像区間を特定するための閾値α（図中、点線）を２０％に設定していることから、静止画像抽出部３５４は、フレーム番号１２から２２までを静止画像区間Ａと特定し、またフレーム番号２９から３４までを静止画像区間Ｂと特定する。さらに、本実施形態では、図４に示すように、第２の静止画像であるか否かを判定するための閾値β（図中、破線）を１０％に設定していることから、静止画像抽出部３５４は、静止画像区間Ａにおいて抽出されるフレーム番号１２、１４、１６、１８、２０、２１、２２のフレームを、静止画像群Ａの第２の静止画像として、また静止画像区間Ｂにおいて抽出されるフレーム番号３０、３１、３３のフレームを静止画像群Ｂの第２の静止画像として抽出し、静止画像データ記憶部３５５に記憶する。

なお、図４では、静止画像区間を特定するための閾値αを、閾値βの１０％に対して、１０％ほど高い２０％に設定している。
このように閾値αとβを設定して、静止画像を、第１及び第２の静止画像として２段階に分けたのは、同一の場面において、静止画像として抽出されるフレームが時間的に連続することが予定される場合であっても、映像データにノイズが混入されることで画素値が変化する場合があり、その場合においても、画素数の割合が閾値αに達しない限り、ノイズが混入したフレームを同一の場面（即ち、同じ静止画像区間内）のフレームと判定できるようにするためである。

図５は、静止画像データ記憶部３５５に記憶される静止画像データを示している。
図５において、左欄は静止画像群、中欄はフレーム番号、右欄はフレームの総画素数に対する感度以上となった画素数の割合を示している。
なお、静止画像抽出部３５４により抽出したフレームについては、不図示としている。

次に、図６のフロー図を用いて、本発明の実施形態に係る静止画像取得装置により静止画像区間を特定し、代表静止画像を取得するまでの処理手順を説明する。
静止画像取得装置３００は、映像データ記憶部３５０よりフレームの読み込みが可能であるか否かを判定する（Ｓ１０１）。即ち、静止画像取得装置３００は、静止画像（第２の静止画像）の抽出対象となる映像データが映像データ記憶部３５０に記憶されているか否かを判定する。

静止画像取得装置３００は、フレームの読み込みが可能であると判定すると（Ｓ１０１ Ｙｅｓ）、フレーム比較部３５２により時間的に前後に位置するフレームを読み込む（Ｓ１０２）。
静止画像取得装置３００は、フレーム比較部３５２により、ステップＳ１０２において読み込んだ時間的に前後に位置するフレームに対して、各フレーム内の画素毎にフレーム間におけるＲＧＢ値の差分の絶対値を計算する（Ｓ１０３）。
静止画像取得装置３００は、次に、フレーム比較部３５２により、時間的に前後に位置するフレームの各画素のＲＧＢ値の差分の絶対値が所定の感度以上となる画素数をカウントし、フレームの総画素数に対して占める割合を算出する（Ｓ１０４）。
なお、図６のフロー図には図示していないが、フレーム比較部３５２における計算結果（図３）は、後のフレームの算出結果としてフレーム比較データ記憶部３５３に記憶される。

次に、静止画像取得装置３００は、静止画像抽出部３５４により、ステップＳ１０１において読み込んだフレームに関して、所定の感度以上となる画素数の割合が静止画像区間を特定する閾値α未満となるか否かを判定する（Ｓ１０５）。
静止画像取得装置３００は、静止画像抽出部３５４により、ステップＳ１０１において読み込んだフレームに関して、所定の感度以上となる画素数の割合が閾値α未満であると判定すると（Ｓ１０５ Ｙｅｓ）、次に、静止画像群の設定がされているか否かを判定する（Ｓ１０６）。具体的には、静止画像取得装置３００は、静止画像抽出部３５４により、静止画像群の設定の有無を示す静止画像群設定フラグが「１」にセットされているか否かを判定する。

即ち、静止画像群設定フラグが「１」にセットされている場合、静止画像群が設定されていることを示し、また、静止画像群設定フラグが「０」にセットされている場合、静止画像群が設定されていないことを示す。また、既に述べたように、静止画像取得装置３００は、静止画像群設定フラグが「１」にセットされてから、「０」にセットされるまでのフレーム区間を静止画像区間として特定する。

静止画像取得装置３００は、静止画像群の設定がされている場合（Ｓ１０６ Ｙｅｓ）、静止画像抽出部３５４により、ステップＳ１０１において読み込んだフレームが第２の静止画像であるか否かを判定する（Ｓ１０８）。具体的には、静止画像取得装置３００は、静止画像抽出部３５４により、所定の感度以上となる画素の割合が、閾値β未満であるか否かを判定する（Ｓ１０８）。
なお、ステップＳ１０６において、静止画像群の設定がされていないと判定すると（Ｓ１０６ Ｎｏ）、静止画像取得装置３００は、静止画像抽出部３５４により静止画像群を新規に設定した上で（Ｓ１０７）、ステップＳ１０１において読み込んだフレームが第２の静止画像であるか否かを判定する（Ｓ１０８）。

そして、ステップＳ１０１において読み込んだフレームが第２の静止画像であると判定すると（Ｓ１０８ Ｙｅｓ）、静止画像取得装置３００は、静止画像抽出部３５４により、そのフレーム（第２の静止画像）を、そのフレームに設定された静止画像群に関連付けて、静止画像データ記憶部３５５に記憶する（Ｓ１０９）。

静止画像取得装置３００は、ステップＳ１０９で静止画像データ記憶部３５５に記憶すると、フレームをカウントアップさせ（Ｓ１１０）、再度、ステップＳ１０１から処理を実行する。
また、静止画像取得装置３００は、ステップＳ１０８において、静止画像抽出部３５４により、ステップＳ１０１において読み込んだフレームが第２の静止画像でないと判定した場合も（Ｓ１０８ Ｎｏ）、同様に、フレームをカウントアップさせ（Ｓ１１０）、再度、ステップＳ１０１から処理を実行する。
これらのステップＳ１０１からＳ１１０までの処理は、ステップＳ１０１において読み込んだ時間的に前後に位置するフレームに関して、所定の感度以上となる後のフレームの画素数の割合が静止画像区間を特定する閾値α以上（即ち、静止画像区間外）と判定されるまで（Ｓ１０５ Ｎｏ）、繰り返し実行される。

静止画像取得装置３００は、静止画像抽出部３５４により、ステップＳ１０１において読み込んだ時間的に前後に位置するフレームに関して、後のフレームの所定の感度以上となる画素数の割合が静止画像区間を特定する閾値以上と判定すると（Ｓ１０５ Ｎｏ）、静止画像群が設定されているか（即ち、静止画像群設定フラグが「１」にセットされているか）否かを判定する（Ｓ１１１）。
静止画像取得装置３００は、静止画像群が設定されている場合（Ｓ１１１ Ｙｅｓ）、設定された静止画像群に静止画像データが記憶されているか否かを判定する（Ｓ１１２）。

そして、設定された静止画像群に静止画像データが関連付けられ、記憶されていると判定すると（Ｓ１１２ Ｙｅｓ）、静止画像取得装置３００は、設定情報取得部３５１により取得された設定に基づき、代表静止画像の取得方法を選択する（Ｓ１１３）。
取得方法１が選択されると（Ｓ１１３ 取得方法１）、静止画像取得装置３００は、その静止画像群に関連付けられ記憶された静止画像に関して、各画素位置における画素の平均画素値を計算し、その平均画素値に基づき代表静止画像を生成し、取得する（Ｓ１１４）。
取得方法２が選択されると（Ｓ１１３ 取得方法２）、静止画像取得装置３００は、最初、又は最後等、所定の抽出位置で抽出され、静止画像群に関連付けられ記憶された静止画像を代表静止画像として取得する（Ｓ１１５）。
取得方法３が選択されると（Ｓ１１３ 取得方法３）、静止画像取得装置３００は、フレームの総画素数に対する感度以上となった画素数の割合が最も低いフレームを代表静止画像として取得する（Ｓ１１６）。

静止画像取得装置３００は、代表静止画像を取得すると（Ｓ１１４、Ｓ１１５、Ｓ１１６）、静止画像群設定フラグをリセットする（即ち、「０」にセットする）（Ｓ１１７）。
なお、ステップＳ１１２において、設定された静止画像群に静止画像データが記憶されていないと判定された場合（Ｓ１１２ Ｎｏ）も、同様に、静止画像取得装置３００は、静止画像群設定フラグをリセットする（Ｓ１１７）

静止画像取得装置３００は、静止画像群設定フラグをリセットすると（Ｓ１１７）、次のフレームを読み込むために、フレームをカウントアップさせ（Ｓ１１０）、再度、ステップＳ１０１から処理を実行する。
なお、ステップＳ１１１において静止画像群が設定されていない（即ち、静止画像群設定フラグが「０」にセットされている）場合（Ｓ１１１ Ｎｏ）も、同様に、フレームをカウントアップさせ（Ｓ１１０）、再度、ステップＳ１０１から処理を実行する。

静止画像取得装置３００は、映像データ記憶部３５０よりフレームを読み込むことができなくなるまで、以上の処理を繰り返し実行し、映像データ記憶部３５０よりフレームを読み込むことができなくなると（Ｓ１０１ Ｎｏ）、静止画像の取得に関する処理を終了する。

以上説明したように、本発明の実施形態に係る静止画像取得装置によれば、映像データから静止画像区間を特定し、その特定した静止画像区間毎に、静止画像区間における映像データの内容を特定するのに適した代表静止画像を取得することができる。これにより、映像データの内容を、静止画像により過不足なく表すことができ、データ容量も映像データに比べて低減することができる。
また、本発明の実施形態に係る静止画像取得装置により取得された静止画像（代表静止画像）を、例えば、製造又は作業工程上の不具合の検知に用いることで、不具合検知の精度を向上させることができる。

１００…撮影装置、２００…外部記憶装置、３００…静止画像取得装置、３１０…外部映像入力部、３２０…メモリスロット、３３０…ＵＳＢ等接続インタフェース、３４０…ユーザインタフェース、３５０…映像データ記憶部、３５１…設定情報取得部、３５２…フレーム比較部、３５３…フレーム比較データ記憶部、３５４…静止画像抽出部、３５５…静止画像データ記憶部、３５６…代表静止画像取得部、３５７…表示制御部、３６０…外部映像出力部、３７０…ＬＡＮポート、３８０…無線インタフェース、４００…入力装置、５００…表示装置、６００…外部接続機器。

特許公開２０１０−４５４８６号公報

Claims (7)

1. 映像データから時間的に前後に位置するフレームを読み込むフレーム読込手段と、
   前記フレーム読込手段により読み込まれた時間的に前後に位置するフレームを比較し、フレーム間の変化量を計算するフレーム比較手段と、
   前記フレーム比較手段により計算された変化量と、第１の閾値とに基づき、前記読み込んだフレームから第１の静止画像が属する静止画像区間を特定する静止画像区間特定手段と、
   前記静止画像区間特定手段により特定された静止画像区間に属する第１の静止画像から、前記フレーム比較手段により計算された変化量と、第２の閾値とに基づき、前記静止画像区間毎に、第２の静止画像を抽出する静止画像抽出手段と、
   前記静止画像抽出手段により抽出された第２の静止画像から静止画像区間における映像データの内容を特定する静止画像を取得する静止画像取得手段と、
   を有する静止画像取得装置。
2. 請求項１に記載された静止画像取得装置において、
   前記静止画像取得手段が、前記静止画像抽出手段により抽出された第２の静止画像の各画素の平均画素値を計算し、当該平均画素値に基づき、前記静止画像区間における映像データの内容を特定する静止画像を生成し、取得する静止画像取得装置。
3. 請求項１に記載された静止画像取得装置において、
   前記静止画像取得手段が、前記静止画像抽出手段により所定のフレームの抽出位置において抽出された第２の静止画像を、前記静止画像区間における映像データの内容を特定する静止画像として取得する静止画像取得装置。
4. 請求項１に記載された静止画像取得装置において、
   前記静止画像取得手段が、前記フレーム比較手段により計算された変化量が最も小さいフレームを、前記静止画像区間における映像データの内容を特定する静止画像として取得する静止画像取得装置。
5. 請求項１に記載された静止画像取得装置において、
   前記静止画像取得手段が、前記静止画像抽出手段により抽出された第２の静止画像のうち、ユーザにより選択された第２の静止画像を、前記静止画像区間における映像データの内容を特定する静止画像として取得する静止画像取得装置。
6. 映像データから時間的に前後に位置するフレームを読み込むフレーム読込工程と、
   前記フレーム読込工程において読み込まれた時間的に前後に位置するフレームを比較し、フレーム間の変化量を計算するフレーム比較工程と、
   前記フレーム比較工程において計算された変化量と第１の閾値に基づき、前記読み込んだフレームから第１の静止画像が属する静止画像区間を特定する静止画像区間特定工程と、
   前記静止画像区間特定工程において特定された静止画像区間に属する第１の静止画像から、前記フレーム比較工程において計算された変化量と第２の閾値に基づき、前記静止画像区間毎に、第２の静止画像を抽出する第２の静止画像抽出工程と、
   前記静止画像抽出工程において抽出された第２の静止画像から静止画像区間における映像データの内容を特定する静止画像を取得する静止画像取得工程と、
   を有する静止画像取得装置における静止画像取得方法。
7. コンピュータを、請求項１に記載された静止画像取得装置の各手段として機能させるためのプログラム。

Images