JP2004248312A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】一連の動画データに含まれる撮影状況の変化や被写体の動き等に応じて静止画像を自動的に抽出し、撮影内容を直感的に認識することができる画像表現で表示出力することができる画像処理装置及び画像処理方法を提供する。
【解決手段】動画データから複数のフレーム画像を音声情報とともに抽出してフレームメモリに記憶する動画データ取込部と、動画データを構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出部と、特徴量検出部により検出された画像又は音声の変化特性に基づいて、複数のフレーム画像から特定のフレーム画像を選択する表示画像選択部と、表示画像選択部により、選択されたフレーム画像を所定の表現形式に加工する画像加工部と、表示画像選択部により選択された特定のフレーム画像を静止画像として表示出力するモニタ、プリンタ等を備える。
【要約図】 図１

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、ビデオカメラや電子スチルカメラ等により撮影された動画情報を、静止画像として表示出力する画像処理装置及び画像処理方法に関する。本発明は、画像処理装置及び画像処理方法に関し、特に、ビデオカメラや電子スチルカメラ等により撮影された動画情報を、静止画像として表示出力する画像処理装置及び画像処理方法に関する。

近年、ＡＶ機器の普及、機能向上が著しい。特に、民生用、業務用を始め様々な場面でビデオカメラや電子スチルカメラ等の高機能化された画像記録機器が利用されるようになっている。これらの機器により撮影された画像は、機器本体に搭載された液晶パネルや、ケーブル等を介して接続されたテレビジョンやパーソナルコンピュータ（以下、パソコンと略称する）のモニタ上に簡易に表示出力することができ、また、プリンタ等を介して直接印刷出力することもできる。従来、ビデオカメラや電子スチルカメラ等により撮影された動画に限らず、一般的な動画情報（テレビジョン放送の映像情報等を含む）を、静止画像として表現する方法としては、動画情報を構成する複数のフレーム画像の中から任意のフレーム画像を抽出して単独で表示し、また、複数のフレーム画像の場合には、順次あるいは分割画面に一括して、表示する方法等が知られている。

以下、従来技術について具体的に説明する。
図１３は、動画情報を構成する複数のフレーム画像から任意のフレーム画像を選択し、表示する手法の概念図である。図１３において、動画データＶＤには、車両Ｘが図面左方向から右方向へ走行する画像が含まれているものとする。ここで、動画データＶＤは、時系列的に配列された複数のフレーム画像（静止画）により構成されていると考えることができる。したがって、画像処理装置の利用者は、動画データＶＤを一旦再生、閲覧し、被写体（車両）の動きや撮影状況の変化等を把握した上で、一連のフレーム画像の中から任意のフレーム画像を選択指示することにより、動画データ中に含まれる任意のシーンの画像を静止画像として表示出力することができる。例えば、図１３に示すように、動画データを構成する一連のフレーム画像の中から所望のフレーム画像（ここでは、特定時刻Ｔ４におけるフレーム画像Ｆ４）を選択するように画像処理装置のスイッチ類を操作することにより、車両Ｘが走行する任意の１シーンを動画データの中から抽出することができ、モニタ等に表示出力することができる。なお、選択指示したフレーム画像が複数ある場合には、例えば、スクロール表示モードによりモニタ上に時系列的に、あるいは、マルチ画面モードにより一括して表示出力される。

上述したような静止画像の選択、表示方法においては、動画データの全てを再生表示して初めて撮影状況の変化や被写体の一連の動き等の撮影内容を認識することができるものであるため、画像処理装置の利用者は、動画データＶＤを一旦再生、閲覧し、撮影状況の変化や被写体の動き等を把握し、所望のシーンが含まれるフレーム画像を選択指示しなければならず、撮影内容の確認作業に長時間を要するという問題、また、所望の撮影内容を静止画像として出力する際に種々の編集作業（操作）を必要とし、極めて煩雑であるという問題を有している。

そこで、本発明は、一連の動画データに含まれる撮影状況の変化や被写体の動き等に応じて静止画像を自動的に抽出し、撮影内容を直感的に認識することができる画像表現で表示出力することができる画像処理装置及び画像処理方法を提供することを目的とする。

請求項１記載の画像処理装置は、動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出手段と、前記特徴量検出手段により検出された前記特徴量の変化に基づいて、前記複数のフレーム画像から特定のフレーム画像を選択するフレーム画像選択手段と、前記フレーム画像選択手段により選択された前記特定のフレーム画像を静止画像として表示出力する画像出力手段と、を備えたことを特徴とする。
請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、前記フレーム画像選択手段により選択された前記特定のフレーム画像に所定の画像加工処理を施すフレーム画像加工手段を有し、前記加工処理された前記フレーム画像を、前記画像出力手段を介して表示出力することを特徴とする。

請求項３記載の画像処理装置は、動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出手段と、前記特徴量検出手段により検出された前記特徴量の変化に基づいて、前記フレーム画像に所定の画像加工処理を施すフレーム画像加工手段と、前記フレーム画像加工手段により加工されたフレーム画像を含む前記複数のフレーム画像を静止画像として表示出力する画像出力手段と、を備えたことを特徴とする。
請求項４記載の画像処理装置は、請求項１乃至３のいずれかに記載の画像処理装置において、前記特徴量は、前記動画情報を構成する複数のフレーム画像に含まれる被写体の動きであることを特徴とする。
請求項５記載の画像処理装置は、請求項１乃至３のいずれかに記載の画像処理装置において、前記特徴量は、前記動画情報を構成する複数のフレーム画像の各々に付随する音声情報であることを特徴とする。

請求項６記載の画像処理装置は、請求項１乃至３のいずれかに記載の画像処理装置において、前記特徴量検出手段は、前記動画情報を構成する複数のフレーム画像に含まれる、異なる種類の複数の特徴量を検出し、さらに、前記複数の特徴量から任意の１又は複数の特徴量を選択する特徴量選択手段を有することを特徴とする。
請求項７記載の画像処理装置は、請求項１乃至３又は６のいずれかに記載の画像処理装置において、前記フレーム画像加工手段は、複数の異なる画像加工方法を備え、さらに、前記複数の画像加工方法から任意の加工方法を選択する加工方法選択手段を有することを特徴とする。
請求項８記載の画像処理方法は、動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出するステップと、前記検出された前記特徴量の変化に基づいて、前記複数のフレーム画像から特定のフレーム画像を選択するステップと、前記選択された特定のフレーム画像を静止画像として表示出力するステップと、を含むことを特徴とする。

請求項１又は８記載の発明によれば、動画データが一連のフレーム画像及びそれに付随する音声情報として抽出され、これらのフレーム画像に含まれる特徴量の変化特性から動画データの撮影状況の変化が把握されて、該変化を示すフレーム画像を選択して、表示出力することができるため、動画データの全てを再生表示しつつ、任意のフレーム画像を選択する、という煩雑な編集作業を必要とすることなく、撮影状況の変化や被写体の動きを示す適切なフレーム画像を容易に抽出して、表示出力することができる。したがって、極めて迅速に動画データ撮影内容を認識することができる静止画像を表示出力することができる。
また、請求項２又は３記載の発明によれば、特徴量の変化に基づいて選択されたフレーム画像を通常の画像表示とは異なる特殊な画像表現で表示出力することができるため、一連のフレーム画像を表示する場合においても撮影状況の変化等を示すフレーム画像を強調表示することができ、画像処理装置の利用者に対して適切に認識させることができる。

また、請求項４又は５記載の発明によれば、特徴量として画像特性、あるいは、音声特性のいずれかを用いることにより、動画データの撮影状況の変化等を的確に把握することができるため、迅速かつ簡易に所望の変化状態を示すフレーム画像を選択、表示することができる。特に、音声特性という特徴量の変化を検出することにより、画像のみならず、音声によっても撮影状況の変化を把握することができるため、利用者が所望する撮影状況の変化を示すフレーム画像を適切に選択することができる。
さらに、請求項６記載の発明によれば、特徴量として画像特性や音声特性等の種々の特性を、利用者が任意に組み合わせて選択、設定することができるため、所望の撮影内容を有するフレーム画像を、より多彩な手法により迅速に選択することができる。
そして、請求項７記載の発明によれば、所定の特徴量の変化を示すフレーム画像の加工方法を、利用者が任意に選択、設定することができるため、所望の撮影内容を有するフレーム画像を、より多彩な表現形式により表示出力することができ、利用者に撮影状況の変化を確実に認識させることができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明に係る画像処理装置の第１の実施形態を示すブロック図である。
図１において、１０は動画データ取込部、２０はフレームメモリ、３０はＭＰＵ、４０はハードディスク、５０はＬＣＤ等のモニタ（画像出力手段）、６０はプリンタ（画像出力手段）、７０はキースイッチ等の入力部（特徴量選択手段、加工方法選択手段）、８０はデータ／命令伝送用のバスである。ここで、ＭＰＵ３０は、特徴量検出部（特徴量検出手段）３１と、表示画像選択部（フレーム画像選択手段）３２と、画像加工部（フレーム画像加工手段）３３の各機能を有して構成されている。

これらの各機能は、概ね以下の通りである。
（１）動画データ取込部１０
動画データ取込部１０は、動画データから複数のフレーム画像を音声情報とともに抽出して後述するフレームメモリ２０に記憶するものである。ここで、動画データは、ビデオデータや連続撮影された複数の静止画像により構成されるものであってもよく、また、音声情報を含まず、画像情報のみから構成されるものであってもよい。要するに、本発明において、動画データは少なくとも複数のフレーム画像の連続により構成されるものであればよく、また、取り込まれるフレーム画像はアナログ画像であっても、デジタル画像であっても構わない。
動画データ取込部１０の概略構成について、図面を参照して説明する。ここでは、動画データとして、画像情報に音声情報が付随したデータ構成を有しているものとして説明する。したがって、画像情報からのみ構成される動画データを対象とする場合には、音声情報を信号処理する構成は含まれない。

図２において、１１はフレーム画像選択部、１２は画像・音声分離部、１３ａは画像信号用アナログ−デジタル変換器（以下、画像Ａ／Ｄと記す。）、１３ｂは音声信号用アナログ−デジタル変換器（以下、音声Ａ／Ｄと記す。）、１４ａは画像信号用圧縮部、１４ｂは音声信号用圧縮部、１５は画像・音声合成部（以下、ミキサと記す。）、１６はバスインターフェースである。
フレーム画像選択部１１は、後述するＭＰＵ３０からの命令に従って、動画データから所定の時間間隔で音声情報とともにフレーム画像を選択、抽出する。なお、選択されるフレーム画像は、動画データを構成する全てのフレーム画像であってもよいし、特定の時間間隔、例えば１／５ｓｅｃや１／１０ｓｅｃ毎のフレーム画像であってもよいが、動画データに含まれる特徴量の変化を検出することができる程度の時間間隔を有していることを必須とする。なお、特徴量の定義については後述する。また、フレーム画像の選択の際に用いる時間間隔は、ＭＰＵ３０により予め設定された基準値を用いる方法や、画像処理装置の使用者の意志により入力部７０を介して指示された任意の値を用いる方法等、様々な手法を設定することができる。

画像・音声分離部１２は、画像と音声の周波数帯の違いを利用して画像信号と音声信号とを分離し、以後の信号処理を画像と音声の個別の経路により実行する。
画像Ａ／Ｄ１３ａは、選択されたフレーム画像がアナログ信号の場合に、アナログの画像信号をデジタル画像信号に変換する。また、音声Ａ／Ｄ１３ｂは、選択されたフレーム画像に付随する音声情報がアナログ信号の場合に、アナログの音声信号をデジタル音声信号に変換する。

画像信号用圧縮部１４ａは、画像Ａ／Ｄ１３ａによりデジタル画像信号化された、あるいは、フレーム画像選択部１１においてデジタル画像信号として抽出された各フレーム画像の画像信号を、所定の画像圧縮規格に準拠するように処理する。フレーム画像の圧縮符号化方式としては、ＪＰＥＧ規格等を適用することができる。ここで、ＪＰＥＧ（Joint Photographic Coding Experts Group)とは、ＤＣＴ（離散コサイン変換）、量子化、可変長符号化、等の手法により原画像データを圧縮符号化する規格であり、カラーファクシミリ装置や電子スチルカメラ等に採用されている国際標準規格である。なお、画像情報の圧縮符号化方式としては、一般にＪＰＥＧのほか、ＧＩＦ、ＴＩＦＦ、ＬＨＡ、ＺＩＰ等の様々な形式、規格が利用されているため、実施の形態に応じて適切な方式を採用することができる。

また、音声信号用圧縮部１４ｂは、音声Ａ／Ｄ１３ｂによりデジタル音声信号化された、あるいは、フレーム画像選択部１１においてデジタル音声信号として抽出された各フレーム画像に付随する音声信号を、所定の音声圧縮規格に準拠するように処理する。音声信号の圧縮符号化方式としては、ＭＰＥＧ規格等を適用することができる。ここで、ＭＰＥＧ（Motion Picture Coding Experts Group)とは、時系列上に連続する複数の画像（画面）から構成される動画像において、画像間の動き補償された差分データを圧縮符号化する予測符号化の手法を用いて圧縮符号化する規格であるが、音声信号の圧縮符合化にも適用することができる。

このように、画像信号をＪＰＥＧ規格により、また、音声信号をＭＰＥＧ規格により圧縮符号化すれば、近年のインターネット等の普及に伴い、普及型のパソコンに搭載されたＪＰＥＧ規格、ＭＰＥＧ規格に対応したソフトウェアにより、簡易に画像処理を実現することができる。
ミキサ１５は、所定の規格により圧縮符号化された画像信号及び音声信号を対応付けて、一つのフレームデータに合成処理（パケット化）し、一方、バスインターフェース１６は、合成処理されたフレームデータをバス８０の伝送幅に変換してフレームメモリ２０へ転送する。

（２）フレームメモリ２０
フレームメモリ２０は、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、動画データ取込部１０により選択、圧縮符号化処理された画像信号及び音声信号（フレームデータ）にヘッダー情報を関係付けて、ＭＰＵ３０により指定された画像データ格納領域に格納するものである。
図３は、フレームメモリ２０の内部領域を示す概念図である。
図３に示すように、フレームメモリ２０の内部領域は、大別してフォーマットテーブル領域、情報テーブル領域、データ領域、オフセット領域から構成される。
フォーマットテーブル領域には、画像情報に関する総合的な情報であるフォーマット情報が格納される。また、情報テーブル領域には、画像情報を識別するための番号情報を含む画像情報識別情報、動画データの時系列上での位置（時刻）を示す時刻情報等の画像情報を識別するためのヘッダー情報が格納される。データ領域は、フレームデータ、すなわち、圧縮符号化された画像信号及びそれに付随する音声信号をひとまとめにして格納し、オフセット領域は、データ領域におけるフレームデータのデータ長を固定長とするためのオフセットデータ（ブランク）を格納する。
このように、各フレームデータは、情報テーブル領域に格納されたヘッダー情報に関係付けされてデータ領域に格納される。

（３）特徴量検出部３１
特徴量検出部３１は、フレームメモリ２０に格納された複数のフレームデータから画像信号又は音声信号の特徴量の変化を検出するものである。ここで、画像信号の特徴量とは、フレームデータの画像、つまりフレーム画像に含まれる被写体（動体）や画面の輝度、彩度等であって、画像の変化を適切に抽出することができるものであることを必須とする。また、音声信号の特徴量とは、画像に付随する音声の音量（レベル）や音域（周波数帯）等であって、音声の変化を適切に抽出することができるものであることを必須とする。すなわち、このような特徴量の所定の変化、すなわち、予め設定されたしきい値を超過するような激しい変化や継続性（非変化状態）等について、連続するフレームデータ相互を監視し、一連のフレームデータ（動画データ）に含まれる画像や音声の変化特性を把握する。
なお、特徴量の検出方法については後述する。

（４）表示画像選択部３２
表示画像選択部３２は、特徴量検出部３１により検出されたフレームデータに含まれる画像又は音声の変化特性に基づいて、フレームメモリ２０に格納された複数のフレームデータの中から特定のフレームデータを選択、抽出し、後述する画像加工部３３を介して、あるいは、直接モニタ５０やプリンタ６０に表示出力するものである。ここで、特定のフレームデータの選択、抽出は、上述した画像又は音声の変化特性により明らかとなった撮影状況の切り替わり直後や、被写体の急激な動作直後等の画像を含むフレームデータを選択するものであってもよいし、上記切り替わりや動作の直前直後のフレームデータを選択するものであってもよい。要するに、後述するモニタ５０やプリンタ６０を介して表示出力する際に、画像処理装置の利用者に特徴量の変化が生じたことを認識させることができる画像を選択、抽出するものであればよい。

（５）画像加工部３３
画像加工部３３は、表示画像選択部３２により、選択、抽出されたフレームデータに含まれる画像を所定の表現形式に加工するものである。
所定の表現形式への加工とは、表示出力する画像サイズの大型化や、表示位置や表示画質、画調の変更、画像枠の変形（等倍変形、非等倍変形等）等であって、当該画像に相前後して、あるいは、同時に表示される他の画像に比較して、強調表示される形式への変更を意味する。

（６）ＭＰＵ３０、ハードディスク４０
ハードディスク４０は、ＭＰＵ３０が実行するプログラムや動作上必要なデータを記憶する。したがって、ＭＰＵ３０は、ハードディスク４０に記憶されたアプリケーションプログラムを実行することにより、上述した特徴量検出部３１、表示画像選択部３２、及び、画像加工部３３の各機能をソフトウェア的に実現して、後述する一連の画像処理やメモリ管理、モニタ５０やプリンタ６０への出力制御を行う。
（７）モニタ５０、プリンタ６０
表示画像選択部３２により選択された画像、又は、画像加工部３３により加工処理された画像を表示、あるいは、印刷出力するものであって、テレビやパソコンのモニタ、プリンタ等の出力装置である。ここで、図１においては、モニタ５０やプリンタ６０を、バス８０に直接接続された構成として示したが、本発明はこれに限定されるものではなく、バス８０に接続された通信インターフェース等を介して通信回線により接続されるファクシミリ装置や携帯情報端末（ＰＤＡ）、パソコン等であってもよい。なお、本発明の説明においては、モニタ５０への表示出力及びプリンタ６０への印刷出力のほか、画像を出力する動作全般を、便宜的に「表示出力」と記載する。

（８）入力部７０
入力部７０は、画像処理装置に設けられた各種キースイッチ類であって、ＭＰＵ３０によるアプリケーションプログラムの実行や画像処理、モニタ５０やプリンタ６０への表示出力等の制御信号を生成する。また、後述する実施形態における特徴量や画像加工方法の選択手段としての機能も有する。画像処理装置に設けられた専用のキースイッチ類はもとより、パソコン等により本発明を実施する場合にはキーボードやマウス、ペンタブレット等の各種入力装置も含まれる。
なお、本実施形態においては、動画データとして、画像情報に音声情報が予め付随、合成されたものを取り込む場合の構成について説明したが、本発明はこの実施形態に限定されるものではなく、ビデオカメラや電子スチルカメラ等により撮影、収録された直後の画像情報及び音声情報のように、各々の情報を別個の信号として取り込み、処理するものであってもよい。この場合、取り込まれた情報がアナログ信号の場合には、画像Ａ／Ｄ１３ａ及び音声Ａ／Ｄ１３ｂを介して、また、デジタル信号の場合には、直接、画像信号用圧縮部１４ａ及び音声信号用圧縮部１４ｂに入力する構成を適用することができる。

次に、上述した構成を有する画像処理装置における処理動作について、図面を参照して説明する。
図４は、本実施形態に係る画像処理装置の処理動作を示すフローチャートである。まず、処理動作の概略について上述した構成を参照しつつ説明した後、各ステップについて個別に説明する。
図４に示すように、ステップＳ１０１、Ｓ１０２において、動画データ取込部１０により、入力された動画データから所定の時間間隔で一連のフレーム画像及びそれに付随する音声情報を選択、抽出し、各々ＪＰＥＧ、ＭＰＥＧ等の規格に準拠するように圧縮符号化処理を施してフレームメモリ２０の所定の格納領域に格納する。この際、圧縮符号化された画像信号及び音声信号を対応付けて、一つのフレームデータに合成処理し、所定のヘッダー情報を関係付けて格納される。
次いで、ステップＳ１０３、Ｓ１０４において、特徴量検出部３１により、フレームメモリに格納された一連のフレームデータに含まれる特徴量を検出して、画像及び音声の変化特性を把握する。

次いで、ステップＳ１０５において、表示画像選択部３２により、上述した画像及び音声の変化特性に基づいて、撮影状況の切り替わりや被写体の急激な動作等を判別して、例えば、変化直後の画像を含むフレームデータを選択する。次いで、ステップＳ１０６において、画像加工部３３により、表示出力する画像サイズの大型化や、表示位置や表示画質、画調の変更、画像枠の変形等の加工処理を施して、他の画像に比較して強調された表示画像を作成し、ステップＳ１０７において、画像加工部３３により作成された表示画像をモニタ５０やプリンタ６０等に表示出力する。
このように、本実施形態における画像処理装置の処理動作は、大別して、動画データ取込ステップ、特徴量検出ステップ、表示画像選択ステップ、及び、画像加工ステップから構成されている。

以下、各ステップについて、図面を参照して説明する。
（１）動画データ取込ステップ
図５は、動画データ取込ステップを示す概念図である。以下、被写体として走行する車両Ｘ、停止している車両Ｙの動きを例にして説明する。
ビデオカメラや電子スチルカメラにより撮影された動画データや、テレビジョン放送の映像情報等の動画データは、時系列的に配列された一連のフレーム画像の集合と、それらに付随する音声情報の合成データであるため、本ステップにおいては、図５に示すように、一連のフレーム画像から所定の時間間隔毎に、例えば動画データＶＤの時系列上の位置に相当する時刻Ｔ０、Ｔ２、Ｔ４、Ｔ６、Ｔ８、Ｔ１０、…のフレーム画像Ｆ０、Ｆ２、Ｆ４、Ｆ６、Ｆ８、Ｆ１０、…が、付随する音声データＡ０、Ａ２、Ａ４、Ａ６、Ａ８、Ａ１０、…とともに動画データ取込部１０により選択、抽出されるものとする。なお、選択、抽出されるフレーム画像は、動画データＶＤを構成する一連のフレーム画像の全てであってもよく、すなわち、抽出されたフレーム画像や音声によって撮影状況の変化や被写体の動きを把握できるものであれば上述した時間間隔に限定されない。
抽出されたフレーム画像Ｆ０、Ｆ２、Ｆ４、Ｆ６、Ｆ８、Ｆ１０、…及び付随する音声データＡ０、Ａ２、Ａ４、Ａ６、Ａ８、Ａ１０、…は、後述する信号処理を簡易に実行するためにデジタル画像信号及びデジタル音声信号に変換され、さらに、フレームメモリ２０の記憶容量を有効に利用するためにＪＰＥＧ、ＭＰＥＧ等の所定の圧縮符号化処理が施され、フレームデータとしてまとめられてヘッダー情報に関係付けられて、所定のデータ領域に順次格納される。

（２）特徴量検出ステップ
本ステップにおいては、特徴量検出部３１により、フレームメモリ２０に格納された複数のフレームデータから画像又は音声の急激な変化や持続状態を検出し、動画データに含まれる画像や音声の変化特性を把握する。
以下、特徴量の検出方法について説明する。
（ａ）第１の特徴量検出方法
特徴量検出方法の第１の例として、画像に含まれる被写体の動きを検出する手法を適用することができる。この方法は、異なる時刻におけるフレームデータの画像をそれぞれブロック領域に分割し、同一ブロック領域毎に参照画像上でのブロックマッチング処理を行い、誤差が最小となる座標位置から被写体のフレーム間での動きを検出するブロックマッチング法を適用するものである。なお、ブロックマッチング法は、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１で国際標準化が行われたＩＳ１１１７２−２規格などに広く利用されている。

ここで、ブロックマッチング法について説明する。
図６は、特徴量検出ステップに適用されるブロックマッチング法を示す概念図である。
例えば、『テレビジョン学会編、「画像情報圧縮」、オーム社、ｐ．９２、１９９１年』には、連続する複数のフレーム画像により構成される動画データに含まれる被写体の動きを検出するブロックマッチング法について記載されている。上記文献によれば、図６に示すように、注目する画像（以下、便宜的に現画像という。）Ｆｎと、一つ前の時刻における画像（以下、便宜的に前画像という。）Ｆｍの特定位置のブロック（領域）Ｒｎ、Ｒｍについて、パターンマッチングを行う。パターンマッチングの方法は、例えば、ブロックＲｎ中の画素Ｘｎと、これをｉ画素分ずらしたブロックＲｍ中の画素Ｘｎ-ｉとの差分の絶対値和Ｓを次式｛１｝に従って求め、この絶対値和Ｓ、すなわち評価量を最小にするずれ位置ｉを探索して動き量を検出するものである。
Ｓ＝Σ｜Ｘｎ−Ｘｎ-ｉ｜ …｛１｝
ここで、｛１｝式における総和計算Σは、ブロックＲｎに属する全ての画素Ｘｎについて実行される。
このように、ブロックマッチング法においては、現画像をブロックに分割し、ブロック単位で前画像との類似位置をパターンマッチングにより探索して、一連の画像に含まれる被写体の動きを検出することができる。

（ｂ）第２の特徴量検出方法
特徴量検出方法の第２の例として、画像中に含まれる特定領域の画素特性の変化を算出する手法を適用することができる。この手法は、まず、画像に含まれる輝度成分に対してラプラシアン処理を行い、処理画像の零交点を領域境界線として検出し、連続した境界線により閉じられた部分（被写体領域）を特定領域として抽出する。あるいは、画像に含まれる色成分を解析し、色相変化の少ない連続した部分を代表色に置き換えて特定領域として抽出する。そして、抽出された特定領域について各画像間で変化量を算出することにより、領域全体としての移動量を求めることができる。また、上記特定領域を画像全域について設定し、変化量を算出することにより、撮影状況（シーン）の切り替わり等の変化を検出することができる。

（ｃ）第３の特徴量検出方法
特徴量検出方法の第３の例として、画像に付随する音声のレベルや周波数帯等の音声特性の変化を算出する手法を適用することができる。
図７は、音声特性の変化を示す模式図である。ここで、図７（ａ）は、各画像に付随する音声のレベルの変化を示す模式図であり、図７（ｂ）は、音声の周波数帯の変化を示す模式図である。
図７（ａ）に示すように、特徴量として画像Ｆ０〜Ｆ１０に付随する音声のレベルを検出する場合においては、車両Ｘ走行時のエンジン音のレベルＬ２、車両Ｘ停止時のブレーキ音のレベルＬ４、クラクション発鳴時のレベルＬ６、車両Ｙ発車時のエンジン音のレベルＬ８、車両Ｘ発車時のエンジン音のレベルＬ１０の音声特性の変化が、音声データＡ０、Ａ２、Ａ４、Ａ６、Ａ８、Ａ１０に基づいて検出される。

一方、図７（ｂ）に示すように、特徴量として画像Ｆ０〜Ｆ１０に付随する音声データＡ０〜Ａ１０の周波数帯を検出する場合においては、車両Ｘ走行時のエンジン音の周波数Ｂ２、車両Ｘ停止時のブレーキ音の周波数Ｂ４、クラクション発鳴時の周波数Ｂ６、車両Ｙ発車時のエンジン音の周波数Ｂ８、車両Ｘ発車時のエンジン音の周波数Ｂ１０の音声特性の変化が、音声データＡ０、Ａ２、Ａ４、Ａ６、Ａ８、Ａ１０に基づいて検出される。
したがって、連続する画像相互における音声レベルの高低や無音状態への変化、周波数帯の推移等を監視することにより、車両相互の動き等を検出することができる。
なお、上述した特徴量検出方法は、本発明に適用される一例を示したものであって、本発明の実施の形態を何ら限定するものではない。また、これらの特徴検出方法は、単独で用いるものであってもよいし、適宜組み合わせて用いるものであってもよい。

（３）表示画像選択ステップ
本ステップにおいては、表示画像選択部３２により、検出された特徴量と予め設定されたしきい値又は許容範囲とを比較し、しきい値又は許容範囲を超過する特徴量が出現した場合に、その特徴量を有するフレームデータの画像を表示画像として、あるいは、後述する画像加工ステップにおける加工対象画像として選択する。
図８は、画像の変化特性に基づいてフレームデータを選択する表示画像選択ステップの一例を示す概念図である。
図８に示すように、フレームメモリ２０に格納された一連のフレーム画像Ｆ０〜Ｆ１０から、上述した特徴量検出ステップにより判明した車両Ｘ、Ｙの移動量や、被写体としての車両Ｘ、Ｙの有無等に対して、予め設定されたしきい値との比較を行い、撮影状況の変化や被写体の動きの激しいフレーム画像を選択、抽出する。例えば、車両Ｘについて、フレーム画像Ｆ２では定速の走行状態が検出され、フレーム画像Ｆ４で急ブレーキによる走行速度の急激な変化が検出された場合、その変化量が予め設定されたしきい値や、他のフレーム画像相互の変化量よりも大きい場合には、フレーム画像Ｆ４を動画データ中でのトピック性が高い画像であると判断して選択する。

また、車両Ｘの被写体としての存在に着目し、フレーム内に車両Ｘが存在しないフレーム画像Ｆ０と、車両Ｘが常に存在するフレーム画像Ｆ２〜Ｆ１０がある場合には、車両Ｘが出現する前後のフレーム画像Ｆ０及びＦ２を、動画データ中でのトピック性が高い画像であると判断して選択する。
なお、画像の変化特性に基づくフレームデータの選択方法としては、上述した手法に限定されるものではなく、被写体の輝度や彩度の急激な変化等を用いるものであってもよい。要するに、撮影状況の変化や被写体の動きを把握することができる特徴量を監視するものであればよい。

次に、音声の変化特性に基づいてフレームデータを選択する表示画像選択ステップの一例について、上述した図７を参照して説明する。
図７に示したように、動画データ中の車両Ｘ、Ｙの動作や撮影状況の変化は、音声としても記録されるため、上述した特徴量検出ステップにより判明した車両Ｘ、Ｙ等が発するエンジン音やクラクション等の音声レベルや周波数帯等に対して、予め設定されたしきい値との比較を行い、撮影状況の変化やトピック性の高いフレーム画像を選択、抽出する。例えば、車両Ｘ、Ｙから発する音声レベルは、図７（ａ）のように示されるが、音声データＡ６におけるクラクション発鳴時の音声レベルＬ６が、音声データＡ２における車両Ｘの走行音のレベルＬ２や予め設定されたしきい値（許容範囲）に比較して極めて大きい場合には、音声データＡ６に対応するフレーム画像Ｆ６を動画データ中でのトピック性が高い画像であると判断して選択する。

また、車両Ｘ、Ｙから発する周波数帯に着目した場合、図７（ｂ）に示したように、音声データＡ４における車両Ｘの急停止に伴うブレーキ音の周波数Ｂ４が、音声データＡ２における車両Ｘの走行音の周波数Ｂ２や予め設定されたしきい値（許容範囲）に比較して極めて高い場合には、音声データＡ４に対応するフレーム画像Ｆ４を動画データ中でのトピック性が高い画像であると判断して選択する。
なお、音声の変化特性に基づくフレームデータの選択方法としては、上述した手法に限定されるものではなく、音声レベルや周波数の急激な変化や、同一の音声状態（例えば、無音状態）の継続時間等を用いるものであってもよい。

（４）画像加工ステップ
本ステップは、画像加工部３３により、選択されたフレーム画像を、撮影状況の変化や被写体の動きを強調する所定の表現形式に加工処理し、モニタ５０やプリンタ６０を介して表示出力する。ここで、モニタ５０やプリンタ６０等に表示出力される画像は、上記画像加工部３３により強調処理された画像を特徴量の変化の度合いに応じて強調処理に変化を付けるものであってもよい。また、モニタ５０やプリンタ６０等への表示方法としては、強調処理された画像を他の画像とともに一括表示する方法のほかに、他の画像に優先して表示出力するものであってもよい。さらに、スクロール表示における画像の表示出力に際しては、フラッシングや文字表示、アラーム等により撮影状況の切り替わりや被写体の急激な動作を報知、認識させるものであってもよい。
以下、画像加工ステップに適用される強調処理について説明する。

（ａ）第１の強調処理
図９は、画像加工ステップにおける第１の強調処理の例を示す概念図である。
第１の強調処理は、表示画像選択部３２により選択されたフレーム画像について、モニタ５０やプリンタ６０等への表示出力の際の表示枠（コマ）の形状を通常とは異なる特異な形状に変化させるものである。
図９に示すように、例えば、表示画像選択部３２により、車両Ｘの動きの中で急ブレーキ、クラクション発鳴、急発進というトピックス性の高いフレーム画像Ｆ４、Ｆ６、Ｆ１０を選択した場合、これらのフレーム画像の表示枠の形状を通常の正方形や矩形に変えて、台形や平行四辺形、あるいは予め用意された台紙枠等を適用することにより、車両Ｘの動きの変化毎に強調表現された静止画像を表示出力することができる。

（ｂ）第２の強調処理
図１０は、画像加工ステップにおける第２の強調処理の例を示す概念図である。
第２の強調処理は、表示画像選択部３２により選択されたフレーム画像について、表示出力の際の表示サイズを通常とは異なるサイズに変化させるものである。
図１０に示すように、例えば、表示画像選択部３２により、車両Ｘの動きの中でクラクション発鳴というトピックス性の高いフレーム画像Ｆ６を選択した場合、他のフレーム画像よりも大きく表示されるように表示サイズを変更することにより、車両Ｘの動きの変化を強調表現した静止画像を表示出力することができる。

（ｃ）第３の強調処理
図１１は、画像加工ステップにおける第３の強調処理の例を示す概念図である。
第３の強調処理は、表示画像選択部３２により選択されたフレーム画像について、特徴量の変化の度合いに応じて、表示サイズや表示枠の変形の割合を変化させるものである。
図１１に示すように、例えば、特徴量検出部３１により検出された車両Ｘの発する音声レベルの強弱に対応させて、表示サイズを段階的にあるいは傾斜的に変更する。一例として、図７に示された音声レベルを基準レベルに対する倍率として算出し、その倍率（例えば、１．２倍）をそのまま基準表示サイズに適用する。これにより、車両Ｘが発する急ブレーキ音やクラクション発鳴音のような音声レベルの高い音声データＡ４、Ａ６については、その音声レベルに応じた表示サイズに加工されることになり、音声の変化特性を静止画像により表示出力することができる。ここで、強調処理の度合いを決定する特徴量として被写体の音声レベルを適用した例を示したが、これは一例にすぎず本発明の実施の形態を何ら限定するものではない。したがって、被写体の移動量等の大小に応じて強調処理の度合いを変化させるようなものであってもよい。

なお、画像加工の手法は、上述した各強調処理に限定されるものではなく、選択されたフレーム画像の画質や表示階調を通常表示よりも強調するものや、表示位置を変更するものであってもよい。
以上の一連のステップを有する本実施形態によれば、動画データ中の撮影状況の切り替わりや被写体の動きを画像又は音声に含まれる特徴量の変化として検出し、この特徴量に基づいて動画データ中の代表画像を選択して強調表示することができるため、簡易に動画データから静止画像を抽出し、撮影内容を直感的に認識させることができる画像表現で表示出力することができる。なお、本実施形態では、特徴量検出ステップにおいて検出された特徴量が所定の変化を示した場合に、表示画像選択ステップにおいてその特徴量を有するフレーム画像を表示画像として選択し、（画像加工を施して）表示出力する例について示したが、本発明はこれに限定されるものではなく、特徴量検出ステップにおいて所定の特徴量の変化を示したフレーム画像のみに加工処理を施して、他の加工処理を施していないフレーム画像とともに、順次あるいは一括して表示出力するものであってもよい。

＜第２の実施形態＞
次に、本発明に係る画像処理装置の第２の実施形態について、図面を参照して説明する。
本実施形態は、上述した第１の実施形態において、画像処理装置の利用者が特徴量及び画像加工方法を任意に選択設定するようにしたものである。
すなわち、図１に示した画像処理装置において、画像処理装置の利用者が、入力部７０を操作して、あるいは、図示を省略した通信回線等を介して、特徴量選択命令及び加工方法選択命令を指示入力することにより、画像信号の特徴量変化、又は、音声信号の特徴量変化、あるいは、画像信号及び音声信号の特徴量変化のいずれかを手がかりにして所望の条件を満たすフレーム画像を選択し、さらに、フレーム画像の加工処理方法を選択して、モニタ５０やプリンタ６０等への表現形式を任意に設定する。

以下、本実施形態の処理動作について、図１２のフローチャートを参照して説明する。上述した第１の実施形態と同等のステップについては、その説明を簡略化する。
図１２に示すように、ステップＳ２０１、Ｓ２０２において、動画データから所定の時間間隔で一連のフレーム画像及びそれに付随する音声情報を選択、抽出し、圧縮符号化処理を施してフレームメモリ２０の所定の格納領域に格納する。次いで、ステップＳ２０３、Ｓ２０４、Ｓ２０５において、フレームメモリ２０に格納された一連のフレーム画像及び音声について、入力部７０等を介して利用者により選択、指示された特徴量の変化を検出し、画像又は音声の変化特性を把握する。すなわち、撮影、収録された動画データについて、利用者が指示する特徴量の変化、つまり、画像や音声の変化特性に基づいて、後述するステップにおいて、所望の撮影内容を有するフレーム画像が選択、表示出力される。

次いで、ステップＳ２０６において、表示画像選択部３２により、上述した画像又は音声の変化特性に基づいて、撮影状況の切り替わりや被写体の急激な動作等を含むフレーム画像を選択し、ステップＳ２０７、Ｓ２０８において、選択されたフレーム画像について、入力部７０等を介して利用者により選択、指示された画像加工処理を施す。ここでは、上述した強調処理を含む複数の画像加工処理の中から任意の加工処理方法が選択され、例えば撮影状況の切り替わりや被写体の変化を示すフレーム画像を、通常のフレーム画像よりも表示サイズを大型化したり、表示枠を変形させたり、表示位置をモニタ画面の中央に移動する等の表示枠の制御や、表示画面の輝度や彩度を強調したり、フラッシング等の表示画質の制御を行う。

そして、ステップＳ２０９において、画像加工部３３により加工処理されたフレーム画像をモニタ５０やプリンタ６０、あるいは、通信回線等を介して接続されたファクシミリ装置やＰＤＡ、パソコン等に表示出力する。以上の一連のステップを有する本実施形態によれば、利用者が任意の特徴量及び画像加工処理を選択することができるため、所望の撮影内容（特徴量の変化）を有するフレーム画像を、視認性のよい表現形式で表示出力することができる。なお、本実施形態においては、利用者が特徴量及び画像加工方法の双方を任意に選択設定する場合について説明したが、選択設定する対象を特徴量又は画像加工方法のいずれかとしてもよい。
ところで、各実施形態に示した画像処理装置及び画像処理方法は、上述したビデオカメラや電子スチルカメラ、パソコンのほか、ビデオプレーヤーやファクシミリ装置、プリンタ等の画像処理機器に組み込んで、あるいは、アプリケーションソフトとして提供することにより良好に実現することができるものであることはいうまでもない。

本発明に係る画像処理装置の第１の実施形態を示すブロック図である。 動画データ取込部の概略構成を示すブロック図である。 フレームメモリの内部領域を示す概念図である。 第１の実施形態における処理動作を示すフローチャートである。 動画データ取込ステップを示す概念図である。 特徴量検出ステップに適用されるブロックマッチング法を示す概念図である。 音声特性の変化を示す模式図である。 画像の変化特性に基づいてフレームデータを選択する表示画像選択ステップの一例を示す概念図である。 画像加工ステップにおける第１の強調処理の例を示す概念図である。 画像加工ステップにおける第２の強調処理の例を示す概念図である。 画像加工ステップにおける第３の強調処理の例を示す概念図である。 第２の実施形態における処理動作を示すフローチャートである。 動画情報を構成する複数のフレーム画像から任意のフレーム画像を選択し、表示する手法の概念図である。

符号の説明

１０ 動画データ取込部
２０ フレームメモリ
３０ ＭＰＵ
３１ 特徴量検出部（特徴量検出手段）
３２ 表示画像選択部（フレーム画像選択手段）
３３ 画像加工部（フレーム画像加工手段）
４０ ハードディスク
５０ モニタ（画像出力手段）
６０ プリンタ（画像出力手段）
７０ 入力部（特徴量選択手段、加工方法選択手段）
８０ バス

Claims (8)

1. 動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出手段と、
   前記特徴量検出手段により検出された前記特徴量の変化に基づいて、前記複数のフレーム画像から特定のフレーム画像を選択するフレーム画像選択手段と、
   前記フレーム画像選択手段により選択された前記特定のフレーム画像を静止画像として表示出力する画像出力手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記フレーム画像選択手段により選択された前記特定のフレーム画像に所定の画像加工処理を施すフレーム画像加工手段を有し、
   前記加工処理された前記フレーム画像を、前記画像出力手段を介して表示出力することを特徴とする請求項１記載の画像処理装置。
3. 動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出する特徴量検出手段と、
   前記特徴量検出手段により検出された前記特徴量の変化に基づいて、前記フレーム画像に所定の画像加工処理を施すフレーム画像加工手段と、
   前記フレーム画像加工手段により加工されたフレーム画像を含む前記複数のフレーム画像を静止画像として表示出力する画像出力手段と、
   を備えたことを特徴とする画像処理装置。
4. 前記特徴量は、前記動画情報を構成する複数のフレーム画像に含まれる被写体の動きであることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記特徴量は、前記動画情報を構成する複数のフレーム画像の各々に付随する音声情報であることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
6. 前記特徴量検出手段は、前記動画情報を構成する複数のフレーム画像に含まれる、異なる種類の複数の特徴量を検出し、さらに、
   前記複数の特徴量から任意の１又は複数の特徴量を選択する特徴量選択手段を有することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
7. 前記フレーム画像加工手段は、複数の異なる画像加工方法を備え、さらに、
   前記複数の画像加工方法から任意の加工方法を選択する加工方法選択手段を有することを特徴とする請求項１乃至３又は６のいずれかに記載の画像処理装置。
8. 動画情報を構成する複数のフレーム画像に含まれる特徴量の変化を検出するステップと、
   前記検出された前記特徴量の変化に基づいて、前記複数のフレーム画像から特定のフレーム画像を選択するステップと、
   前記選択された特定のフレーム画像を静止画像として表示出力するステップと、
   を含むことを特徴とする画像処理方法。

Images