JP2017069596A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】動画像の所望シーンからの再生開始を容易にする目次画像を生成する画像処理装置及び方法を提供する。
【解決手段】画像領域切出し手段３２は、撮像部２４による撮像されカメラ信号処理手段２８により処理された撮像画像から注目領域の画像部分を切り出す。文字列検出手段３４は、画像領域切出し手段３２により切り出された注目領域画像に含まれる文字列を検出する。ＣＰＵ１２は、文字列の追加・削除に対して、直前の注目領域画像を目次画像として記録媒体５０に記録し、対応する動画像のシーン範囲を示す情報を関連付ける。
【選択図】図１

Description

本発明は、画像処理装置及び方法に関し、より具体的には、動画シーン中の注目点からの再生を容易にする目次画像を生成する画像処理装置及び方法に関する。

従来、会議の議事録作成は、会議中に書記が残した文章や板書の撮影画像をもとに、会議終了後に担当者が清書等をおこない作成していた。その他には、ボイスレコーダで音声をファイル化する手法や、ＴＶ会議システムでは、会議自体を音声ファイルまたは動画ファイルとして保存する手法も一般化しつつある。

また、監視カメラの技術分野では、撮影画像分析から不審な人物と事象を検出する技術が知られている。さらには、総称Ｎシステムと呼ばれる自動車ナンバー自動読取装置の技術を応用し、自動車ナンバーの認識率に応じて動画データの圧縮率を動的に制御する技術も提案されている（特許文献１参照）。

特開２００６−２０２０００号公報

記録音声を参照して会議終了後に担当者がいわゆる文字起こしにより議事録を作成する場合、一般に、実時間以上の作業時間が必要となる。作成された議事録の内容には、聞き違いや勘違いなどの誤解、及び必要な内容に関しての記載漏れなどの可能性があるので、再チェックか事後的な確認の容易なシステムが必要になる。

また、会議自体を動画記録する場合、所望の議題に対して議論しているシーンを検索する手間がかかるなどの問題がある。動画シーンをいくつかのクリップに分割し、サムネイル一覧を表示し、所望シーンを選択させる機能などもあるが、会議風景の場合は似たようなシーンの縮小画像となるので、所望シーンを再生画面上で視覚的に発見するのは困難である。

本発明は、動画シーン中の注目箇所からの再生を容易にする目次画像を生成する画像処理装置及び方法を提示することを目的とする。

本発明に係る画像処理装置は、動画像のインデックスとなる目次画像を生成する画像処理装置であって、前記動画像から画面上の注目領域を切り出す画像領域切出し手段と、前記画像領域切出し手段により切り出される注目領域画像と、前記画像領域切出し手段により先行して切り出された直前の注目領域画像との間における所定変化の有無を判別する判別手段と、前記所定変化がある場合に、前記画像領域切出し手段により先行して切り出された直前の注目領域画像を目次画像とし、前記動画像との対応を示す対応動画シーン情報と関連付けて出力する出力手段とを有することを特徴とする。

本発明によれば、注目領域において所定変化がある場合に、その注目領域の画像を目次画像として記録するので、再生時の便宜を考慮した目次画像を生成・記録でき、この結果、再生時に希望するシーンを見つけやすくなる。

本発明の一実施例の概略構成ブロック図である。 本実施例の目次画像記録動作のフローチャートである。 目次画像作成要否判断の詳細なフローチャートである。 図２に示す目次画像記録動作による動画シーンと目次画像の関連を示すイメージ図である。 図４に示す例における、目次画像と動画ストリームとの関係を示す対応表である。 図４に示す例に対して、目次画像から動画シーンへジャンプする場合のイメージ図である。 本実施例の別の目次画像記録動作のフローチャートである。 図７Ａに続くフローチャートである。 図７Ａ及び図７Ｂに示す目次画像記録動作で記録される目次画像と、文字列及び文字列領域との関係を示すイメージ図である。 図８に示す例における目次画像、文字列領域及び関連動画シーンの対応関係を示す対応表である。 図８に示す例に対して、目次画像から動画シーンへジャンプする場合のイメージ図である。 本実施例のさらに別の目次画像記録動作のフローチャートである。 図１１Ａに続くフローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像処理装置の一実施例を組み込んだ撮像装置１０の概略構成ブロック図を示す。撮像装置１０は、撮像画像を動画記録する際に、動画像の再生のインデックスとして目次画像を作成して記録する。

１２は、撮像装置１０の全体を制御するＣＰＵである。１４はＣＰＵ１２上で動作するプログラムが格納されているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。１６は、ＣＰＵ１２のワークメモリであるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。１８は、ユーザがＣＰＵ１２に種々の指示を入力するための、ボタン及び十字キー等からなる操作装置である。ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６及び操作装置１８は、プログラムバス２０に接続し、プログラムバス２０を介して種々の制御信号及びデータをやり取りする。

２２は、被写体を撮影するためのレンズを含むレンズユニットである。２４は、レンズユニット２２からの光束を受光し画像信号に変換する撮像素子を含む撮像部である。撮像部２４は、撮像素子から一定レートで読出される画像信号をデジタル信号（画像データ）に変換し、データバス１０２を介してＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２６に一時格納する。

２８は、撮像部２４によって得られた画像信号を現像処理し、フレーム画像を生成するカメラ信号処理手段である。カメラ信号処理手段２８は、生成したフレーム画像データをＤＲＡＭ２６に一時格納する。ＤＲＡＭ２６は、カメラ信号処理手段２８からの複数のフレーム画像の画像データを同時に格納可能な容量を有する。

３０は、カメラ信号処理手段２８によって生成されたフレーム画像から顔領域を検出することで、被写体領域を検出する被写体検出手段である。

３２は、カメラ信号処理手段２８によって生成されたフレーム画像から、ユーザが任意に選択可能な注目領域を切り出したフレーム画像を生成する画像領域切出し手段である。画像領域切出し手段３２は、生成した切出しフレーム画像をＤＲＡＭ２６に格納する。

３４は、画像領域切出し手段３２によって生成された切出しフレーム画像から文字を認識し文字列データを抽出する文字列検出手段である。文字列検出手段３４は、抽出された文字列が切出しフレーム画像中の位置を示す座標データと、その位置近辺の領域を示す領域データも出力する。

３６は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮方式を用いて切出しフレーム画像を圧縮する静止画コーデックである。

３８は、ＤＲＡＭ２６に格納される２つのフレーム画像の任意領域を画像比較し、差分情報を数値化する画像比較手段である。

４０は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮方式を用いて、撮像部２４からＤＲＡＭ２６に一時格納されたフレーム画像を圧縮し、動画ストリームデータを生成する動画コーデックである。

４２は記録媒体５０にデータを読み書きする記録媒体Ｉ／Ｆである。記録媒体５０は撮像装置１０から取り外し可能である。

ＣＰＵ１２はデータバス２０にも接続し、データバス２０を介してＤＲＡＭ（Dynamic Random Access Memory）２６にアクセスできる。ＤＲＡＭ２６は、撮像画像データ及び画像の符号化復号化の際の中間データと結果のデータを一時記憶するのに使用される。ＣＰＵ１２は、データバス２０に接続する要素２４，２８，３０，３２，３４，３６，３８，４０，４２を制御する。

ＣＰＵ１２は、以下に説明する情報付加プログラム、文字列比較プログラム及び文字列追記削除判別プログラムをＲＯＭ１４から読み込み、実行する。情報付加プログラムは、静止画コーデック３６によって生成された静止画データに、動画コーデック４０によって生成された動画ストリームデータとの関連情報を付加するプログラムである。文字列比較プログラムは、文字列検出手段３４によって検出される文字列に対して、直前の画像から検出された文字列と、現在検出された文字列とを比較するプログラムである。文字列追記削除判別プログラムは、文字列比較プログラムによって比較された文字列に対して、文字列の追記、削除及び変更を判断するプログラムである。

撮像装置１０における動画記録動作を簡単に説明する。撮像部２４により撮像された画像信号は、カメラ信号処理手段２８によって現像処理され、所定形式の画像データとしてＤＲＡＭ２６に一時格納される。動画コーデック４０は、ＤＲＡＭ２６に格納されたカメラ信号処理手段２８からの画像データを圧縮符号化して動画ストリームを生成し、ＤＲＡＭ２６に書き戻す。記録媒体Ｉ／Ｆ４２は、ＤＲＡＭ２６の動画ストリームを読み出して記録媒体５０に記録する。

撮像装置１０は、カメラ信号処理手段２８により現像処理された動画像の画面上の注目領域内で所定変化の有無を判別し、所定変化がある場合に、その注目領域画像を、動画画像を再生する際の目安となる目次画像として記録する。図２に示すフローチャートを参照して、撮像装置１０における目次画像記録動作を説明する。ＣＰＵ１２は、図２に示すフローチャートに対応する制御プログラムをＲＯＭ１４から読み込み、実行することで、以下に説明する各機能を実現する。目次画像記録動作は、撮像装置１０における通常の動画記録と並列に実行される。

図２で、Ｔは動画シーンの撮影時間を示し、Ｔｓは、目次画像に付加する動画シーンの開始時間を示し、Ｔｎは動画シーン記録時間を示す。画像領域切出し手段３２が、動画記録動作中にカメラ信号処理手段２８により現像処理された記録画像データから順次切り出した注目領域の画像を目次画像Ｍ（ｎ）とする。目次画像Ｍ（ｎ）は、現在時刻Ｔの記録画像データから切り出された目次画像Ｍ（ｎ＋１）の直前の目次画像である。目次画像Ｍ（ｎ）から抽出された文字列を文字列Ｓ（ｎ）と表現する。ただし、Ｍ（ｎ），Ｓ（ｎ）の（ｎ）は内容を区別するための表現であり、必ずしも配列変数を意味しない。

動画撮影が開始されると、ＣＰＵ１２は、時間変数Ｔｓ，Ｔｎ及びループ変数ｎを０で初期化する（Ｓ２０１）。ＣＰＵ１２は、カメラ信号処理手段２８によって現像処理された画像データから画像領域切出し手段３２に注目領域を切り出させ、切り出された注目領域画像を目次画像Ｍ（ｎ）としてＤＲＡＭ２６に格納する（Ｓ２０２）。同時に、ＣＰＵ１２は、次の目次画像Ｍ（ｎ＋１）を目次画像Ｍ（ｎ）で初期化する。ユーザは、操作装置１８を操作することにより事前に、撮像部２４から出力される動画のうちのの注目領域を任意に設定できる。例えば、ユーザは、不図示の表示装置に撮像部２４の撮像画像を表示させた状態で、その表示画面を見ながら操作装置１８を使って撮像画像中に注目領域を指定する。

ＣＰＵ１２は、Ｓ２０２で生成された目次画像Ｍ（ｎ）を文字列検出手段３４に転送し、この目次画像Ｍ（ｎ）に含まれる文字列を抽出させ、変数Ｓ（ｎ）に格納する（Ｓ２０３）。このとき、ＣＰＵ１２は、次の文字列Ｓ（ｎ＋１）を、文字列Ｓ（ｎ）で初期化する。

ステップＳ２０１〜Ｓ２０３により、目次画像記録動作の初期化が終了する。

ＣＰＵ１２は、動画撮影動作による記録画像データから目次画像を作成すべきか否か判断する（Ｓ２０４）。例えば、最短の間隔として、記録動画像の各フレーム又は一定数ごとのフレームで目次画像を生成するように設定されているときには、そのようなフレームの切り替わりのタイミングかどうかを判断することになる。また、撮影画像内で注目領域が撮像されていない場合には、そもそも目次画像作成の前提を欠くので、目次画像作成処理（Ｓ２０５〜Ｓ２１０）をパスしても構わないことになる。目次画像生成判断（Ｓ２０４）の詳細は、図３を参照して、後述する。

目次画像を作成する必要が無い場合（Ｓ２０４）、ＣＰＵ１２は、動画撮影動作が終了しているかを判断する（Ｓ２１１）。動画撮影動作が終了していない場合（Ｓ２１１）、ＣＰＵ１２は、目次画像Ｍ（ｎ＋１）を目次画像Ｍ（ｎ）で更新すると共に文字列Ｓ（ｎ＋１）を文字列Ｓ（ｎ）で更新し（Ｓ２１２）、Ｓ２０４に戻る。動画撮影動作が終了している場合（Ｓ２１１）、ＣＰＵ１２は、図２に示す制御を終了する。

目次画像を作成する必要がある場合（Ｓ２０４）、ＣＰＵ１２は、現在時刻Ｔを取得して、動画シーン現在時刻Ｔｎに代入する（Ｓ２０５）。ＣＰＵ１２は、Ｓ２０４で目次画像作成の必要ありと判断された記録画像データから、画像切出し手段３２に注目領域を切り出させ、目次画像Ｍ（ｎ＋１）とする（Ｓ２０６）。ＣＰＵ１２は、目次画像Ｍ（ｎ＋１）を文字列検出手段３４に供給して目次画像Ｍ（ｎ＋１）に含まれる文字列を抽出させ、文字列Ｓ（ｎ＋１）に代入する（Ｓ２０７）。

ＣＰＵ１２は、Ｓ２０７で抽出された文字列Ｓ（ｎ＋１）を、先行して切り出された直前の目次画像Ｍ（ｎ）から抽出された文字列Ｓ（ｎ）と比較し、文字列の削除が発生したかどうかを判断する（Ｓ２０８）。文字列の削減が発生していない場合（Ｓ２０８）、ＣＰＵ１２は、Ｓ２０９，Ｓ２１０を迂回して、Ｓ２１１に進む。ＣＰＵ１２は、動画撮影動作が終了しているかを判断する（Ｓ２１１）。動画撮影動作が終了していない場合（Ｓ２１１）、ＣＰＵ１２は、目次画像Ｍ（ｎ＋１）を目次画像Ｍ（ｎ）で更新すると共に文字列Ｓ（ｎ＋１）を文字列Ｓ（ｎ）で更新し（Ｓ２１２）、Ｓ２０４に戻る。動画撮影動作が終了している場合（Ｓ２１１）、ＣＰＵ１２は、図２に示す制御を終了する。

文字列の削減が発生している場合（Ｓ２０８）、ＣＰＵ１２は、この時点での動画シーンの開始時間Ｔｓと現在の動画シーン記録時間Ｔｎを目次画像Ｍ（ｎ）に付加する（Ｓ２０９）。具体的には、ＣＰＵ１２で実行される情報付加プログラムが、目次画像Ｍｎに対応する動画シーン情報として、動画シーンの開始時間Ｔｓと現在の動画シーン記録時間Ｔｎを付加する。そして、ＣＰＵ１２は、このように動画シーン情報が付加された目次画像Ｍ（ｎ）を記録媒体Ｉ／Ｆ４２を介して記録媒体５０に記録する（Ｓ２０９）。

ＣＰＵ１２は、目次画像Ｍ（ｎ）を記録媒体５０に記録したので、動画シーンの開始時間Ｔｓを動画シーン記録時間Ｔｎで更新する（Ｓ２１０）。ＣＰＵ１２は、動画撮影動作が終了しているかを判断する（Ｓ２１１）。動画撮影動作が終了していない場合（Ｓ２１１）、ＣＰＵ１２は、目次画像Ｍ（ｎ＋１）を目次画像Ｍ（ｎ）で更新すると共に文字列Ｓ（ｎ＋１）を文字列Ｓ（ｎ）で更新し（Ｓ２１２）、Ｓ２０４に戻る。動画撮影動作が終了している場合（Ｓ２１１）、ＣＰＵ１２は、図２に示す制御を終了する。

図３は、目次画像作成要否の判断（Ｓ２０４）の詳細なフローチャートを示す。ＣＰＵ１２は、動画撮影動作による記録画像データに更新があったかどうかを判断する（Ｓ３０１）。更新があった場合（Ｓ３０１）、ＣＰＵ１２は、被写体検出手段３０を用いて更新のあった記録画像データから人物領域を検出する（Ｓ３０２）。ＣＰＵ１２は、Ｓ３０２で検出された人物領域が注目領域と重なっているか否かを判断する（Ｓ３０３）。人物領域が注目領域と重なっている場合（Ｓ３０３）、ＣＰＵ１２は、目次画像作成不要と判断して（Ｓ３０４）、図２に戻る、人物領域が注目領域と重なっていない場合（Ｓ３０３）、ＣＰＵ１２は、目次画像作成必要と判断して（Ｓ３０５）、図２に戻る。

また、記録画像データに更新が無かった場合（Ｓ３０１）、ＣＰＵ１２は、目次画像作成不要と判断し（Ｓ３０４）、図２に戻る。

図３に示す処理により、目次画像作成処理（Ｓ２０５〜Ｓ２１０）の実行回数を削減できる。すなわち、注目領域の切出しと文字列の抽出を必要な範囲に限定できる。ホワイトボードの前で人物が板書中の場合など、人物が注目領域に重なっていた状態に対して、目次画像作成処理（Ｓ２０５〜Ｓ２１０）を実行してしまい、結果的に不適な目次画像を生成してしまうことを防止できる。

図４は、図２に示す目次画像記録動作による動画シーンと目次画像の関連を示すイメージ図であり、会議風景を示している。撮像装置１０は固定されており、定点カメラとして会議風景を撮影している。目次画像を生成する注目領域は、ホワイトボードの板書に設定されている。動画ストリームは時間０〜Ｔ４までの動画像である。そして、時間Ｔ１、Ｔ２、Ｔ３、Ｔ４で撮影された動画シーン中の注目領域から生成された画像を、それぞれ目次画像Ｍ１、Ｍ２、Ｍ３、Ｍ４としている。

目次画像Ｍ１〜Ｍ４は、図２を参照して説明した目次画像記録処理によって生成される。図５は、図４に示す例における、目次画像と動画ストリームとの関係を示す対応表である。各目次画像Ｍ１〜Ｍ４に関連付けられる動画シーン（関連動画シーン）は、直前の目次画像時間からその目次画像を記録媒体５０に記録するまでの動画シーンである。つまり、注目領域であるホワイトボードの板書が完成するまでの会議風景の動画シーンが、各目次画像Ｍ１〜Ｍ４に関連づけられる。

このように生成された目次画像を利用することにより、容易に所望の動画シーンを再生できる。図６を参照して、この方法を簡単に説明する。図６は、図４に示す例に対して、目次画像から動画シーンへジャンプする場合のイメージ図である。

ＣＰＵ１２は、ユーザの指示に従い、記録媒体５０に記録された目次画像を、複数の目次画像を１画面に同時表示するマルチインデックス表示で表示する。図４及び図５に示す例では、４枚の目次画像Ｍ１〜Ｍ４が同時に一画面に表示される。ユーザは、表示された目次画像を視認し、所望の目次画像を操作装置１８で選択する。ＣＰＵ１２は、ユーザが選択した目次画像の関連動画シーン情報を参照して、その関連動画シーン情報で特定される動画シーンを再生開始する。例えば、ユーザは、目次画像Ｍ４に板書されている議題の会議風景を再生したい場合、目次画像Ｍ４を選択する。目次画像Ｍ４には動画シーンの時間Ｔ３〜Ｔ４が関連付けられているので、ＣＰＵ１２は、動画ストリームの時間Ｔ３の場面から動画再生を開始する。

動画の注目領域で検出される文字列の変化に従い、注目領域の目次画像を生成し、その目次画像に動画の記録位置を関連付けて記録するので、目次画像の閲覧により所望位置を容易に発見でき、関連する動画部分を迅速に再生表示できる。

注目領域の変化を、そこに含まれる文字列の変化で判断するので、この判断に要する処理負担が、画像比較に比べて軽くなる。また、文字列の変化発生に応じて箇所で目次画像を記録するので、記録すべき目次画像数を減らすことが出来る。これは、目次画像を目処に動画再生を支援する再生システムの負担軽減に繋がる。

文字列の追加と削除の両方に対応する目次画像記録処理を説明する。図７Ａ及び図７Ｂは、その目次画像記録動作のフローチャートを示す。ＣＰＵ１２は、図７Ａ及び図７Ｂに示すフローチャートに対応する制御プログラムをＲＯＭ１４から読み込み、実行することで、以下に説明する各機能を実現する。ここでも、目次画像記録動作は、撮像装置１０における通常の動画記録と並列に実行される。

図７Ａ及び図７Ｂでも、図２と同様に、Ｔは動画シーンの撮影時間を示し、Ｔｓは、目次画像に付加する動画シーンの開始時間を示し、Ｔｎは動画シーン記録時間を示す。画像領域切出し手段３２が、動画記録動作中にカメラ信号処理手段２８により現像処理された記録画像データから順次切り出した注目領域の画像を目次画像Ｍ（ｎ）とする。目次画像Ｍ（ｎ）は、現在時刻Ｔの記録画像データから切り出された目次画像Ｍ（ｎ＋１）の直前の目次画像である。目次画像Ｍ（ｎ）から抽出された文字列を文字列Ｓ（ｎ）と表現する。ただし、Ｍ（ｎ），Ｓ（ｎ）の（ｎ）は内容を区別するための表現であり、必ずしも配列変数を意味しない。

動画撮影が開始されると、ＣＰＵ１２は、時間変数Ｔｓ，Ｔｎ及びループ変数ｎを０で初期化する（Ｓ７０１）。ＣＰＵ１２は、カメラ信号処理手段２８によって現像処理された記録画像データから画像領域切出し手段３２に注目領域を切り出させ、切り出された注目領域の画像を目次画像Ｍ（ｎ）としてＤＲＡＭ２６に格納する（Ｓ７０２）。同時に、ＣＰＵ１２は、次の目次画像Ｍ（ｎ＋１）を目次画像Ｍ（ｎ）で初期化する。

ＣＰＵ１２は、Ｓ７０２で生成された目次画像Ｍ（ｎ）を文字列検出手段３４に転送し、この目次画像Ｍ（ｎ）に含まれる文字列を抽出させ、変数Ｓ（ｎ）に格納する（Ｓ７０３）。このとき、ＣＰＵ１２は、次の文字列Ｓ（ｎ＋１）を、文字列Ｓ（ｎ）で初期化する。

ステップＳ７０１〜Ｓ７０３により、目次画像記録動作の初期化が終了する。

ＣＰＵ１２は、Ｓ２０４と同様に、動画撮影動作による記録画像データから目次画像を作成すべきか否か判断する（Ｓ７０４）。図３を参照して説明した処理は、目次画像生成判断（Ｓ７０４）にも適用されうる。

目次画像を作成する必要が無い場合（Ｓ７０４）、ＣＰＵ１２は、動画撮影動作が終了しているかを判断する（Ｓ７１３）。動画撮影動作が終了していない場合（Ｓ７１３）、ＣＰＵ１２は、目次画像Ｍ（ｎ＋１）を目次画像Ｍ（ｎ）で更新すると共に文字列Ｓ（ｎ＋１）を文字列Ｓ（ｎ）で更新し（Ｓ７１４）、Ｓ７０４に戻る。動画撮影動作が終了している場合（Ｓ７１３）、ＣＰＵ１２は、図７Ａ及び図７Ｂに示す制御を終了する。

目次画像を作成する必要がある場合（Ｓ７０４）、ＣＰＵ１２は、現在時刻Ｔを取得して、動画シーン現在時刻Ｔｎに代入する（Ｓ７０５）。ＣＰＵ１２は、Ｓ７０４で目次画像作成の必要ありと判断された記録画像データから、画像領域切出し手段３２に注目領域を切り出させ、目次画像Ｍ（ｎ＋１）とする（Ｓ７０６）。ＣＰＵ１２は、目次画像Ｍ（ｎ＋１）を文字列検出手段３４に供給して目次画像Ｍ（ｎ＋１）に含まれる文字列を抽出させ、文字列Ｓ（ｎ＋１）に代入する（Ｓ７０７）。

ＣＰＵ１２は、Ｓ７０７で抽出された文字列Ｓ（ｎ＋１）と直前の目次画像Ｍ（ｎ）から抽出された文字列Ｓ（ｎ）を比較し、文字列の追加が発生したかどうかを判断する（Ｓ７０８）。文字列の追加が発生していない場合（Ｓ７０８）、ＣＰＵ１２は、文字列の削除が発生したかどうかを判断する（Ｓ７１５）。

文字列の追加が発生していた場合（Ｓ７０８）、ＣＰＵ１２は、文字列検出手段３４を用いて、追加された文字列の文字列領域情報を取得する（Ｓ７０９）。ＣＰＵ１２は、Ｓ７０９で取得された文字列領域情報と関連する動画シーンの開始時間Ｔｓと現在の動画シーン時間Ｔｎを、Ｓ７０９で取得された文字列領域情報に追加する（Ｓ７１０）。ＣＰＵ１２は、記録媒体５０に記録されている直前の目次画像Ｍ（ｎ）と動画シーン関連情報を記録媒体５０から削除する（Ｓ７１１）。ＣＰＵ１２は、情報付加プログラムを用いて、Ｓ７１０で生成された文字列領域情報をＳ７０６で生成された目次画像Ｍ（ｎ＋１）に付加し、記録媒体Ｉ／Ｆ４２を介して記録媒体５０に記録する（Ｓ７１２）。

文字列の削除が発生していた場合（Ｓ７１５）、ＣＰＵ１２は、文字列検出手段３４を用いて、削除された文字列の文字列領域情報を取得する（Ｓ７１６）。ＣＰＵ１２は、Ｓ７１６で取得された文字列領域が文字列領域情報に含まれる場合、Ｓ７１６で取得された文字列領域とこれに付随する動画シーン情報を文字列領域情報から削除する（Ｓ７１７）。ＣＰＵ１２は、情報付加プログラムを用いて、Ｓ７１７で更新された文字列領域情報をＳ７０６で生成された目次画像Ｍ（ｎ＋１）に付加し、記録媒体Ｉ／Ｆ４２を介して記録媒体５０に記録する（Ｓ７１２）。

文字列の追加も削除も発生していない場合（Ｓ７１５）、又は、Ｓ７１２の後、ＣＰＵ１２は、動画撮影動作が終了しているかを判断する（Ｓ７１３）。動画撮影動作が終了していない場合（Ｓ７１３）、ＣＰＵ１２は、目次画像Ｍ（ｎ＋１）を目次画像Ｍ（ｎ）で更新すると共に文字列Ｓ（ｎ＋１）を文字列Ｓ（ｎ）で更新し（Ｓ７１４）、Ｓ７０４に戻る。動画撮影動作が終了している場合（Ｓ７１３）、ＣＰＵ１２は、図７Ａ及び図７Ｂに示す制御を終了する。

図８は、実施例１と同様に会議風景を撮影した場合の、図７Ａ及び図７Ｂに示す目次画像記録動作で記録される目次画像と、文字列及び文字列領域との関係を示すイメージ図である。撮像装置１０は固定されており、定点カメラとして会議風景を撮影している。目次画像を生成する注目領域は、ホワイトボードの板書に設定されている。動画ストリームは時間０〜Ｔ４までの動画像である。目次画像Ｍ１-３は動画シーンの時間Ｔ３の注目領域から生成された目次画像であり、目次画像Ｍ３-４は動画シーンの時間Ｔ４の注目領域から生成された目次画像である。

目次画像Ｍ１-３には文字列領域１、文字列領域２及び文字列領域３の情報が付加されており、各文字列領域１，２，３に対して動画シーンが関連付けされている。目次画像Ｍ３-４には、文字列領域４の情報とこれに関連する動画シーンの情報が付加されている。図９は、これらの目次画像、文字列領域及び関連動画シーンの対応関係を示す対応表である。

このように生成された目次画像を利用することにより、容易に所望の動画シーンを再生できる。図１０を参照して、この方法を簡単に説明する。図１０は、図８に示す例に対して、目次画像から動画シーンへジャンプする場合のイメージ図である。

ＣＰＵ１２は、ユーザの指示に従い、記録媒体５０に記録された目次画像を、複数の目次画像を１画面に同時表示するマルチインデックス表示で表示する。図８に示す例に対しては、図１０（ａ）に示すように、２枚の目次画像Ｍ１−３，Ｍ３−４が同時に一画面に表示される。ユーザは、表示された目次画像を視認し、所望の目次画像を操作装置１８で選択する。ＣＰＵ１２は、図１０（ｂ）に示すように、ユーザが選択した目次画像の各文字列領域情報を全画面で表示する。図１０（ｂ）では、目次領域Ｍ１−３が選択された結果を示す。

ユーザは、全画面表示の中の所望の文字列領域情報を選択又は指定できる。ＣＰＵ１２は、ユーザが選択した文字列領域情報に関連付けられている関連動画シーン情報を参照し、その関連動画シーン情報で特定される動画シーンの再生を開始する。図１０（ｂ）に示す例では、ユーザは文字列領域２を示す文字列領域情報を選択している。文字列領域２には、動画シーンの時間Ｔ１〜Ｔ２が関連付けられているので、ＣＰＵ１２は、図１０（ｃ）に示すように、動画ストリームの時間Ｔ１の場面から動画再生を開始する。

本実施例では、注目領域において、文字列が追加された場合には、動画シーン情報を関連付ける一方で、文字列が削除された場合には、削除された文字列領域に係る関連動画シーン情報を削除する。追記の場合に直前の目次画像を削除し、削除された情報を含む新たな目次画像が登録されるので、記録媒体に記録される目次画像が厳選されたものとなり、目次画像数を削減できる。また、文字列の追加／削除に注目して、関係する動画シーン部分の迅速な再生が可能になる。

文字列の追加と削除の両方に対応し、さらには、文字列領域外の画像差分情報も付加する目次画像記録処理を説明する。図１１Ａ及び図１１Ｂは、その目次画像記録動作のフローチャートを示す。ＣＰＵ１２は、図１１Ａ及び図１１Ｂに示すフローチャートに対応する制御プログラムをＲＯＭ１４から読み込み、実行することで、以下に説明する各機能を実現する。ここでも、目次画像記録動作は、撮像装置１０における通常の動画記録と並列に実行される。

図１１Ａ及び図１１Ｂでも、図２並びに図７Ａ及び図７Ｂと同様に、Ｔは動画シーンの撮影時間を示し、Ｔｓは、目次画像に付加する動画シーンの開始時間を示し、Ｔｎは動画シーン記録時間を示す。画像領域切出し手段３２が、動画記録動作中にカメラ信号処理手段２８により現像処理された記録画像データから順次切り出した注目領域の画像を目次画像Ｍ（ｎ）とする。目次画像Ｍ（ｎ）は、現在時刻Ｔの記録画像データから切り出された目次画像Ｍ（ｎ＋１）の直前の目次画像である。目次画像Ｍ（ｎ）から抽出された文字列を文字列Ｓ（ｎ）と表現する。ただし、Ｍ（ｎ），Ｓ（ｎ）の（ｎ）は内容を区別するための表現であり、必ずしも配列変数を意味しない。

動画撮影が開始されると、ＣＰＵ１２は、時間変数Ｔｓ，Ｔｎ及びループ変数ｎを０で初期化する（Ｓ１１０１）。ＣＰＵ１２は、カメラ信号処理手段２８によって現像処理された記録画像データから画像領域切出し手段３２に注目領域を切り出させ、切り出された注目領域の画像を目次画像Ｍ（ｎ）としてＤＲＡＭ２６に格納する（Ｓ１１０２）。同時に、ＣＰＵ１２は、次の目次画像Ｍ（ｎ＋１）を目次画像Ｍ（ｎ）で初期化する。

ＣＰＵ１２は、Ｓ１１０２で生成された目次画像Ｍ（ｎ）を文字列検出手段３４に転送し、この目次画像Ｍ（ｎ）に含まれる文字列を抽出させ、変数Ｓ（ｎ）に格納する（Ｓ１１０３）。このとき、ＣＰＵ１２は、次の文字列Ｓ（ｎ＋１）を、文字列Ｓ（ｎ）で初期化する。

ステップＳ１１０１〜Ｓ１１０３により、目次画像記録動作の初期化が終了する。

ＣＰＵ１２は、Ｓ２０４，Ｓ７０４と同様に、動画撮影動作による記録画像データから目次画像を作成すべきか否か判断する（Ｓ１１０４）。図３を参照して説明した処理は、目次画像生成判断（Ｓ１１０４）にも適用されうる。

目次画像を作成する必要が無い場合（Ｓ１１０４）、ＣＰＵ１２は、動画撮影動作が終了しているかを判断する（Ｓ１１１３）。動画撮影動作が終了していない場合（Ｓ１１１３）、ＣＰＵ１２は、目次画像Ｍ（ｎ＋１）を目次画像Ｍ（ｎ）で更新すると共に文字列Ｓ（ｎ＋１）を文字列Ｓ（ｎ）で更新し（Ｓ１１１４）、Ｓ１１０４に戻る。動画撮影動作が終了している場合（Ｓ１１１３）、ＣＰＵ１２は、図１１Ａ及び図１１Ｂに示す制御を終了する。

目次画像を作成する必要がある場合（Ｓ１１０４）、ＣＰＵ１２は、現在時刻Ｔを取得して、動画シーン現在時刻Ｔｎに代入する（Ｓ１１０５）。ＣＰＵ１２は、Ｓ１１０４で目次画像作成の必要ありと判断された記録画像データから、画像切出し手段３２に注目領域を切り出させ、目次画像Ｍ（ｎ＋１）とする（Ｓ１１０６）。ＣＰＵ１２は、目次画像Ｍ（ｎ＋１）を文字列検出手段３４に供給して目次画像Ｍ（ｎ＋１）に含まれる文字列を抽出させ、文字列Ｓ（ｎ＋１）に代入する（Ｓ１１０７）。

ＣＰＵ１２は、Ｓ１１０７で抽出された文字列Ｓ（ｎ＋１）と直前の目次画像Ｍ（ｎ）から抽出された文字列Ｓ（ｎ）を比較し、文字列の追加が発生したかどうかを判断する（Ｓ１１０８）。

文字列の追加が発生していた場合（Ｓ１１０８）、ＣＰＵ１２は、文字列検出手段３４を用いて、追加された文字列の文字列領域情報を取得する（Ｓ１１０９）。ＣＰＵ１２は、Ｓ１１０９で取得された文字列領域情報と関連する動画シーンの開始時間Ｔｓと現在の動画シーン時間Ｔｎを、対応動画シーン情報として、Ｓ１１０９で取得された文字列領域情報に追加する（Ｓ１１１０）。ＣＰＵ１２は、記録媒体５０に記録されている直前の目次画像Ｍ（ｎ）と動画シーン関連情報を記録媒体５０から削除する（Ｓ１１１１）。ＣＰＵ１２は、情報付加プログラムを用いて、Ｓ１１１０で生成された文字列領域情報をＳ１１０６で生成された目次画像Ｍ（ｎ＋１）に付加し、記録媒体Ｉ／Ｆ４２を介して記録媒体５０に記録する（Ｓ１１１２）。

文字列の追加が発生していない場合（Ｓ１１０８）、ＣＰＵ１２は、Ｓ１１０７で抽出された文字列Ｓ（ｎ＋１）の文字列領域を文字列検出手段３４を用いて取得する（Ｓ１１１８）。そして、ＣＰＵ１２は、取得された文字列領域ではない目次画像Ｍ（ｎ＋１）の画像領域を、画像比較手段３８を使って直前の目次画像Ｍ（ｎ）と比較する（Ｓ１１１８）。ＣＰＵ１２は、比較結果（Ｓ１１１８）が画像差分の存在を示すかどうかを判断する（Ｓ１１１９）。画像差分がある場合（Ｓ１１１９）、ＣＰＵ１２は、画像領域情報にＳ１１１９で差分ありと判断された画像差分領域とこれに関連する動画シーンの開始情報Ｔｓと現在時間Ｔｎを追加する（Ｓ１１２０）。そして、ＣＰＵ１２は、記録媒体５０に記録されている直前の目次画像Ｍ（ｎ）と動画シーン関連情報を記録媒体５０から削除する（Ｓ１１１１）。ＣＰＵ１２は、情報付加プログラムを用いて、Ｓ１１１０で生成された文字列領域情報をＳ１１０６で生成された目次画像Ｍ（ｎ＋１）に付加し、記録媒体Ｉ／Ｆ４２を介して記録媒体５０に記録する（Ｓ１１１２）。

差分画像が存在しない場合（Ｓ１１１９）、ＣＰＵ１２は、Ｓ１１０７で更新された文字列Ｓ（ｎ＋１）と直前の目次画像Ｍ（ｎ）から抽出された文字列Ｓ（ｎ）を比較し、文字列の削除が発生したかどうかを判断する（Ｓ１１１５）。

文字列の削除が発生していた場合（Ｓ１１１５）、ＣＰＵ１２は、文字列検出手段３４を用いて、削除された文字列の文字列領域情報を取得する（Ｓ１１１６）。ＣＰＵ１２は、Ｓ１１１６で取得された文字列領域が文字列領域情報に含まれる場合、Ｓ１１１６で取得された文字列領域とこれに付随する動画シーン情報を文字列領域情報から削除する（Ｓ１１１７）。ＣＰＵ１２は、情報付加プログラムを用いて、Ｓ１１１７で更新された文字列領域情報をＳ１１０６で生成された目次画像Ｍ（ｎ＋１）に付加し、記録媒体Ｉ／Ｆ４２を介して記録媒体５０に記録する（Ｓ１１１２）。

文字列の削除も発生していない場合（Ｓ１１１５）、又は、Ｓ１１１２の後、ＣＰＵ１２は、動画撮影動作が終了しているかを判断する（Ｓ１１１３）。動画撮影動作が終了していない場合（Ｓ１１１３）、ＣＰＵ１２は、目次画像Ｍ（ｎ＋１）を目次画像Ｍ（ｎ）で更新すると共に文字列Ｓ（ｎ＋１）を文字列Ｓ（ｎ）で更新し（Ｓ１１１４）、Ｓ１１０４に戻る。動画撮影動作が終了している場合（Ｓ１１１３）、ＣＰＵ１２は、図７Ａ及び図７Ｂに示す制御を終了する。

文字列領域の差分に加えて文字列領域外の画像差分を判別することで、再生時に使い勝手の良い目次画像情報を生成できる。例えば、文字列以外の例えば図形などの領域に関しても関連する動画シーンにジャンプして再生することが容易になる。

撮像装置により撮像及び記録される動画像に対してリアルタイムで目次画像を生成記録する実施例を説明したが、記録済みの動画像又は別の撮像装置から入力する動画像に対して目次画像を生成する場合にも本発明は適用可能である。目次画像及び文字列の生成と動画像との関連付けをサーバ上で実行するようにしてもよい。すなわち、サーバが、クライアントから供給される動画像に対して上述の目次画像生成処理を実行し、その処理結果として目次画像及び文字列並びにこれらの動画像との位置関係を示す情報をクライアントに返送するようにしてもよい。

記録される目次画像と動画像との対応は、目次画像に付加または埋め込みにより関連付けてもよいし、動画像に付加または埋め込みにより関連付けても良い。注目領域から抽出され文字認識された文字列についても同様である。

本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を装置に供給することによっても、達成される。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。記憶媒体から読み出されたプログラムコード自体が、上述の実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は、本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、磁気ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード又はＲＯＭ等を用いることができる。

上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれ、前述した実施形態の機能が実現される場合も含まれる。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。

以上、本発明の好ましい実施例を説明したが、本発明は、これらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (8)

1. 動画像のインデックスとなる目次画像を生成する画像処理装置であって、
   前記動画像から画面上の注目領域を切り出す画像領域切出し手段と、
   前記画像領域切出し手段により切り出される注目領域画像と、前記画像領域切出し手段により先行して切り出された直前の注目領域画像との間における所定変化の有無を判別する判別手段と、
   前記所定変化がある場合に、前記画像領域切出し手段により先行して切り出された直前の注目領域画像を目次画像とし、前記動画像との対応を示す対応動画シーン情報と関連付けて出力する出力手段
   とを有することを特徴とする画像処理装置。
2. 前記出力手段が、前記動画像、前記目次画像、前記所定変化を示す内容、及び前記動画像の対応する位置を示す情報を記録媒体に記録する記録手段であることを特徴とする請求項１に記載の画像処理装置。
3. 前記判別手段が、前記注目領域画像に含まれる文字列を検出する文字列検出手段と、前記文字列検出手段により検出される文字列を、先行する前記目次画像に含まれる文字列と比較する比較手段とを有し、文字列の追加及び削除のいずれかにより前記所定変化があったと判別することを特徴とする請求項２に記載の画像処理装置。
4. 前記比較手段の結果が文字列の削除である場合に、前記記録手段は、先行して記録される直前の前記目次画像を前記記録媒体から削除し、削除された前記目次画像に先行して記録される目次画像の前記対応動画シーン情報を更新することを特徴とする請求項３に記載の画像処理装置。
5. 前記判別手段は、前記比較手段の比較結果が文字列の追加でない場合に、前記画像領域切出し手段により切り出される注目領域画像と、前記画像領域切出し手段により先行して切り出された直前の注目領域画像とを、前記文字列が検出された領域を除く領域で画像比較する画像比較手段を有し、前記画像比較手段の比較結果として画像差分がある場合に、前記所定変化があると判別することを請求項３に記載の画像処理装置。
6. 前記動画像が撮像部から出力される動画像であることを特徴とする請求項１から５のいずれか１項に記載される画像処理装置。
7. さらに、前記動画像の人物領域を検出する被写体検出手段を有し、前記人物領域が前記注目領域を隠すように重なる場合に、前記判別手段の判別を実行しないことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 動画像のインデックスとなる目次画像を生成する画像処理方法であって、
   前記動画像から画面上の注目領域を切り出し、得られた注目領域画像を記憶手段に記憶する画像領域切出しステップと、
   前記画像領域切出しステップで切り出される注目領域画像と、前記画像領域切出しステップで先行して切り出された直前の注目領域画像との間における所定変化の有無を判別する判別ステップと、
   前記所定変化がある場合に、前記直前の注目領域画像を目次画像とし、前記動画像との対応を示す対応動画シーン情報と関連付けて出力する出力ステップ
   とを有することを特徴とする画像処理方法。

Images