JP2000132563A

JP2000132563A - 画像検索方法，画像処理方法，および情報検索方法、ならびにこれらの方法を実行するためのプログラムが記録された記録媒体，画像処理装置，および情報検索システム

Info

Publication number: JP2000132563A
Application number: JP10304065A
Authority: JP
Inventors: Hideyuki Kobayashi; 秀行小林
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1998-10-26
Filing date: 1998-10-26
Publication date: 2000-05-12

Abstract

(57)【要約】【課題】目的とする画像や情報を簡単かつ効率良く取
得する。【解決手段】野球中継の映像信号を取り込んで、所定
の時点の画像を表示し、その画像上でイニングや得点な
どの情報の表示される画像領域を指定し、この領域内の
画像をキー画像として登録しておく。以下、再生中の映
像信号については早送りまたは巻き戻し処理を行い、受
信中の映像信号については表示を中止して、順次入力さ
れる画像について、キー画像に対応する画像データを抽
出して、その抽出画像の前記キー画像に対する変化率を
算出する。そして所定度合いの変化率が得られた時点
で、イニングが変わったなどのイベントが発生したもの
と判断し、その時点の画像を表示装置に表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、時系列的に生成され
た画像を処理する技術分野に属し、特に時系列画像を構
成する各画像の中から、所定の変化が生じた時点の画像
を取り出したり、音声信号付きの時系列画像に含まれる
情報を取り出して、検索処理などに利用するための技術
に関連する。

【０００２】

【従来の技術】近年、複数の局からの映像信号を並列し
て視聴することが可能なテレビや、通常のテレビとして
の機能のほかにコンピュータの機能を組み込んで、イン
ターネットのような情報検索システムへのアクセスを可
能としたマルチメディア型のテレビの開発が進められて
いる。この種のテレビによれば、例えばある局で放映中
のドラマを視聴しながら、別の局で放映中のスポーツ中
継を適宜チェックしたり、ニュース番組を視聴しつつ、
報道された内容の詳細な情報をインターネットで検索す
るなど、多方面にわたる使用方法を実現することができ
る。

【０００３】

【発明が解決しようとする課題】ある番組を視聴しなが
ら裏番組の野球中継を適宜チェックしたい場合、イニン
グの変わり目や、得点が入ったときなどの「イベント」
の発生時に中継画面を呼び出せるようにするのが望まし
い。しかしながらこのような都合の良い場面のみ呼び出
すのは不可能であるから、現状では、中継画面を小さく
表示したり、別途中継画面の状態を伝える文字情報を送
信して表示するなどして、ユーザ自身に表示画面を切り
換えるタイミングを判断させている。

【０００４】また番組で放映された情報を用いた検索を
行う場合、ユーザは、放送内容から検索したい情報を取
り出して入力する必要がある。しかしながら放映中の画
像や音声は一過性のものであるから、特に新規の事項に
ついては、見逃しや聞き逃しにより入力が不可能となっ
たり、聞き違えによる誤入力が生じるなどして、十分な
検索を実行できないケースが生じる。

【０００５】なお上記の第１の問題は、マルチメディア
型のテレビに限らず、ビデオテープを再生する際の頭出
し処理や、録画処理などにもあてはまるものである。ビ
デオテープの頭出し処理は、従来、ユーザ自身の早送
り、巻き戻し操作、もしくは番組録画時に自動的に記録
されたインデックス信号の検索などにより行われている
が、野球のチェンジ前の状況や得点追加時などの見どこ
ろを自動的に頭出しすることは、不可能である。

【０００６】また所望の番組の録画を予約する際には、
通常、その番組の開始時刻や終了時刻をセットするが、
このような処理では、前の番組の放映時間が変更される
などして、番組の開始が遅れた場合に対応できないとい
う問題がある。

【０００７】この発明は、上記のような問題点に着目し
てなされたもので、時系列画像の中から所定度合いの変
化が生じた画像を抽出することにより、目的とする画像
や情報を簡単かつ効率良く取得することを、技術課題と
する。

【０００８】

【課題を解決するための手段】例えばスポーツ中継のよ
うな番組では、画像上の所定位置に得点、イニング、経
過時間などを表示するのが一般的である。よってこの表
示位置における画像の変化を追跡することにより、イニ
ングの変わり目や得点獲得時のようなイベント発生時の
画像を取り出して表示したり、イベント発生時以降の映
像信号を記録するなどの処理を実行することが可能とな
る。

【０００９】また映画番組やドラマなどでは、番組の開
始時に、特有のタイトルが表示されるから、このタイト
ルが出現した時点の画像を抽出できれば、その時点から
所定時間の映像を録画することにより、希望する番組を
もれなく録画することが可能となる。

【００１０】請求項１の発明は、上記の考察に沿ってな
されたもので、時系列画像について、特定領域内におけ
る画像の変化を追跡してゆき、特定領域内で所定度合い
の変化が生じた時点の画像を抽出するようにしている。
なおここでいうところの「時系列画像」は、ビデオ規格
に基づく動画像に限らず、例えば所定の時間間隔毎に生
成された静止画像が時系列的に並べられた画像データで
あってもよい（以下の請求項でも同様である）。

【００１１】請求項２の発明は、例えばニュース番組用
の映像信号のような、ある情報についての画像と音声の
解説とが対応づけられた形式の音声信号付きの時系列画
像においては、画像が変化した時点でその画像の変化部
分にかかる解説が行われることが多い、という観点に立
ってなされたもので、所定度合いの変化が生じた時点で
の画像に対応する音声信号を認識し、その内容を示す所
定組の単語を検索用のキー情報として設定した後、前記
時系列画像中の所定の画像上に前記キー情報による検索
を実行するための操作領域を設定するようにしている。

【００１２】前記操作領域としては、例えば、各キー情
報毎に画像上に埋め込まれたリンクボタンが考えられる
が、これに限らず、単に各キー情報を番号に対応づけて
一覧表示し、所望のキー情報にかかる番号を入力するよ
うにしたユーザインターフェイス画面の表示領域であっ
てもよい。また各キー情報や演算子を提示し、これらを
自由に組み合わせた検索式を編集可能なユーザインター
フェイス画面の表示領域も、操作領域と考えることがで
きる。

【００１３】請求項３の発明では、さらに前記検索用の
操作領域が設定された画像を表示するとともに、表示さ
れた操作領域でのキー情報の指定操作を受け付けて、指
定されたキー情報により所定のデータベースを検索する
ようにしている。

【００１４】請求項４の発明にかかる画像検索用のプロ
グラムの記録媒体には、請求項１の方法を実施するため
のプログラムとして時系列画像を入力する手順と、前
記時系列画像の特定領域内における画像の変化を追跡し
て、この領域内に所定度合いの変化が生じた時点での画
像を抽出する手順とが記録されている。

【００１５】請求項５の発明にかかる画像処理用のプロ
グラムの記録媒体には、請求項２の方法を実施するため
のプログラムとして、音声信号付きの時系列画像を入力
する手順、前記時系列画像における画像の変化を追跡し
て、所定度合いの変化が生じた時点での画像を抽出する
手順、前記音声信号を認識する手順、前記抽出された画
像に対応する音声の認識結果を用いて、その認識内容を
示す所定組の単語を検索用のキー情報として設定する手
順、および前記時系列画像中の所定の画像上に、前記キ
ー情報による検索を実行するための操作領域を設定する
手順が、記録されている。

【００１６】請求項６の発明にかかる情報検索用のプロ
グラムの記録媒体には、請求項２および３の発明を実施
するためのプログラムとして、音声信号付きの時系列画
像を入力する手順、前記時系列画像における画像の変化
を追跡して、所定度合いの変化が生じた時点での画像を
抽出する手順、前記音声信号を認識する手順、前記抽出
された画像に対応する音声の認識結果を用いて、その認
識内容を示す所定組の単語を検索用のキー情報として設
定する手順、前記時系列画像中の所定の画像上に、前記
キー情報による検索を実行するための操作領域を設定す
る手順、前記操作領域が設定された画像を表示装置に表
示する手順、表示された操作領域でのキー情報の指定操
作を受け付けて、そのキー情報により所定のデータベー
スを検索する手順、の各手順が記録されている。

【００１７】請求項７の発明にかかる画像処理装置は、
映像記録媒体の再生装置により再生された時系列画像用
の映像信号を入力するための画像入力手段と、入力され
た映像信号による時系列画像について、特定領域内にお
ける画像の変化を追跡して、所定度合いの変化が生じた
時点での画像を抽出する抽出手段と、前記抽出された画
像を出力する画像出力手段とを具備する。請求項８の発
明にかかる画像処理装置は、時系列画像用の映像信号を
受信する映像信号受信手段のほか、請求項７の発明と同
様の抽出手段および画像出力手段とを具備している。

【００１８】請求項９の発明にかかる画像処理装置は、
音声信号付きの時系列画像用の映像信号を入力する画像
入力手段と、入力された映像信号による時系列画像の変
化を追跡して、所定度合いの変化が生じた時点での画像
を抽出する抽出手段と、前記音声信号を認識するための
音声認識手段と、前記抽出手段により抽出された画像に
対応する音声認識結果を用いて、その認識内容を示す所
定組の単語を検索用のキー情報として設定するととも
に、前記時系列画像中の所定の画像上に、前記キー情報
による検索を実行するための操作領域を設定する設定手
段とを具備する。

【００１９】請求項１０の発明にかかる情報検索システ
ムは、上記請求項９と同様の画像入力手段、抽出手段、
音声認識手段、設定手段に加え、前記操作領域が設定さ
れた画像を表示する表示手段と、複数種の情報が格納さ
れたデータベースと、前記表示手段上の操作領域でのキ
ー情報の指定操作を受け付けて、そのキー情報により前
記データベースを検索する検索手段とを具備する。

【００２０】

【作用】請求項１および４の発明によれば、例えばスポ
ーツ中継の時系列画像について、イニングの変わり目や
得点獲得時のようなイベントが発生すると、イニングや
得点を表示する領域内の画像に変化が生じる。したがっ
て、この変化が生じた時点の画像を抽出して表示した
り、記録するような処理が可能となる。

【００２１】請求項７の発明では、映像記録媒体に記録
された画像を再生して得られた時系列画像に対し、特定
領域内の画像に所定度合いの変化が生じた時点の画像を
抽出するので、記録された画像の中から何らかのイベン
トに関わる画像を頭出しすることが可能となる。

【００２２】請求項８の発明では、映像信号受信装置に
より受信して得られた時系列画像に対し、特定領域内の
画像に所定度合いの変化が生じた時点の画像を抽出する
ので、受信中の番組をあるイベントが発生した時点から
視聴したり、記録媒体に記録するなどの処理を行うこと
が可能となる。

【００２３】請求項２，５，９の発明によれば、所定度
合いの変化が生じた時点の画像に対応する音声の認識結
果から、画像の変化部分に関する情報を表す可能性の高
い単語が抽出され、さらにその単語をキー情報とする検
索を実行するための操作領域が画像上に設定される。よ
って一過性の音声から検索用の適切なキー情報を生成し
て、ユーザに提示することが可能となる。

【００２４】さらに請求項３，６，１０の発明では、ユ
ーザが表示画面上でキー情報を指定することにより、そ
のキー情報によるデータベースの検索が行われるので、
画像や音声に検索したい情報が含まれている場合、適切
なキー情報による検索を、簡単かつ効率良く行うことが
可能となる。

【００２５】

【実施例】図１は、この発明が適用される画像処理装置
の外観を示す。この装置は、いわゆるマルチ型テレビジ
ョンの構成をとるもので、制御装置１に、表示装置２，
スピーカー３，３，受信用アンテナ４，マウス５，映像
信号再生装置６などが接続されて成る。制御装置１に
は、パーソナルコンピュータ用の制御基板が組み込まれ
ており、この制御装置１に必要に応じてキーボードや送
受信装置を接続することにより、パーソナルコンピュー
タ用のアプリケーションを動作させたり、インターネッ
トのような通信検索システムを使用することも可能であ
る。なおマウス５を接続する代わりに、リモコンによる
遠隔操作で入力を行うようにしても良い。

【００２６】以下、上記システムを用いた２つの実施例
について、順に説明する。なお各実施例とも、共通する
構成については、同一の符号を付すとともに、これら構
成についての詳細な説明は、第１実施例についてのみ行
うことにする。また各実施例とも、ビデオ規格に基づく
アナログ量の映像信号を入力して処理しているが、これ
に限らず、ディジタル量の時系列画像や、ビデオ規格に
よらない複数枚の静止画像から成る時系列画像を処理す
ることも可能である。

【００２７】（１）第１実施例図２は、この実施例にかかるシステム構成を示す。図
中、７は、制御装置１内に組み込まれた制御回路であっ
て、ＣＰＵ８，ＲＯＭ９，ＲＡＭ１０，ハードディスク
１１などを具備する。この制御回路７には、バス１４を
介して、マウス５，映像信号受信装置１２，映像信号再
生装置６，表示装置２，音声出力装置１３などが接続さ
れる。

【００２８】映像信号受信装置１２は、前記図１の受信
用アンテナ４や、制御装置１内に組み込まれた受信信号
の増幅回路などにより構成される。音声出力装置１３
は、映像信号から分離された音声信号を増幅処理する回
路や前記スピーカー３，３などにより構成される。また
映像信号再生装置６には、再生専用のビデオデッキが用
いられるが、録画機能を併せ持つものを用いてもよい。

【００２９】この実施例の画像処理装置は、野球中継な
どのスポーツ中継の画面を、イニングの変わり目や得点
取得時などのイベントが発生した時点で自動的に呼び出
すことを可能としたもので、前記ハードディスク１１に
は、この処理を実施するための制御プログラムがインス
トールされている。

【００３０】図３は、前記制御プログラムにより実現す
るＣＰＵ８の機能を、各入出力装置との関係と共に示
す。図中、制御部１５，画像処理部１６，表示制御部１
７，音声制御部１８の各部は、ＣＰＵ８がハードディス
ク１１内の制御プログラムを実行することにより実現す
る。またキー画像記憶部１９は、ＲＡＭ１０またはハー
ドディスク１１内の所定領域内に設定される。

【００３１】映像信号受信装置１２，映像信号再生装置
６からは、ビデオ規格に基づく音声信号付きの映像信号
が出力される。この映像信号は、図示しない受信回路に
入力されて、映像信号，音声信号が分離して取り出され
る。この後、映像信号は表示制御部１７を介して表示装
置２に、音声信号は音声制御部１８を介して音声出力装
置１３に、それぞれ出力される。

【００３２】さらに前記受信回路は、映像信号から、コ
ンピュータ処理用の三原色のディジタル画像信号を生成
する。画像処理部１６は、このディジタル画像信号を取
り込んで、前記したイベント発生時の画像を抽出するた
めの処理を実行する。制御部１５は、画像処理部１６の
処理結果を取り込んでイベント発生の有無を判断し、イ
ベントが発生したと判断すると、表示制御部１７に対
し、表示装置２への映像信号の出力を指示する。これに
より表示装置２が作動して、前記判断がなされた時点の
画像が表示されることになる。

【００３３】なお制御部１５は、映像信号再生装置６の
再生動作を制御する機能も具備しており、映像信号再生
装置６からの映像信号を処理する場合、映像信号再生装
置６の再生動作は、イベントの発生が確認されるまで早
送りまたは巻戻しモードに設定され、イベントの発生が
確認された時点で、通常の再生モードまたは静止表示モ
ードに切り換えられる。

【００３４】ここで、イベントの発生を判断するための
具体的な手法について説明する。野球などのスポーツ中
継番組では、一般に、画面の特定の位置に、イニング，
得点，アウト数のような試合の進行状況を示す情報が表
示されている。ここに示される情報は、イニングの変わ
り目や得点の取得時など、試合の動きに連動して変更さ
れるので、前記の情報表示位置の表示内容が変化した時
点の画像を抽出することにより、イベントが発生した時
点、または発生直後の画像を呼び出すことが可能となる
のである。

【００３５】そこでこの実施例では、ある時点における
画像上で前記の情報が表示されている領域を、画像抽出
領域として指定するとともに、指定された領域内の画像
データを前記キー画像記憶部１９内に登録しておく。そ
して以後の画像について、順次、前記指定条件による領
域内の画像を抽出してキー画像記憶部１９に登録された
キー画像と比較し、キー画像に対し所定度合いの変化が
生じた時点の画像を、イベントの発生に対応する画像と
して抽出するようにしている。

【００３６】前記画像抽出用の領域（以下単に「画像抽
出領域」という）は、前記表示装置２上に表示された所
定時点の画像上で、ユーザのマウス操作に基づいて設定
される。図４は、画像抽出領域の指定、およびキー画像
の登録方法の一例を示す。まず図４（ａ）に示すよう
に、ユーザが表示中の画像上の情報表示位置にマウスカ
ーソル２６を合わせてクリックすると、画像処理部１６
は、このクリック位置に基づき情報表示用の文字を表す
画素を抽出する。

【００３７】一般に、画像上のスコアやイニングなどを
示す文字情報は、白などの高い輝度値を具備する色彩を
もって表されるので、画像上で高い輝度値を有する画素
を抽出することにより、比較的容易に文字の表示領域を
抽出することができる。この実施例では、クリック位置
を中心とする周囲近傍の画素ｇ(k)について、それぞれ
三原色の各輝度値Ｒ(k)，Ｇ(k)，Ｂ(k)をつぎの（１）
式にあてはめて２値データＰＡ(k)を生成し、このデー
タＰＡ(k)が「１」の値を有する画素を、文字情報を表
す画素として認識している。

【００３８】

【数１】

【００３９】ただし上式は、２５６階調のディジタル画
像を処理することを前提としたもので、（Ｘ(k)≧２３
０）は、Ｘ(k)（ＸはＲ，Ｇ，Ｂのいずれか）が２３０
以上のときに「１」、Ｘ(k)が２３０未満のときに
「０」となる関数であるものとする。よって三原色の各
輝度値がいずれも２３０以上になる画素ｇ(k)について
はＰＡ(k)＝１となり、その他の画素ｇ(k)についてはＰ
Ａ(k)＝０となる。

【００４０】さらに画像処理部１６は、図４（ｂ）に示
すように、文字として認識した各画素を含む円形の画像
領域２０を、画像抽出領域として設定した後、この領域
２０内の画像データ（図４（ｃ）に示す）を前記キー画
像として抽出する。なおこのように画像上の文字を抽出
して画像抽出領域を設定する方法に代えて、単にユーザ
のマウス操作により、領域の設定位置や大きさを指定す
るようにしてもよい。

【００４１】キー画像、および画像抽出領域の設定条件
は、前記キー画像記憶部１９に登録され、以後の画像に
ついては、順次または所定時間おきに、設定条件にかか
る領域２０内の画像データが抽出されて、この画像デー
タのキー画像に対する変化率Ｒが算出される。

【００４２】前記変化率Ｒを求めるには、まず前記画像
抽出領域２０内の各画素について、前記（１）式と同様
の算出式により、その画素が文字に該当するものである
か否かを示す２値データＰＢ(k)を算出する。ついでつ
ぎの（２）式により、前記２値データＰＢ(k)とキー画
像上の対応する画素の２値データＰＡ(K)との比較結果
を示す２値データＰＣ(k)を算出する。

【００４３】

【数２】

【００４４】上記（２）式では、ＰＡ(k)とＰＢ(k)とが
異なる値をとるときのみ、ＰＣ(k)＝１となり、ＰＡ(k)
とＰＢ(k)とが等しい値をとる場合はＰＣ(k)＝０とな
る。よって変化率Ｒは、画像抽出領域２０内の全画素の
数をＮとおいたつぎの（３）式により算出される。

【００４５】

【数３】

【００４６】なお上記の（３）式を画像抽出領域２０内
のすべての画素に対して実行する方法に代えて、キー画
像の登録時に文字に対応すると認識された画素（すなわ
ちＰＡ(k)＝１となる画素）のみを（３）式の対象とし
てもよい。この場合、当初、文字に該当していた部分に
おける変化率が算出されるので、背景部分の画像変化の
影響を受けずに、文字の表示状態の変化を精度良く認識
することができる。

【００４７】上記（３）式による変化率Ｒに対し、あら
かじめ１文字分の表示に使用される画素数を基準にし
て、画像抽出領域２０内の表示文字が変化したと判断す
るための閾値を設定することにより、イベントの発生に
該当する文字の変化を認識することが可能となる。なお
画面の切換えなどにより、画像上の文字情報が一時的に
消失した場合は、前記変化率Ｒが著しく大きくなるが、
この場合はイベントが発生したとする判断を見送り、所
定値以内の変化率Ｒの推移をもって、イベントの発生を
判断するのが望ましい。

【００４８】図５は、イベント発生の確認処理の具体例
であって、時間軸ｔに沿って、画像全体のイメージと、
前記画像抽出領域２０内の拡大画像と、画像処理部１６
における変化率Ｒの算出値および判定結果とを対応づけ
て示している。なお、図５（ａ）は、前記図４（ａ）〜
（ｃ）の処理によりキー画像が登録された時点であっ
て、図５（ｂ）〜図５（ｄ）は、この設定時点と同じイ
ニング内の画像を、図５（ｅ）はイニングが変わった直
後の画像を、それぞれ示す。

【００４９】ここでは画像抽出領域２０内において１文
字分の変化に相当する変化率Ｒを１０％であると仮定し
ており、図５（ｃ）のように、一時的に情報表示が消失
してキー画像に対する変化率Ｒがきわめて大きくなった
場合、この変化は領域２０全体の画像の変化によるもの
であると判断し、イベントが発生したとする判断を見送
るようにしている。図示例の場合、つぎの図５（ｄ）の
画像で、再び画像抽出領域２０内にキー画像と同様の画
像が現れているので、引き続き、イベント発生の有無が
チェックされる。そして図５（ｅ）の画像上で画像抽出
領域内の１文字「表」が「裏」に変わり、変化率Ｒが１
０％になった時点で、イベントが発生したと判断される
ことになる。

【００５０】図６は、上記の画像処理装置において、映
像信号再生装置６により再生された映像信号を処理する
場合の制御手順を、図７は映像信号受信装置１２により
受信中の映像信号を処理する場合の手順を、それぞれ示
すもので、以下、各図の流れに沿って、図３に示した各
部による処理を説明する。なお各図中の「ＳＴ」は各制
御のステップを意味する。

【００５１】まず図６において、処理対象の映像が記録
されたビデオテープが映像信号再生装置６にセットされ
て再生が開始されると、制御部１５は、表示制御部１７
を介して、その再生画像を表示装置２に出力する。そし
てＳＴ１で、ユーザが表示された画像上の所定位置にマ
ウスカーソル２６を合わせてクリックすると、そのクリ
ック位置は制御部１５より画像処理部１６へと与えられ
て、前記した画像抽出領域２０の設定処理が行われる。
さらに画像処理部１６は、設定された画像抽出領域２０
内の画像データを抽出し、これを領域の設定位置，大き
さなどの設定条件とともに、キー画像記憶部１９に登録
する（ＳＴ２）。

【００５２】つぎのＳＴ３で、制御部１５は、映像信号
再生装置６の動作モードを制御して、ビデオテープの早
送りまたは巻き戻しを行いながら、以下の処理を繰り返
し実行し、イベントの発生に対応する画像を抽出する。
なおこの画像抽出処理の速度は、映像信号再生装置６と
画像処理部１６との能力に依存するが、精度の高い処理
を行うためには１フレーム毎の画像を順次処理するのが
望ましい。他方、高精度の画像検索を要求しない場合
は、例えばビデオ規格の１秒にあたる３０フレーム分の
画像毎に処理を実行するようにしてもよい。

【００５３】ＳＴ４において、画像処理部１６は、ＳＴ
３で送り処理がなされた画像上において、前記画像抽出
領域２０内の画像データを抽出し、この画像を構成する
各画素について、前記２値データＰＢ(k)を算出する。
さらにつぎのＳＴ５では、前記（２）（３）式を実行す
ることにより、キー画像に対する変化率Ｒが算出され
る。

【００５４】つぎのＳＴ６，７では、画像処理部１６に
おいて、算出された変化率Ｒと所定のしきい値ｔｈ１，
ｔｈ２との比較処理が行われる。第１のしきい値ｔｈ１
には、イベントの発生に対応する一部の文字の変化に応
じた数値が、第２のしきい値ｔｈ２には、画像抽出領域
内の画像データが大幅に変化した状態に応じた数値が、
それぞれ設定される。

【００５５】ＳＴ５で算出された変化率Ｒがしきい値ｔ
ｈ１未満である場合、画像抽出領域２０内にはキー画像
と同様の画像が表示されているものと判断される。また
第２のしきい値ｔｈ２を上回る値の変化率Ｒが得られた
場合は、文字の表示が消失するような大きな変化が生じ
たものと判断される。これらの判断がなされたとき（Ｓ
Ｔ６，７のいずれかが「ＮＯ」のとき）は、ＳＴ３へと
戻り、つぎの画像に対し、上記と同様の処理が実行され
る。

【００５６】算出された変化率Ｒがしきい値ｔｈ１以
上、しきい値ｔｈ２未満であれば、ＳＴ６，７がともに
「ＹＥＳ」となる。この判断を受けた制御部１５は、画
像抽出領域２０内の画像にイベント発生に対応する変化
が生じたものと判断して、ＳＴ８へと進み、前記映像信
号再生装置６の動作を通常の再生モードまたは静止表示
モードに切り換える。

【００５７】よってこの切換え時点の画像が表示装置２
に静止表示されたり、切換え時点からの画像が通常モー
ドで再生されるようになり、ユーザは、その表示画像上
で発生したイベントの内容を確認することになる。

【００５８】なおこの図６の処理は、ビデオデッキのよ
うに、ビデオ規格に基づく映像信号をシーケンシャルに
再生する装置を制御対象としているが、レーザーディス
ク装置やＣＤ−ＲＯＭ装置のように、映像信号のランダ
ムアクセスが可能な装置に対しても、同様の方法によ
り、所望の画像を高速で抽出することが可能である。

【００５９】つぎに図７の受信中の映像信号を処理する
場合には、受信中の画像が所定のタイミングで表示装置
２に表示され、この画像上でのユーザによるマウス操作
を受けて、画像抽出領域２０が設定される（ＳＴ１）。
画像処理部１６は、前記図６と同様に、画像抽出領域２
０内の画像データを抽出し、その画像を領域の設定条件
とともにキー画像記憶部１９に登録する（ＳＴ２）。

【００６０】つぎのＳＴ３で、制御部１５は、表示装置
２への映像信号の出力を中止し、以下、映像信号受信装
置１２により新たなフレーム分の画像が取り込まれる毎
に、または所定数のフレーム毎に、画像上の画像抽出領
域２０内の画像データを抽出して、前記キー画像に対す
る変化率Ｒを算出し、その算出値Ｒを前記図６と同様の
しきい値ｔｈ１，ｔｈ２と比較する（ＳＴ４〜８）。こ
の結果、しきい値ｔｈ１以上、ｔｈ２未満の値をとる変
化率Ｒが得られると、ＳＴ９へと移行し、再び表示装置
２上に映像信号が出力されて、受信中の画像の表示が開
始される。

【００６１】なお上記ＳＴ４〜８の処理を行う間に、表
示装置２に対し、処理対象の映像信号とは異なる局から
の映像信号を与えて表示させることも可能である。この
場合、ＳＴ９の処理では、これまで表示されていた番組
の画像上に、処理対象の番組の画像をスーパーインポー
ズ表示したり、これまでの表示画像を消して、処理対象
の番組の画像に切り換えるなど、様々な設定を行うこと
が可能である。

【００６２】また図７のように受信中の映像信号を処理
する場合、ＳＴ９の画像表示に代えて、受信中の番組の
録画処理を開始するように設定することも可能である。
さらに図６や図７のＳＴ１，２で行われる画像抽出領域
の設定やキー画像の登録処理は、必ずしも、一連の処理
の直前に行う必要はなく、一度登録されたキー画像を保
持して、以後の処理に用いることも可能である。

【００６３】さらに図６や図７の処理では、画像抽出領
域内の画像がキー画像と所定度合いだけ変化したときを
イベント発生として、画像表示の開始という処理を行う
ようにしているが、例えば、所望の番組のオープニング
タイトルなどの画像をキー画像として登録し、このキー
画像に一致する画像が得られた時点を、イベント発生と
判断するようにしてもよい。この場合、希望の番組が開
始された時点で、表示装置２への画像表示や録画を開始
することが可能となるので、スポーツ中継や特別番組に
より番組の開始が遅れた場合にも、番組を見逃したり、
録画を失敗するといった不具合が発生しない。

【００６４】また上記実施例では、テレビ局より放映さ
れた番組の映像信号を処理対象としているが、この画像
処理装置は、これに限らず、画像の編集処理などにも適
用することが可能である。例えばある撮像位置において
所定のアングルで撮られた画像ばかりを抜き出したい場
合、モデルとなる画像上で所定の対象物を含む領域を指
定し、その画像抽出領域内の画像をキー画像として登録
しておく。これにより以後は、ビデオを早回しまたは巻
き戻ししつつ、前記画像抽出領域内の画像データがキー
画像と同様になった時点の画像を抽出し、効率の良い編
集処理を行うことができる。

【００６５】（２）第２実施例この実施例のシステムは、映像信号を受信して表示する
機能のほかに、通信によりインターネットなどの外部デ
ータベースに接続して検索する機能を具備しており、図
８に示すように、第１実施例と同様の構成に加え、外部
データベース２１に接続するための送受信装置２２が組
み込まれている。

【００６６】この実施例のシステムでは、映像信号受信
装置１２または映像信号再生装置６より得られた音声信
号付きの画像から外部データベース２１を検索するため
のキーワードが抽出され、画像の表示画面上にこのキー
ワードによるリンクボタンが設定される。さらにユーザ
が、このリンクボタン付きの表示画面（以下「情報検索
画面」という）上で所望のリンクボタンを操作すること
により、そのボタンに対応するキーワードを用いた検索
が自動的に実行される。

【００６７】図９は、ハードディスク１１にインストー
ルされた制御プログラムにより実現するＣＰＵ８の機能
を、各入出力装置との関係と共に示す。この実施例のＣ
ＰＵ８には、制御部１５，画像処理部１６，表示制御部
１７，音声制御部１８，音声認識部２３の各部の機能が
設定される。制御部１５は、第１の実施例と同様に、映
像信号受信装置１２や映像信号再生装置６より映像信号
および音声信号を入力しており、これらの信号を表示制
御部１７や音声制御部１８を介して表示装置２や音声出
力装置１３に与えて、各装置を動作させる。

【００６８】さらに画像処理部１６は、ディジタル量の
画像信号を得て、各フレーム間における画像の変化を抽
出する処理を実行する。音声認識部２３は、公知の音声
認識用のプログラムにより実現するもので、映像信号に
重畳されていた音声信号から各単語を分離して認識す
る。

【００６９】制御部１５は、画像処理部１６により画像
の変化が抽出された時点での音声認識結果から前記した
検索用のキーワードを設定するもので、表示装置２に
は、ユーザのマウス操作に応じて、各キーワードによる
リンクボタンが設定された情報検索画面が表示される。
さらに表示されたリンクボタンが操作されると、制御部
１５は、送受信装置２２を用いて外部データベース２１
にアクセスし、操作されたボタンに対応するキーワード
による検索を実行する。なおこの実施例では通信による
検索処理を実施するようにしているが、これに限らず、
ＣＤ−ＲＯＭなどに記録された電子辞書を検索するよう
に構成してもよい。

【００７０】図１０は、前記情報検索画面の設定例を示
す。図示例は、ニュース番組において、報道内容に含ま
れる所定の情報について、より詳細な情報を検索するた
めの情報検索画面を設定する例であって、ここでは、新
しいパラボラアンテナが完成したというニュースが提示
されている。

【００７１】図１０（ａ）は、ニュースの初期画面であ
って、キャスターの背後に設定されたニュース表示領域
２４に、これから報道されるニュースの見出しにあたる
文字情報が表示されている。図１０（ｂ）は、次の段階
の画面であって、前記ニュース表示領域２４内の表示
は、話題のパラボラアンテナのイメージに切り換えられ
ている。なお図１０（ｃ）は、この図１０（ｂ）の画面
の表示に合わせて提示される音声情報の内容を示す。

【００７２】画像処理部１６は、連続する２枚のフレー
ムの画像について、対応する画素毎に、それぞれ三原色
の各輝度値の差分処理を行うなどして、輝度や色彩の変
化した領域の有無をチェックする。そして所定大きさの
画像の変化領域が確認されると、制御部１５は、この時
点での音声認識部２３による音声認識結果を取り込ん
で、その中から名詞や、動詞，形容詞の語幹など、単独
で意味をなす単語を前記キーワードとして設定する。

【００７３】図１０（ｄ）は、前記図１０（ｂ）の画像
上で、図１０（ａ）の初期画面の画像から変化した領域
を抽出した結果であって、ニュース表示領域２４内にお
いて、文字情報からパラボラアンテナのイメージに切り
換わった部分に該当する画像領域２４ａが抽出されてい
る。図１０（ｅ）は、この時点における音声認識結果の
中から名詞や動詞の語幹のみを抽出した結果であって、
前記図１０（ｃ）に示した音声情報の中から下線を付し
た各単語（「京都」「衛星テレビ電話」「可能」「パラ
ボラアンテナ」「完成」）が抽出されている。

【００７４】図１０（ｆ）は、前記図１０（ｅ）で抽出
された各単語をキーワードとして採用して情報検索画面
を設定した例であって、前記画像の変化が抽出されたニ
ュース表示領域２４に、前記した各単語によるリンクボ
タン２５が設定されている。なおこのリンクボタン２５
は、ＨＴＭＬ形式の編集ツールが具備するクリッカブル
マップの機能などを用いて、設定されるものである。

【００７５】この実施例では、表示中の画像上で、ユー
ザが前段階の画像からの変化が見られた領域内にマウス
カーソル２６を合わせてクリック操作することにより、
上記図１０（ｆ）のような情報検索画面を表示するよう
にしている。ニュース番組やドキュメンタリー番組など
では、画像に合わせてその画像上に現れる情報を解説す
ることが多いので、新たな情報が表示された時点で、そ
の情報の表示領域をクリックすることにより、画面上に
その時点の情報の具体的な内容を表すキーワードを呼び
出すことが可能となる。

【００７６】なお前記図１０（ｃ）のような一連の音声
情報は、実際には数フレーム分の画像に対応する音声信
号として与えられるので、音声信号の切れ目を一単位と
して認識しておき、画像変化の抽出時点移行の所定単位
分の信号の認識結果から、キーワードを生成することに
なる。また画像の変化に対応する情報は、必ずしもその
変化時点での音声信号に含まれるとは限らず、画像が変
化する直前（例えば図１０（ａ）の画像が得られた時
点）の音声信号に含まれる場合もある。したがって、必
要に応じて、画像の変化が抽出された時点の前後を含む
所定時間内の音声信号より抽出された単語を、キーワー
ドとして抽出してもよい。

【００７７】さらにリンクボタン２５を設定する領域
は、画像の変化が抽出された領域に限らず、表示画面上
の所定位置にリンクボタン２５の表示領域を設定しても
よい。なお、このようなリンクボタンの表示領域を設定
しておけば、所定時間内に抽出されたキーワードを蓄積
して、これらキーワードによるリンクボタンを一覧表示
したり、蓄積の履歴順に表示することも可能である。

【００７８】図１１は、上記の画像処理装置における処
理手順を示すもので、以下、つぎの図１２を参照しつ
つ、同図の流れに沿って、音声信号付きの映像信号の受
信または再生から情報検索処理が完了するまでの手順を
説明する。

【００７９】まずＳＴ１では、映像信号受信装置１２に
よる映像信号の受信、または映像信号再生装置６による
映像信号の再生処理が開始される。この映像信号は表示
装置２に表示されるとともに、重畳されていた音声信号
が分離されて、音声出力装置１３より出力される。

【００８０】一方、画像処理部１６には、画像処理用の
三原色の各ディジタル画像信号が与えられており、これ
ら画像信号を用いて、フレーム間の画像の変化領域を抽
出する処理が行われる（ＳＴ２Ａ）。この処理と平行し
て、音声認識部２３では、映像信号より分離された音声
信号に含まれる単語を認識するための処理が行われる
（ＳＴ２Ｂ）。

【００８１】このような処理が順次繰り返し行われて、
図１２（ａ）のような画像が得られた段階で、前記図１
０（ｃ）に示したように、表示中の画像について所定大
きさの画像変化領域２４ａが抽出されると、ＳＴ３が
「ＹＥＳ」となる。これを受けて制御部１５は、この時
点での音声信号（図１２（ｂ）に示す）の認識結果よ
り、名詞や動詞，形容詞の語幹などの単語を抽出して、
キーワードとして設定する。

【００８２】一方、受信または再生中の映像信号による
画像や音声を視聴しているユーザは、新たに提示された
情報について、さらに詳細な情報や関連情報を取得した
いと思ったとき、図１２（ｃ）に示すように、表示画面
上で画像が変化した領域にマウスカーソル２６を合わせ
てクリックする。これによりＳＴ５が「ＹＥＳ」となっ
てＳＴ６へと進み、表示装置２には、クリックされた位
置に対応づけて前記キーワードによるリンクボタン２５
が設定された情報検索画面が表示される。

【００８３】ユーザは、この情報検索画面上に、自分の
必要とするリンクボタン２５が設定されていることを確
認すると、そのボタン上にマウスカーソル２６を合わせ
てクリックする。この指定操作を受けてＳＴ７が「ＹＥ
Ｓ」となり、制御部１５は、送受信装置２２を介して外
部データベース２１にアクセスし、操作されたリンクボ
タンに対応するキーワードを送信する（ＳＴ８）。

【００８４】外部データベース２１の検索エンジンは、
与えられたキーワードを用いた検索を実行した後、抽出
された情報をシステム側に返送する。制御部１５は、こ
の情報を取り込んで、表示制御部１７を介して表示装置
２に出力する（ＳＴ９）。

【００８５】図１２（ｄ）は、情報検索画面上で、「パ
ラボラアンテナ」というキーワードに対応するリンクボ
タン２５が指定された例を示し、図１２（ｅ）は、この
操作に対し、外部データベース２１から返送された検索
結果の表示画面を示す。このようにユーザは、情報検索
画面に設定されたリンクボタンを操作するだけで、その
ボタンに設定されたキーワードにリンクする情報を取り
込むことができるもので、テレビ番組やビデオを視聴し
ながら手軽に検索を行うことができる。しかも一過性の
音声信号から検索用のキーワードを抽出して表示するの
で、ユーザが解説を聞き逃して検索が不可能になる虞が
なく、高精度の検索が可能である。

【００８６】なお図１１において、画像の変化した部分
をクリックする操作がなされなかった場合は、ＳＴ５が
「ＮＯ」となり、そのままつぎのフレームの画像および
音声に対する処理へと移行する。また情報検索画面中に
必要なリンクボタン２５が設定されていない場合には、
ユーザのキャンセル操作または所定時間の経過により、
ＳＴ７が「ＮＯ」となってＳＴ１０に移行し、前記情報
検索画面がキャンセルされて通常の画面に復帰する。そ
して再びＳＴ２Ａ、２Ｂの処理へと戻って、新たな画像
変化に対するキーワードの抽出が行われることになる。

【００８７】このように上記実施例の画像処理装置で
は、通常の音声信号付きの映像信号から検索に必要なキ
ーワードを抽出して情報検索画面を設定し、検索を実行
するようにしているが、これに限らず、放送局や製作会
社などで、映像信号にキーワードをリンクさせた情報を
生成して、映像信号とともに送信、あるいは記録媒体に
記録してユーザに提供してもよい。この方式によれば、
ユーザ側では、受信または再生した映像信号から簡単に
情報検索画面を呼び出して、検索を実行することが可能
となる。また映像信号およびキーワードの提供者側で
は、上記した手法により、効率良くキーワードを抽出で
きる上、キーワードの設定先の修正などを簡単に行うこ
とができ、手間をかけずに付加価値の高い画像データを
提供することができる。

【００８８】なお上記実施例では、単に音声認識結果か
ら抽出した単語そのものをキーワードとして設定した
が、これに限らず、抽出された単語の同義語などをキー
ワードにしてもよい。また前記情報検索画面に、リンク
ボタンに代えて、各キーワードや演算子の選択ボタンを
設け、これら選択ボタンの操作により複数のキーワード
による演算式を設定して検索を実行できるようにすれ
ば、さらに高精度の検索を実行することができる。

【００８９】

【発明の効果】請求項１，４，７，８の発明では、時系
列画像上の特定領域における画像の変化を追跡して、こ
の領域内で所定度合いの変化が生じた時点の画像を抽出
するので、時系列画像中で何らかのイベントが発生した
時点の画像を簡単かつ効率良く抽出することが可能とな
り、イベント発生時点の画像に対し、表示、記録、また
は編集などの処理を実施することができる。

【００９０】請求項２，５，９の発明によれば、時系列
画像の変化を追跡して、所定度合いの変化が生じた画像
に対応する音声信号から、その音声の内容を示す単語を
キー情報として設定して、所定の画像上にそのキー情報
による検索用の操作領域を設定するので、一過性の音声
から検索用の適切なキー情報を取り出して、ユーザに提
示することが可能となり、種々の情報へのハイパーリン
クが可能な画像データを簡単かつ効率良く生成すること
ができる。

【００９１】さらに請求項３，６，１０の発明では、ユ
ーザが表示画面上の操作領域でキー情報を指定すること
により、そのキー情報による検索が実行されるので、テ
レビ番組やビデオの映像を視聴しながら、手軽に検索を
行って、各種の情報を簡単かつ効率よく収集することが
できる。

【図面の簡単な説明】

【図１】この発明が適用された画像処理装置の外観を示
す説明図である。

【図２】第１実施例にかかる画像処理装置の構成を示す
ブロック図である。

【図３】図２の装置のＣＰＵに設定された機能を示す機
能ブロック図である。

【図４】画像抽出領域の設定処理、およびキー画像の抽
出処理の具体例を示す説明図である。

【図５】イベント発生の判定処理の具体例を示す説明図
である。

【図６】映像信号再生装置により再生された映像信号か
らイベント発生時の画像を頭出しする際の処理手順を示
すフローチャートである。

【図７】映像信号受信装置により受信された映像信号を
イベント発生時点で表示する際の処理手順を示すフロー
チャートである。

【図８】第２の実施例にかかる画像処理装置の構成を示
すブロック図である。

【図９】図８の装置のＣＰＵに設定された機能を示す機
能ブロック図である。

【図１０】情報検索画面の設定例を示す説明図である。

【図１１】映像信号の入力から情報検索が完了するまで
の手順を示すフローチャートである。

【図１２】図１１の処理の具体例を示す説明図である。

【符号の説明】

１制御装置２表示装置６映像信号再生装置８ＣＰＵ１１ハードディスク１２映像信号受信装置１５制御部１６画像処理部１７表示制御部１８音声制御部２０画像抽出領域２１外部データベース２３音声認識部２５リンクボタン２６マウスカーソル

Claims

【特許請求の範囲】

【請求項１】時系列画像について、特定領域内におけ
る画像の変化を追跡してゆき、前記領域内で所定度合い
の変化が生じた時点の画像を抽出することを特徴とする
画像検索方法。
【請求項２】音声信号付きの時系列画像における画像
の変化を追跡してゆき、所定度合いの変化が生じた時点
での画像に対応する音声信号を認識して、その認識内容
を示す所定組の単語を検索用のキー情報として設定した
後、前記時系列画像中の所定の画像上に前記キー情報に
よる検索を実行するための操作領域を設定することを特
徴とする画像処理方法。
【請求項３】請求項２の方法により検索用の操作領域
が設定された画像を表示するとともに、表示された操作
領域でのキー情報の指定操作を受け付けて、指定された
キー情報により所定のデータベースを検索することを特
徴とする情報検索方法。
【請求項４】時系列画像を入力する手順、前記時系列画像の特定領域内における画像の変化を追跡
して、この領域内に所定度合いの変化が生じた時点での
画像を抽出する手順、の各手順を、コンピュータに実行
させるプログラムが記録された画像検索用のプログラム
の記録媒体。
【請求項５】音声信号付きの時系列画像を入力する手
順、前記時系列画像における画像の変化を追跡して、所定度
合いの変化が生じた時点での画像を抽出する手順、前記音声信号を認識する手順、前記抽出された画像に対応する音声の認識結果を用い
て、その認識内容を示す所定組の単語を検索用のキー情
報として設定する手順、前記時系列画像中の所定の画像上に、前記キー情報によ
る検索を実行するための操作領域を設定する手順、の各
手順を、コンピュータに実行させるプログラムが記録さ
れた画像処理用のプログラムの記録媒体。
【請求項６】音声信号付きの時系列画像を入力する手
順、前記時系列画像における画像の変化を追跡して、所定度
合いの変化が生じた時点での画像を抽出する手順、前記音声信号を認識する手順、前記抽出された画像に対応する音声の認識結果を用い
て、その認識内容を示す所定組の単語を検索用のキー情
報として設定する手順、前記時系列画像中の所定の画像上に、前記キー情報によ
る検索を実行するための操作領域を設定する手順、前記操作領域が設定された画像を表示装置に表示する手
順、表示された操作領域でのキー情報の指定操作を受け付け
て、そのキー情報により所定のデータベースを検索する
手順、の各手順を、コンピュータに実行させるプログラ
ムが記録された情報検索用のプログラムの記録媒体。
【請求項７】映像記録媒体の再生装置により再生され
た時系列画像用の映像信号を入力するための画像入力手
段と、入力された映像信号による時系列画像について、特定領
域内における画像の変化を追跡して、所定度合いの変化
が生じた時点での画像を抽出する抽出手段と、前記抽出された画像を出力する画像出力手段とを具備し
て成る画像処理装置。
【請求項８】時系列画像用の映像信号を受信する映像
信号受信手段と、受信された映像信号による時系列画像について、特定領
域内における画像の変化を追跡して、所定度合いの変化
が生じた時点での画像を抽出する抽出手段と、前記抽出された画像を出力する画像出力手段とを具備し
て成る画像処理装置。
【請求項９】音声信号付きの時系列画像用の映像信号
を入力する画像入力手段と、入力された映像信号による時系列画像の変化を追跡し
て、所定度合いの変化が生じた時点での画像を抽出する
抽出手段と、前記音声信号を認識するための音声認識手段と、前記抽出手段により抽出された画像に対応する音声認識
結果を用いて、その認識内容を示す所定組の単語を検索
用のキー情報として設定するとともに、前記時系列画像
中の所定の画像上に、前記キー情報による検索を実行す
るための操作領域を設定する設定手段とを具備して成る
画像処理装置。
【請求項１０】音声信号付きの時系列画像用の映像信
号を入力する画像入力手段と、入力された映像信号による時系列画像の変化を追跡し
て、所定度合いの変化が生じた時点での画像を抽出する
抽出手段と、前記音声信号を認識するための音声認識手段と、前記抽出手段により抽出された画像に対応する音声認識
結果を用いて、その認識内容を示す所定組の単語を検索
用のキー情報として設定するとともに、前記時系列画像
中の所定の画像上に、前記キー情報による検索を実行す
るための操作領域を設定する設定手段と、前記操作領域が設定された画像を表示する表示手段と、複数種の情報が格納されたデータベースと、前記表示手段上の操作領域でのキー情報の指定操作を受
け付けて、そのキー情報により前記データベースを検索
する検索手段とを具備して成る情報検索システム。