JP2002222196A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 簡単な操作で画像中に含まれる対象の関連情
報を得る。 【解決手段】 画像処理装置は、ＬＣＤ（Liquid Cryst
al Display）などからなる表示装置１０２と、文字認識
するために画像上の位置を指定するための位置指定装置
１０６と、指定された位置を含む部分画像に含まれる文
字を認識するための文字認識装置１０７と、文字認識結
果に基づいてデータベースを検索するためのデータベー
ス検索装置１０８と、検索されたデータベースの情報を
画像とともに表示装置１０２上に表示する制御を行なう
情報表示制御装置１０９と、配信されている画像を取込
むための配信画像取込装置１１０と、デジタルカメラな
どからなる画像入力装置１１１と、画像処理装置の各構
成部を相互に接続するためのバス１１８とを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置に関
し、特に、簡単な操作で画像中に含まれる対象の関連情
報を得ることが可能な画像処理装置に関する。

【０００２】

【従来の技術】従来、動画像の特定位置をユーザが指示
することにより、指示した部分に関連する情報を取得す
る画像処理装置が知られている。特開平２０００−９０
１０７号公報には、このような動画関連情報検索システ
ムが開示されている。

【０００３】この動画関連情報検索システムでは、動画
像のある位置を指定すると、指定位置を含む画面上の部
分が切出され、その切出情報が添付されて当該部分につ
いての動画像関連情報が要求される。一方、切出しが行
なわれる部分の情報と、その部分に関連した動画像関連
情報の検索先情報とが対として記憶されている。ユーザ
が、動画像上の一部を指定すると、その画像に関連した
検索先情報が選ばれ、動画像関連情報が引き出される。

【０００４】

【発明が解決しようとする課題】しかし、従来の動画関
連情報検索システムでは、予め画像と検索先情報とを対
にして登録しておく必要があった。このため、関連付け
の処理が面倒であるという問題が生じる。

【０００５】また、動画像が動きの激しいスポーツなど
の撮影シーンの場合には、画像位置を指定したとして
も、所望の画像位置は既に移動していることもある。

【０００６】本発明は上述の課題を解決するためになさ
れたもので、その目的は、予め画像と検索先情報との関
連付けを行なう必要がなく、簡単な操作で画像の関連情
報を得ることが可能な画像処理装置を提供することであ
る。

【０００７】本発明の他の目的は、関連情報を引き出し
たい対象物が高速に移動する場合であっても、確実に画
像の関連情報を得ることができる画像処理装置を提供す
ることである。

【０００８】

【課題を解決するための手段】本発明のある局面に従う
画像処理装置は、外部より画像を取込む画像取込装置
と、画像を表示する表示装置と、画像取込装置に接続さ
れ、画像上の位置を指定する位置指定装置と、画像取込
装置および位置指定装置に接続され、位置指定装置によ
り指定された位置を含む部分画像に含まれる文字を認識
する文字認識装置と、文字認識装置に接続され、文字認
識結果に基づいてデータベースを検索するデータベース
検索装置と、データベース検索装置、画像取込装置およ
び表示装置に接続され、検索されたデータベースの情報
を画像とともに表示装置上に表示する制御を行なう情報
表示制御装置とを含む。

【０００９】たとえば、サッカーのテレビ中継を見てい
る際に、サッカー選手の背番号を指定することにより、
背番号が認識され、その選手に関する情報が取り出され
る。このため、予め画像と検索先情報との関連付けを行
なう必要がなく、簡単な操作で画像の関連情報を得るこ
とができる。

【００１０】好ましくは、画像取込装置は、配信されて
いる画像を取込む配信画像取込装置を含む。

【００１１】さらに好ましくは、画像取込装置は、カメ
ラを含む。さらに好ましくは、画像処理装置は、さら
に、接続するデータベースを切替えるデータベース切換
装置を含む。

【００１２】野球場や球技場などでスポーツを観戦して
いる場合に、興味のある選手にカメラを向け、画像を取
り込むことにより、簡単に過去の成績などの情報を入手
できる。このため、スポーツをより楽しく観戦すること
ができる。

【００１３】さらに好ましくは、画像処理装置は、さら
に、イベント開催情報を取得するためのイベント開催情
報取得装置と、イベント開催情報取得装置に接続され、
イベント開催情報に基づいて定められるデータベースに
アクセスする自動アクセス装置とを含む。

【００１４】さらに好ましくは、画像処理装置は、さら
に、画像取込装置および位置指定装置に接続され、部分
画像に含まれる色またはデザイン情報を認識する色デザ
イン認識装置を含み、データベース検索装置は、文字認
識装置および色デザイン認識装置に接続され、文字認識
結果および色デザイン認識結果に基づいてデータベース
を検索するための手段を含む。

【００１５】色またはデザイン情報を認識することによ
り、サッカーなどの対戦型スポーツのように同一の背番
号の選手が複数いるような場合であっても、選手を見分
けることができ、適切な情報を入手することができる。

【００１６】さらに好ましくは、画像処理装置は、さら
に、一定時間分の画像を蓄積する画像情報蓄積装置と、
過去の画像を文字認識装置に供給するための画像供給手
段とを含む。

【００１７】動きの激しいスポーツのシーンなどを観戦
している場合には、画像上の位置を指定しても、すでに
選手が次のポジションに移動している場合がある。この
ような場合であっても、過去に撮影された画像を使用す
ることにより、選手の背番号を認識でき、確実に関連情
報を得ることができる。

【００１８】さらに好ましくは、画像供給手段は、文字
認識結果が得られるまで、一定間隔で過去の画像を文字
認識装置に供給する。

【００１９】さらに好ましくは、画像処理装置は、さら
に、予め画像上の位置を指定する画像取込位置指定装置
を含み、文字認識装置は、画像取込装置および画像取込
位置指定装置に接続され、画像取込位置指定装置により
指定された位置を含む部分画像に含まれる文字を認識す
る。

【００２０】予め画像上の位置を指定することにより、
その位置を選手の背番号が通るたびに、選手についての
情報を得ることができる。

【００２１】本発明の他の局面に従うコンピュータ読取
可能な記録媒体は、コンピュータを画像処理装置として
動作させるプログラムを記録している。画像処理装置
は、外部より画像を取込む画像取込装置と、画像を表示
する表示装置と、画像取込装置に接続され、画像上の位
置を指定する位置指定装置と、画像取込装置および位置
指定装置に接続され、位置指定装置により指定された位
置を含む部分画像に含まれる文字を認識する文字認識装
置と、文字認識装置に接続され、文字認識結果に基づい
てデータベースを検索するデータベース検索装置と、デ
ータベース検索装置、画像取込装置および表示装置に接
続され、検索されたデータベースの情報を画像とともに
表示装置上に表示する制御を行なう情報表示制御装置と
を含む。

【００２２】たとえば、サッカーのテレビ中継を見てい
る際に、サッカー選手の背番号を指定することにより、
背番号が認識され、その選手に関する情報が取り出され
る。このため、予め画像と検索先情報との関連付けを行
なう必要がなく、簡単な操作で画像の関連情報を得るこ
とができる。

【００２３】

【発明の実施の形態】本実施の形態では、ユーザがスポ
ーツを観戦している際に、出場選手に関する情報を取得
する方法について説明する。

【００２４】図１を参照して、本発明の実施の形態にか
かる画像処理装置は、画像処理装置の全体をコントロー
ルするＣＰＵ（Central Processing Unit）１００と、
各種スイッチやキーなどからなる入力装置１０１と、Ｌ
ＣＤ（Liquid Crystal Display）などからなる表示装置
１０２と、ＲＡＭ（Random Access Memory）などからな
る記憶装置１０３と、外部機器との間で通信を行なう通
信装置１０４と、画像処理プログラムを格納した記憶媒
体１０５と、文字認識するために画像上の位置を指定す
るための位置指定装置１０６と、指定された位置を含む
部分画像に含まれる文字を認識するための文字認識装置
１０７と、文字認識結果に基づいてデータベースを検索
するためのデータベース検索装置１０８とを含む。

【００２５】画像処理装置は、さらに、検索されたデー
タベースの情報を画像とともに表示装置１０２上に表示
する制御を行なう情報表示制御装置１０９と、配信され
ている画像を取込むための配信画像取込装置１１０と、
デジタルカメラなどからなる画像入力装置１１１と、デ
ータベースを切替えるためのデータベース切替装置１１
２と、イベントの開催情報を取得するためのイベント開
催情報取得装置１１３と、自動的にふさわしいデータベ
ースにアクセスするための自動アクセス装置１１４と、
対戦型スポーツにおいて同一の背番号またはゼッケン番
号を有する選手の区別を行うために色またはデザイン情
報を認識する色デザイン情報認識装置１１５と、一定時
間分の画像情報を蓄積する画像情報蓄積装置１１６と、
表示装置１０２に表示された画像のどの位置を文字認識
対象の部分画像として取込むかを事前に指定するための
画像取込位置指定装置１１７と、画像処理装置の各構成
部を相互に接続するためのバス１１８とを含む。

【００２６】図２は画像処理装置の外観図である。画像
処理装置の表示装置１０２には、認識する部分画像の位
置を表す認識位置マーク１２０が表示されている。ま
た、入力装置１０１として、電源スイッチ１２１、認識
位置を指定するためのカーソルキー１２２、情報取得の
指示を出すための情報取得キー１２３、および表示され
ている情報を消すためのクローズキー１２４が含まれ
る。

【００２７】図３を参照して、ユーザは、画像入力装置
１１１から画像を取込むのか、配信画像取込装置１１０
より画像を取込むのか選択する（Ｓ２０１）。ユーザが
配信画像取込装置１１０より画像を取込むことを選択し
た場合には（Ｓ２０１でＮＯ）、ユーザは、受信するチ
ャンネルを選択する（Ｓ２０２）。

【００２８】たとえば、図４に示すような番組表がホス
トコンピュータ（図示せず）に記憶されており、イベン
ト開催情報取得装置１１３がこの番組表を読込み、番組
表が表示装置１０２に表示される。ユーザは、番組表の
中から希望の番組を選択する（Ｓ２０３）。

【００２９】図４を参照して、ホストコンピュータに記
憶されている番組表の一例について説明する。２０００
年１０月１０日１２時００分から「＊＊国際マラソン」
が放映され、同じ日の１５時００分から「＊＊サッカ
ー」が放映されることを示している。

【００３０】配信画像取込装置１１０は、放送されてい
る番組内容を取得する（Ｓ２０３）。また、データベー
ス切替装置１１２は、ホストコンピュータに記憶されて
いるデータベース対応表を参照して、番組内容に対応す
るデータベースを決定する（Ｓ２０４）。たとえば、図
５を参照して、「＊＊国際マラソン」の各種情報は「女
子陸上」のデータベースにあり、「＊＊サッカー」の情
報は「全日本サッカー」のデータベースにあることを、
データベース対応表は示している。

【００３１】ユーザが画像入力装置１１１より画像を取
込むことを選択した場合には（Ｓ２０１でＹＥＳ）、デ
ータベース切替装置１１２は、ユーザが現在、スポーツ
競技を観戦している競技場内に設置されたデータベース
に接続する（Ｓ２０５）。

【００３２】Ｓ２０４またはＳ２０５の後、ユーザが情
報取得キー１２３を押下するまで待機する（Ｓ２０
６）。

【００３３】情報取得キー１２３が押下されると（Ｓ２
０６でＹＥＳ）、その時点での画像が取込まれる（Ｓ２
０７）。カーソルキー１２２で指定された表示装置１０
２上の位置が取得され（Ｓ２０８）、認識位置マーク１
２０で指定された位置の部分画像内で文字認識が実行さ
れる（Ｓ２０９）。

【００３４】文字認識に失敗した場合には、（Ｓ２１０
でＮＯ）、画像情報蓄積装置１１６に蓄積されている直
前の画像（たとえば０．５秒前の画像）を取出し（Ｓ２
１１）、文字認識をやりなおすために、Ｓ２０８に戻
る。図６（Ａ）を参照して、認識位置マーク１２０で指
定された位置の部分画像内に文字が含まれない場合に
は、文字認識に失敗する。このため、図６（Ｂ）に示す
ような直前の画像を利用することにより、認識位置マー
ク１２０で指定された位置の部分画像内に文字が含ま
れ、文字認識に成功する。

【００３５】文字認識に成功した場合には（Ｓ２１０で
ＹＥＳ）、データベース検索装置１０８が、文字認識の
結果をキーワードとして現在接続されているデータベー
スを検索し（Ｓ２１２）、該当する選手の情報を取得す
る（Ｓ２１３）。たとえば、現在観戦しているスポーツ
がマラソンの場合には、図７に示すようなデータベース
が参照される。ゼッケン番号が「２」と認識された場合
には、その選手の情報として、所属「＊＊電機」、自己
ベストタイム「２：２６：２１」、成績「＊＊マラソン
準優勝」という情報が取得される。

【００３６】ただし、現在観戦しているスポーツがサッ
カーのような対戦型スポーツの場合には、図８に示すよ
うなデータベースを検索することになる。このデータベ
ースでは、同じ背番号の選手が両チームにいる場合があ
る。しかし、図９に示すようにユニホームの色や模様が
異なるため、二人の選手を色情報で判別することができ
る。具体的な処理は以下のように行なわれる。

【００３７】文字認識の結果に対応する情報がデータベ
ース内に複数あるか否かを判断し（Ｓ２１４）、複数の
情報が存在すれば（Ｓ２１４でＹＥＳ）、色デザイン情
報認識装置１１５が部分画像内の色情報を取得し（Ｓ２
１５）、色情報に基づいて、複数の情報を１つに絞り込
む（Ｓ２１６）。たとえば、背番号「２２」の選手とし
て、「田中」と「Ｅ．Ｔ」とが候補にあげられていたと
する。Ｓ２１５で取得した色情報が「青」の場合には、
２つの候補の中から「田中」が抽出される。

【００３８】Ｓ２１６の処理の後、またはデータベース
から抽出した情報が１つの場合には（Ｓ２１４でＮ
Ｏ）、図１０に示すように表示装置１０２上の所定の位
置に取得した情報を表示し（Ｓ２１７）、タイマーをス
タートさせる（Ｓ２１８）。

【００３９】ユーザが表示された情報を読み終えてクロ
ーズキー１２４を押下するか（Ｓ２１９でＹＥＳ）、設
定した時間がタイムアップすると（Ｓ２２０でＹＥ
Ｓ）、Ｓ２１７で表示された情報表示を終了させる（Ｓ
２２１）。

【００４０】次に、具体的な使用例について説明する。
スポーツ試合の主催者は、スタジアムで観戦している人
に、画像入力装置１１１（カメラ）と配信画像取込装置
１１０の付いた液晶タブレット状の端末を貸し出す。

【００４１】通常はＴＶ（television）放映されている
主催者が撮影した画像が無線又は有線で端末に転送さ
れ、表示装置１０２に表示されている。主催者側の映像
では、スロー再生画像、リプレイ再生画像や複数のカメ
ラで撮った様々なアングルでの画像を見る事ができる。
主催者側が複数のカメラで撮っている画像のいずれかを
選択的に受信できるようにしてもよい。

【００４２】主催者が撮っていない選手は自分の端末に
付いている画像入力装置１１１で映し、表示装置１０２
上に表示されたその選手の背番号をペンまたはマウス等
で指示する。指示された位置の部分画像に含まれる文字
が認識され、その部分画像に含まれる色が認識される。
文字認識結果および色認識結果に基づいて、主催者が提
供しているデータベースへのアクセスが実行される。デ
ータベースから選手の情報が取出され、表示装置１０２
上の所定位置に表示される。ユーザは、表示された選手
のプロフィール等を見て、楽しむことができる。

【００４３】表示されている情報が不要になれば、ユー
ザがクローズキー１２４を押下することにより情報の表
示がなくなる。または、一定時間経過すると自動的に情
報の表示がなくなる。

【００４４】データベースは端末側に置く構成であって
もよい。また、文字認識装置１０７はサーバ側にあって
もよい。

【００４５】認識する文字は基本的に２桁程度の数字で
ある。このため、文字認識自体は高度なものを必要とし
ない。同じ背番号がある対戦型のスポーツでもユニホー
ムの色は異なるため、簡単な色の認識で判別することが
可能である。

【００４６】複数の番組を切替えて端末の表示装置１０
２に表示する場合には、番組ごとにアクセスするデータ
ベースが自動的に切替えられるようにしてもよい。

【００４７】なお、認識位置マーク１２０の位置を表示
装置１０２の画面中央に予め固定し、表示装置１０２内
で文字が認識されるたびに、その文字に対応する情報を
データベースより読出し、表示するようにしてもよい。

【００４８】以上説明したように、本実施の形態によれ
ば、テレビでスポーツ観戦しているときに、画面に表示
されている各選手を指示することで、その選手に関する
情報をデータベースから取り出し、表示することができ
る。このため、スポーツを楽しく観戦することができ
る。

【００４９】また、野球場や球技場などでスポーツを観
戦している場合に、興味のある選手にカメラを向け、画
像を取り込むことにより、簡単に過去の成績などの情報
を入手できる。このため、スポーツをより楽しく観戦す
ることができる。

【００５０】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【００５１】

【発明の効果】簡単な操作で画像中に含まれる対象の関
連情報を得ることができる。

【図面の簡単な説明】

【図１】 本発明の実施の形態にかかる画像処理装置の
ハードウェア構成を示すブロック図である。

【図２】 画像処理装置の外観図である。

【図３】 画像処理装置の動作を示すフローチャートで
ある。

【図４】 番組表の一例を示す図である。

【図５】 データベース対応表の一例を示す図である。

【図６】 動きの速い画像の一例を示す図である。

【図７】 データベースの一例を示す図である。

【図８】 データベースの一例を示す図である。

【図９】 同じ背番号の選手が同じ画面内に存在する例
を示す図である。

【図１０】 画面上に関連情報を表示した例を示す図で
ある。

【符号の説明】

１０１ 入力装置、１０２ 表示装置、１０３ 記憶装
置、１０４ 通信装置、１０５ 記憶媒体、１０６ 位
置指定装置、１０７ 文字認識装置、１０８データベー
ス検索装置、１０９ 情報表示制御装置、１１０ 配信
画像取込装置、１１１ 画像入力装置、１１２ データ
ベース切替装置、１１３ イベント開催情報取得装置、
１１４ 自動アクセス装置、１１５ 色デザイン情報認
識装置、１１６ 画像情報蓄積装置、１１７ 画像取込
位置指定装置、１１８ バス、１２０ 認識位置マー
ク、１２１ 電源スイッチ、１２２ カーソルキー、１
２３ 情報取得キー、１２４ クローズキー。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA16 CB01 CB08 CB12 CB16 CB20 CC03 CE08 CE09 CH14 5B075 ND06 ND12 PP03 PP13 PQ02 PQ32 5L096 AA02 AA06 CA04 CA24 DA05 JA16

Claims (10)

【特許請求の範囲】
1. 【請求項１】 外部より画像を取込む画像取込装置と、 画像を表示する表示装置と、 前記画像取込装置に接続され、画像上の位置を指定する
   位置指定装置と、 前記画像取込装置および前記位置指定装置に接続され、
   前記位置指定装置により指定された位置を含む部分画像
   に含まれる文字を認識する文字認識装置と、 前記文字認識装置に接続され、文字認識結果に基づいて
   データベースを検索するデータベース検索装置と、 前記データベース検索装置、前記画像取込装置および前
   記表示装置に接続され、検索されたデータベースの情報
   を画像とともに前記表示装置上に表示する制御を行なう
   情報表示制御装置とを含む、画像処理装置。
2. 【請求項２】 前記画像取込装置は、配信されている画
   像を取込む配信画像取込装置を含む、請求項１に記載の
   画像処理装置。
3. 【請求項３】 前記画像取込装置は、カメラを含む、請
   求項１または２に記載の画像処理装置。
4. 【請求項４】 さらに、接続するデータベースを切替え
   るデータベース切換装置を含む、請求項１に記載の画像
   処理装置。
5. 【請求項５】 さらに、イベント開催情報を取得するた
   めのイベント開催情報取得装置と、 前記イベント開催情報取得装置に接続され、前記イベン
   ト開催情報に基づいて定められるデータベースにアクセ
   スする自動アクセス装置とを含む、請求項１に記載の画
   像処理装置。
6. 【請求項６】 さらに、前記画像取込装置および前記位
   置指定装置に接続され、前記部分画像に含まれる色また
   はデザイン情報を認識する色デザイン認識装置を含み、 前記データベース検索装置は、前記文字認識装置および
   前記色デザイン認識装置に接続され、文字認識結果およ
   び色デザイン認識結果に基づいてデータベースを検索す
   るための手段を含む、請求項１に記載の画像処理装置。
7. 【請求項７】 さらに、一定時間分の画像を蓄積する画
   像情報蓄積装置と、 過去の画像を前記文字認識装置に供給するための画像供
   給手段とを含む、請求項１に記載の画像処理装置。
8. 【請求項８】 前記画像供給手段は、文字認識結果が得
   られるまで、一定間隔で過去の画像を前記文字認識装置
   に供給する、請求項７に記載の画像処理装置。
9. 【請求項９】 さらに、予め画像上の位置を指定する画
   像取込位置指定装置を含み、 前記文字認識装置は、前記画像取込装置および前記画像
   取込位置指定装置に接続され、前記画像取込位置指定装
   置により指定された位置を含む部分画像に含まれる文字
   を認識する、請求項１に記載の画像処理装置。
10. 【請求項１０】 コンピュータを画像処理装置として動
    作させるプログラムを記録したコンピュータ読取可能な
    記録媒体であって、 前記画像処理装置は、 外部より画像を取込む画像取込装置と、 画像を表示する表示装置と、 前記画像取込装置に接続され、画像上の位置を指定する
    位置指定装置と、 前記画像取込装置および前記位置指定装置に接続され、
    前記位置指定装置により指定された位置を含む部分画像
    に含まれる文字を認識する文字認識装置と、 前記文字認識装置に接続され、文字認識結果に基づいて
    データベースを検索するデータベース検索装置と、 前記データベース検索装置、前記画像取込装置および前
    記表示装置に接続され、検索されたデータベースの情報
    を画像とともに前記表示装置上に表示する制御を行なう
    情報表示制御装置とを含む、コンピュータ読取可能な記
    録媒体。