JP2003006101A - 画像認識装置および画像認識処理手順を記憶した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 キーワードをインターネットなどで検索し、
関連情報を取得する画像認識装置および画像認識処理手
順を記憶した記憶媒体を得る。 【解決手段】 画像表示装置１は、双方向通信機能を有
し画像を表示し、文字認識装置２は、画像表示装置１に
表示されている画像中の文字を認識する。この文字認識
装置２での文字認識結果に関連する情報を、双方向通信
機能を用いて検索、取得する。本構成により、ＵＲＬが
表示されていなくても、例えば「総裁選挙」というよう
な文字列がテロップとして表示されていた場合に、この
文字列を切り出し認識をし、「総裁選挙」というキーワ
ードをインターネットなどで検索し、該当データを得る
ことにより関連情報を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像認識装置およ
び画像認識処理手順を記憶した記憶媒体に関し、特に、
文字読取装置などのように、文字・図形などの画像を読
み取る画像読取装置を備えた画像認識装置および画像認
識処理手順を記憶した記憶媒体に関する。

【０００２】

【従来の技術】従来、画像認識装置および画像認識処理
手順を記憶した記憶媒体は一般に、文字・図形などの画
像を読み取る画像読取装置として構成される。例えば、
テレビ放送や、ビデオ映像、パソコンの画面などに表示
された画像や映像などの情報に含まれるテロップや情景
中の文字などの情報の、より詳細な情報を知りたい場合
に適用される。

【０００３】上記の適用において、インターネットや、
パソコンやハードディスク内蔵テレビなどのデータなど
から検索し情報を入手するためには、その文字情報を記
録または記憶し、パソコンやインターネットに接続する
ためのソフトにその文字情報をユーザが手作業で入力し
検索する必要がある。

【０００４】一方、ＵＲＬ（Uniform Resource Locato
r）が表示された場合は、ＵＲＬに含まれる文字列をあ
らかじめ予約語として登録しておき、ＵＲＬと判定され
た場合に、該当ＵＲＬにアクセスする方法が提案されて
いる。

【０００５】本発明と技術分野の類似する先願発明例１
として、特開平１０−２５７４０１号公報に開示される
「インターネットテレビ装置およびＵＲＬ情報取得方
法」がある。本先願発明例１では、ユーザが記憶または
メモすることなく、テレビ画面上に表示されたＵＲＬ情
報を正確に取り込み、取り込まれたＵＲＬ情報を用いて
インターネットアクセスを自動的に行うことができるイ
ンターネットテレビ装置を得ることを課題としている。

【０００６】また、先願発明例２の特開平１１−３４１
３７８号公報は、使い勝手の向上を図ったインターネッ
トに接続可能なテレビジョン受像機等に適用される、
「ビデオ信号処理装置及びオーディオ信号処理装置」に
関するものである。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の方法では、ＵＲＬが表示されない場合は、情報を得
ることができないという問題があった。なお、ここでの
ＵＲＬ（Uniform Resource Locator）は、インターネッ
ト上のＷＷＷのドキュメント上に付けられている固有の
アドレスである。

【０００８】本発明は、ＵＲＬが表示されていなくて
も、例えば「総裁選挙」というような文字列がテロップ
として表示されていた場合に、この文字列を切り出し、
認識をし、「総裁選挙」というキーワードをインターネ
ットなどで検索し、該当データを得ることにより関連情
報を得ることができる、画像認識装置および画像認識処
理手順を記憶した記憶媒体を提供することを目的とす
る。

【０００９】

【課題を解決するための手段】かかる目的を達成するた
め、請求項１記載の発明の画像認識装置は、双方向通信
機能を有し画像を表示する画像表示装置と、画像表示装
置に表示されている画像中の文字を認識する文字認識装
置とを有して構成され、文字認識装置での文字認識結果
に関連する情報を、双方向通信機能を用いて検索、取得
することを特徴としている。

【００１０】請求項２記載の発明の画像認識装置は、双
方向通信機能を有し画像表示する画像表示装置と、画像
表示装置に表示されている画像中の文字を認識する文字
認識装置とを有して構成され、文字認識結果からキーワ
ードを検出し、検出したキーワードに関連する情報を双
方向通信機能を用いて検索、取得することを特徴とす
る。

【００１１】請求項３記載の発明の画像認識装置は、双
方向通信機能を有し画像を表示する画像表示装置と、画
像表示装置に表示されている画像中の文字をユーザが指
定する文字指定手段と、指定された文字を認識する文字
認識装置とを有して構成され、認識された文字に関連す
る情報を、双方向通信機能を用いて検索、取得すること
を特徴とする。

【００１２】請求項４記載の発明の画像認識装置は、双
方向通信機能を有し画像を表示する画像表示装置と、画
像表示装置に表示されている画像中の文字をユーザが指
定する文字指定手段と、指定された文字を認識する文字
認識装置と、認識された文字認識結果からキーワードを
検出するキーワード検出手段とを有して構成され、キー
ワードに関連する情報を双方向通信機能を用いて検索、
取得することを特徴とする。

【００１３】請求項５の発明は、請求項１から４のいず
れか１項記載の画像認識装置において、双方向通信機能
は、画像信号を受信し、テキスト信号を送信することを
特徴とする。

【００１４】請求項６の発明は、請求項５に記載の画像
認識装置において、双方向通信機能は、送受信ともイン
ターネットを介することを特徴とする。

【００１５】請求項７の発明は、請求項５に記載の画像
認識装置において、双方向通信機能は、ビデオ映像を受
信し、インターネットを介して送信することを特徴とす
る。

【００１６】請求項８の発明は、請求項５に記載の画像
認識装置において、双方向通信機能は、テレビ放送を受
信し、インターネットを介して送信することを特徴とす
る。

【００１７】請求項９の発明は、請求項５に記載の画像
認識装置において、表示されている画像は、静止画像ま
たは動画像であることを特徴とする。

【００１８】請求項１０記載の発明の画像認識処理手順
を記憶した記憶媒体は、双方向通信機能を有し画像表示
する画像表示処理と、画像表示処理により表示されてい
る画像中の文字を認識する文字認識処理手順とを有して
構成され、文字認識処理での文字認識結果に関連する情
報を双方向通信機能を用いて検索、取得することを特徴
とする。

【００１９】請求項１１記載の発明の画像認識処理手順
を記憶した記憶媒体は、双方向通信機能を有し画像表示
する画像表示処理と、画像表示処理により表示されてい
る画像中の文字を認識する文字認識処理手順とを有して
構成され、文字認識処理の結果からキーワードを検出
し、検出したキーワードに関連する情報を双方向通信機
能を用いて検索、取得することを特徴とする。

【００２０】請求項１２記載の発明の画像認識処理手順
を記憶した記憶媒体は、双方向通信機能を有し画像表示
する画像表示処理と、画像表示処理により表示されてい
る画像中の文字をユーザが指定する文字指定処理と、指
定された文字を認識する文字認識処理手順とを有して構
成され、認識された文字に関連する情報を、双方向通信
機能を用いて検索、取得することを特徴とする。

【００２１】請求項１３記載の発明の画像認識処理手順
を記憶した記憶媒体は、双方向通信機能を有し画像表示
する画像表示処理と、画像表示処理により表示されてい
る画像中の文字をユーザが指定する文字指定処理と、指
定された文字を認識する文字認識処理と、認識された文
字認識結果からキーワードを検出するキーワード検出処
理手順とを有して構成され、キーワードに関連する情報
を双方向通信機能を用いて検索、取得することを特徴と
する。

【００２２】請求項１４の発明は、請求項１０から１３
のいずれか１項記載の画像認識処理手順を記憶した記憶
媒体において、双方向通信機能は、画像信号を受信し、
テキスト信号を送信する機能であることを特徴とする。

【００２３】請求項１５記載の発明は、請求項１４記載
の画像認識処理手順を記憶した記憶媒体において、双方
向通信機能は、送受信ともインターネットを介する機能
であることを特徴とする。

【００２４】請求項１６記載の発明は、請求項１４記載
の画像認識処理手順を記憶した記憶媒体において、双方
向通信機能は、ビデオを受信し、インターネットを介し
て送信する機能であることを特徴とする。

【００２５】請求項１７記載の発明は、請求項１４記載
の画像認識処理手順を記憶した記憶媒体において、双方
向通信機能は、テレビ放送を受信し、インターネットを
介して送信する機能であることを特徴とする。

【００２６】請求項１８記載の発明は、請求項１４記載
の画像認識処理手順を記憶した記憶媒体において、表示
されている画像は、静止画像または動画像であることを
特徴とする。

【００２７】

【発明の実施の形態】次に、添付図面を参照して本発明
による画像認識装置および画像認識処理手順を記憶した
記憶媒体の実施形態を詳細に説明する。図１から図５を
参照すると、本発明の画像認識装置および画像認識処理
手順を記憶した記憶媒体の一実施形態が示されている。
図１は、自動的に文字を抽出する場合の処理ブロック構
成図である。また、図３は、ユーザが文字を指定する場
合の処理ブロック構成図である。

【００２８】本実施形態の画像認識装置および画像認識
処理手順を記憶した記憶媒体では、画像表示装置１に入
力されるテレビ映像やビデオ映像、インターネットの画
面、パソコンからの映像信号などの様々な信号から、文
字らしい部分を文字の色情報や大きさ位置情報などか
ら、自動的にあるいはユーザがマウスやタッチパネル、
音声などのキーワード指定装置で指示をし該当画像部分
から、文字情報を文字認識装置２で切り出し文字コード
として認識する。

【００２９】文字コードの認識は、例えば、画像中の同
一色と判定される部分をグループ化し、その大きさや位
置情報から文字列候補を抽出する。

【００３０】あらかじめ用意されている文字パターンと
のマッチングを行い、文字コードの候補を取得し、あら
かじめ用意されている言語辞書とマッチングし、意味の
ある文字列（＝単語）を取り出す。

【００３１】文字コード化されたデータが、画像表示装
置１から出力され、外部に蓄積されているデータの中で
関連する情報を検索する。

【００３２】蓄積されているデータは、ローカルに貯え
られている情報でも構わないし、インターネットなど通
信回線を介して外部に貯えられているデータにアクセス
しても構わない。

【００３３】また、インターネット上の検索サイトに認
識された文字コード（キーワード）を送信し、関連情報
リストを取得しても構わない。

【００３４】＜処理の流れ（自動的に文字を抽出する場
合）＞図１は、本実施形態を適用した画像認識装置（自
動的に文字を抽出する）のブロック構成図である。図１
に示す画像認識装置は、画像表示装置１、文字認識装置
２、を有して構成される。本図１の構成に基づき、本実
施形態の処理の流れ（自動的に文字を抽出する場合）の
処理手順例を以下に示す。

【００３５】入力信号として、画像信号、テレビ映像、
ビデオ映像等の情報データを双方向通信機能を用いて取
得する。これらの情報は、例えば、インターネットを介
して取得するとよい。これらの取得された情報データを
画像表示装置１で表示させる。表示された画像を、文字
認識装置２を用いて識別し、認識する。図２に、この一
連の動作の流れを示す。なお、文字の識別、認識につい
ては後述する。

【００３６】＜処理の流れ（ユーザが文字を指定する場
合）＞図３は、本実施形態を適用した画像認識装置（認
識させる文字をユーザが指定する）のブロック構成図で
ある。図３に示す画像認識装置は、画像表示装置１、文
字認識装置２、キーワード指定装置３、を有して構成さ
れる。本図３に基づき本実施形態の処理の流れ（認識さ
せる文字をユーザが指定する場合）の処理手順例を以下
に示す。

【００３７】入力信号として、画像信号、テレビ映像、
ビデオ映像等の情報データを双方向通信機能を用いて取
得する。これらの取得された情報データを画像表示装置
１で表示させる。ユーザが該当文字をキーワード指定装
置３を用いて指定する。指定された文字の画像を、文字
認識装置２を用いて識別し、認識する。図４に、この一
連の動作の流れを示す。なお、上記同様文字の識別、認
識については後述する。

【００３８】＜文字識別・認識の流れの例＞図５に、文
字識別・認識の流れの処理手順例を示す。まず、入力デ
ータを画像表示装置で表示させる。次に、表示された画
像から同一色抽出装置によりデータを選別取得する。そ
して、取得されたデータから座標値、色情報等を取得す
る。その後、取得された座標値、色情報等のデータを文
字候補抽出装置で解析し、文字パターンとのマッチング
比較処理を行う。この比較処理により文字コード候補を
抽出する。さらに、所定の言語辞書とのマッチングによ
り、文字を特定する。その後、文字を特定し、文字列
（単語）を取得する。

【００３９】

【発明の効果】以上の説明より明らかなように、本発明
による画像認識装置および画像認識処理手順を記憶した
記憶媒体は、双方向通信機能を有し画像表示し、画像表
示処理により表示されている画像中の文字を認識し、こ
の文字認識処理での文字認識結果に関連する情報を双方
向通信機能を用いて検索、取得している。よって、キー
ワードをインターネットなどで検索し、該当データを得
ることにより関連情報を得ることができる。

【図面の簡単な説明】

【図１】本発明による画像認識装置および画像認識処理
手順を記憶した記憶媒体の実施形態（自動的に文字を抽
出する場合）のブロック構成図である。

【図２】自動的に文字を抽出する場合の動作例を示す図
である。

【図３】本発明による画像認識装置および画像認識処理
手順を記憶した記憶媒体の実施形態（抽出する文字をユ
ーザが指定する場合）のブロック構成図である。

【図４】抽出する文字をユーザが指定する場合の動作例
を示す図である。

【図５】文字の識別・認識処理の動作例を示す図であ
る。

【符号の説明】

１ 画像表示装置 ２ 文字認識装置 ３ キーワード指定装置

Claims (18)

【特許請求の範囲】
1. 【請求項１】 双方向通信機能を有し画像を表示する画
   像表示装置と、 該画像表示装置に表示されている画像中の文字を認識す
   る文字認識装置とを有して構成され、 前記文字認識装置での文字認識結果に関連する情報を、
   前記双方向通信機能を用いて検索、取得することを特徴
   とする画像認識装置。
2. 【請求項２】 双方向通信機能を有し画像表示する画像
   表示装置と、 該画像表示装置に表示されている画像中の文字を認識す
   る文字認識装置とを有して構成され、 前記文字認識結果からキーワードを検出し、該検出した
   キーワードに関連する情報を前記双方向通信機能を用い
   て検索、取得することを特徴とする画像認識装置。
3. 【請求項３】 双方向通信機能を有し画像を表示する画
   像表示装置と、 該画像表示装置に表示されている画像中の文字をユーザ
   が指定する文字指定手段と、 前記指定された文字を認識する文字認識装置とを有して
   構成され、 前記認識された文字に関連する情報を、前記双方向通信
   機能を用いて検索、取得することを特徴とする画像認識
   装置。
4. 【請求項４】 双方向通信機能を有し画像を表示する画
   像表示装置と、 該画像表示装置に表示されている画像中の文字をユーザ
   が指定する文字指定手段と、 前記指定された文字を認識する文字認識装置と、 前記認識された文字認識結果からキーワードを検出する
   キーワード検出手段とを有して構成され、 前記キーワードに関連する情報を前記双方向通信機能を
   用いて検索、取得することを特徴とする画像認識装置。
5. 【請求項５】 前記双方向通信機能は、画像信号を受信
   し、テキスト信号を送信することを特徴とする請求項１
   から４のいずれか１項記載の画像認識装置。
6. 【請求項６】 前記双方向通信機能は、送受信ともイン
   ターネットを介することを特徴とする請求項５記載の画
   像認識装置。
7. 【請求項７】 前記双方向通信機能は、ビデオ映像を受
   信し、インターネットを介して送信することを特徴とす
   る請求項５記載の画像認識装置。
8. 【請求項８】 前記双方向通信機能は、テレビ放送を受
   信し、インターネットを介して送信することを特徴とす
   る請求項５記載の画像認識装置。
9. 【請求項９】 前記表示されている画像は、静止画像ま
   たは動画像であることを特徴とする請求項５記載の画像
   認識装置。
10. 【請求項１０】 双方向通信機能を有し画像表示する画
    像表示処理と、 該画像表示処理により表示されている画像中の文字を認
    識する文字認識処理手順とを有して構成され、 前記文字認識処理での文字認識結果に関連する情報を前
    記双方向通信機能を用いて検索、取得することを特徴と
    する画像認識処理手順を記憶した記憶媒体。
11. 【請求項１１】 双方向通信機能を有し画像表示する画
    像表示処理と、 該画像表示処理により表示されている画像中の文字を認
    識する文字認識処理手順とを有して構成され、 前記文字認識処理の結果からキーワードを検出し、該検
    出したキーワードに関連する情報を前記双方向通信機能
    を用いて検索、取得することを特徴とする画像認識処理
    手順を記憶した記憶媒体。
12. 【請求項１２】 双方向通信機能を有し画像表示する画
    像表示処理と、 該画像表示処理により表示されている画像中の文字をユ
    ーザが指定する文字指定処理と、 前記指定された文字を認識する文字認識処理手順とを有
    して構成され、 前記認識された文字に関連する情報を、前記双方向通信
    機能を用いて検索、取得することを特徴とする画像認識
    処理手順を記憶した記憶媒体。
13. 【請求項１３】 双方向通信機能を有し画像表示する画
    像表示処理と、 該画像表示処理により表示されている画像中の文字をユ
    ーザが指定する文字指定処理と、 前記指定された文字を認識する文字認識処理と、 前記認識された文字認識結果からキーワードを検出する
    キーワード検出処理手順とを有して構成され、 前記キーワードに関連する情報を前記双方向通信機能を
    用いて検索、取得することを特徴とする画像認識処理手
    順を記憶した記憶媒体。
14. 【請求項１４】 前記双方向通信機能は、画像信号を受
    信し、テキスト信号を送信する機能であることを特徴と
    する請求項１０から１３のいずれか１項記載の画像認識
    処理手順を記憶した記憶媒体。
15. 【請求項１５】 前記双方向通信機能は、送受信ともイ
    ンターネットを介する機能であることを特徴とする請求
    項１４記載の画像認識処理手順を記憶した記憶媒体。
16. 【請求項１６】 前記双方向通信機能は、ビデオ映像を
    受信し、インターネットを介して送信する機能であるこ
    とを特徴とする請求項１４記載の画像認識処理手順を記
    憶した記憶媒体。
17. 【請求項１７】 前記双方向通信機能は、テレビ放送を
    受信し、インターネットを介して送信する機能であるこ
    とを特徴とする請求項１４記載の画像認識処理手順を記
    憶した記憶媒体。
18. 【請求項１８】 前記表示されている画像は、静止画像
    または動画像であることを特徴とする請求項１４記載の
    画像認識処理手順を記憶した記憶媒体。