JP2006031428A - 情報処理システム、情報端末装置、及び情報処理装置 - Google Patents

Abstract

【課題】画像などから使用者が希望する情報を煩雑な操作無く抽出したり、また、抽出
した情報を使用者へ提供することのできる情報処理システムを提供すること。
【解決手段】オーディオ装置１に、使用者からの所定の操作を受けて、操作時に再生さ
れていた画像データを取得する取得手段と、取得された画像データを通信手段を用いて、
サーバー４へ送信する送信手段とを装備し、サーバー４に、オーディオ装置１から送信さ
れてきた画像データに対して画像認識処理を施す画像認識手段と、画像認識処理により抽
出された情報又はその情報に関連する情報を通信手段を用いて、オーディオ装置１へ送信
する送信手段とを装備する。
【選択図】 図１

Description

本発明は情報処理システム、情報端末装置、及び情報処理装置に関し、より詳細には、
テレビ視聴者やラジオ聴取者の要求に応えるための情報処理システム、情報端末装置、及
び情報処理装置に関する。

テレビ画面には、放送されている番組や該番組内で紹介されている店などの情報が保存
されている場所を示したＵＲＬ（Uniform Resource Locator）や電子メールアドレス、電
話番号、住所などが表示されることがある。使用者はＷＷＷブラウザから（サーバー名、
ポート番号、フォルダ名、ファイル名などで示された）ＵＲＬを入力すると、指定された
ＷＷＷサーバーから、ＨＴＭＬで記述されたデータなどが転送され、ディスプレイ上にＷ
ｅｂページが表示される。

テレビ画面に表示されているＵＲＬや電子メールアドレスなどを記憶することは容易で
はない。そのため、ＵＲＬや電子メールアドレスのメモ取りなどの作業が必要になる。と
ころが、メモ取りなどの作業は煩わしい。また、メモ取りをしても誤記してしまうことも
ある。ＵＲＬや電子メールアドレスなどの入力作業も面倒であり、また、誤入力してしま
うこともある。特に、車中において、これら作業を行うことは非常に煩わしい。

このような問題を解決するものとして、下記の特許文献１には、放送により提供される
画像データからＵＲＬや電話番号を認識する文字認識手段や、放送により提供される音声
データからＵＲＬや電話番号を認識する音声認識手段を備え、これら認識手段により識別
されたＵＲＬをＷＷＷブラウザで使用できるようにしたり、電話番号にオートダイヤルで
きるようにした装置が記載されている。

しかしながら、画像データから所望の文字を認識する装置や、音声データから所望の内
容を認識する装置は決して安価ではなく、また、これら認識処理の負荷も決して小さくは
ない。従って、特許文献１に記載された装置は非常に高価なものとなり、また、処理能力
についても高くする必要があるため、あまり現実的とは言えない。

また、テレビを視ているときに、今映っているタレントは誰だろうとか、今映っている
物は何だろうとか、今映っている場所はどこだろうと思ったり、そのタレントや物、場所
のことをもっと知りたいと思うことはよくあるものと思われる。同様に、ラジオを聴いて
いるとき、今流れている音楽は何だろうとか、今紹介されている物は何だろうと思うこと
もよくあるものと思われる。
しかしながら、テレビ視聴者やラジオ聴取者のこれら要求に応えることのできる発明は
これまでになかった。
特開２００２−１０８８８９号公報

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、画像や音声から使用者が希望する情報
を煩雑な操作無く抽出したり、また、抽出した情報を使用者へ提供することのできる情報
処理システム、情報端末装置、及び情報処理装置を提供することを目的としている。

上記目的を達成するために本発明に係る情報処理システム（１）は、画像データを再生
する再生機能と通信機能とを有した情報端末装置と、通信機能を有した情報提供装置とを
含んで構成される情報処理システムにおいて、前記情報端末装置が、使用者からの所定の
操作を受けて、操作時に再生されていた画像データを取得する第１の取得手段と、該第１
の取得手段により取得された画像データを第１の通信手段を用いて、前記情報提供装置へ
送信する第１の送信手段とを備え、前記情報提供装置が、前記情報端末装置から送信され
てきた画像データに対して画像認識処理を施す第１の画像認識手段と、前記画像認識処理
により抽出された情報又は該情報に関連する情報を第２の通信手段を用いて、前記情報端
末装置へ送信する第２の送信手段とを備えていることを特徴としている。

上記情報処理システム（１）によれば、使用者が視ていた画像に含まれる情報（例えば
、ＵＲＬなどの文字列や、有名人）、又は前記情報に関連する情報（例えば、ＵＲＬその
ものや、該当するＵＲＬに保存されている情報、有名人のプロフィール情報など）を使用
者へ提供することができる。また、使用者は前記所定の操作（例えば、ボタンスイッチの
押下といった単純な操作）を行うだけで良いので、使用者による煩雑な操作無く、使用者
が視ていた画像に含まれる情報又は該情報に関連する情報を使用者へ提供することができ
る。

また、画像に含まれる情報を抽出する処理（すなわち、画像データから所望の文字列な
どを認識する処理）は、前記情報端末装置側ではなく、前記情報提供装置側で行うように
構成されているので、使用者が操作する側の装置（前記情報端末装置）のコストアップを
抑えることができる。

また、本発明に係る情報処理システム（２）は、音声データを再生する再生機能と通信
機能とを有した情報端末装置と、通信機能を有した情報提供装置とを含んで構成される情
報処理システムにおいて、前記情報端末装置が、使用者からの所定の操作を受けて、操作
時前後、所定の期間に再生された音声データを取得する第２の取得手段と、該第２の取得
手段により取得された音声データを第３の通信手段を用いて、前記情報提供装置へ送信す
る第３の送信手段とを備え、前記情報提供装置が、前記情報端末装置から送信されてきた
音声データに対して音声認識処理を施す第１の音声認識手段と、前記音声認識処理により
抽出された情報又は該情報に関連する情報を第４の通信手段を用いて、前記情報端末装置
へ送信する第４の送信手段とを備えていることを特徴としている。

上記情報処理システム（２）によれば、使用者が聴いていた音声に含まれる情報（例え
ば、ＵＲＬや、有名人の名前などの文字列）、又は前記情報に関連する情報（例えば、Ｕ
ＲＬそのものや、該当するＵＲＬに保存されている情報、有名人のプロフィール情報など
）を使用者へ提供することができる。また、使用者は前記所定の操作（例えば、ボタンス
イッチの押下といった単純な操作）を行うだけで良いので、使用者による煩雑な操作無く
、使用者が聴いていた音声に含まれる情報又は該情報に関連する情報を使用者へ提供する
ことができる。

また、音声に含まれる情報を抽出する処理（すなわち、音声データから所望の文字列な
どを認識する処理）は、前記情報端末装置側ではなく、前記情報提供装置側で行うように
構成されているので、使用者が操作する側の装置（前記情報端末装置）のコストアップを
抑えることができる。

また、本発明に係る情報処理システム（３）は、上記情報処理システム（１）又は（２
）において、前記情報端末装置が、前記第１の取得手段又は前記第２の取得手段により取
得された画像データ又は音声データに圧縮処理を施す圧縮手段を備えると共に、前記第１
の送信手段又は前記第３の送信手段が、前記圧縮処理により得られた圧縮データを前記第
１の通信手段又は前記第３の通信手段を用いて、前記情報提供装置へ送信するものであり
、前記情報提供装置が、前記情報端末装置から送信されてきた圧縮データを復元する復元
手段を備えると共に、前記第１の画像認識手段又は前記第１の音声認識手段が、前記復元
手段により復元された画像データ又は音声データに対して、画像認識処理又は音声認識処
理を行うものであることを特徴としている。

上記情報処理システム（３）によれば、前記情報端末装置から前記情報提供装置へ送信
されるデータは圧縮処理が施されたものであるため、通信データ量を少なくすることがで
きる。これにより、通信速度を上げることや、通信コストを抑えることができる。

また、本発明に係る情報処理システム（４）は、上記情報処理システム（１）〜（３）
のいずれかにおいて、前記画像認識処理又は前記音声認識処理により抽出される情報がＵ
ＲＬ、電子メールアドレス、電話番号、及び住所のいずれかの文字列であることを特徴と
している。

上記情報処理システム（４）によれば、使用者は画像又は音声に含まれている文字列の
メモ取りなどの作業をしなくても、前記所定の操作（例えば、ボタンスイッチの押下）と
いった、単純な操作を行うだけで、画像又は音声に含まれているＵＲＬ、電子メールアド
レス、電話番号、住所や、これらに関連する情報を取得することができる。従って、テレ
ビやラジオで紹介されたＵＲＬに保存されているＷｅｂページをディスプレイに表示させ
たり、テレビやラジオで紹介された電子メールアドレスへ電子メールを送ったり、テレビ
やラジオで紹介された電話番号にダイヤルアップをしたり、テレビやラジオで紹介された
住所へ手紙や葉書を出すことができる。

また、本発明に係る情報処理システム（５）は、上記情報処理システム（１）〜（３）
のいずれかにおいて、前記画像認識処理又は前記音声認識処理により抽出される情報が人
物、物、場所のいずれかであることを特徴としている。

上記情報処理システム（５）によれば、画像又は音声に含まれている人物、物、場所や
これらに関連する情報を使用者へ提供することができる。例えば、放送番組に出演してい
る有名人、放送番組で紹介された商品や場所、ＣＭ中に宣伝された商品などに関連する情
報を使用者へ提供することができる。

また、本発明に係る情報処理システム（６）は、上記情報処理システム（５）において
、前記画像認識処理又は前記音声認識処理により抽出される情報が人物であり、前記画像
認識処理又は前記音声認識処理により抽出された人物のプロフィール情報を取得する第３
の取得手段を備え、前記第２の送信手段又は前記第４の送信手段が、前記第３の取得手段
により取得された情報を、前記画像認識処理又は前記音声認識処理により抽出された情報
に関連する情報として、前記第２の通信手段を用いて、前記情報端末装置へ送信するもの
であることを特徴としている。

上記情報処理システム（６）によれば、人物のプロフィール情報を使用者へ提供するこ
とができる。例えば、テレビ画面に映っている俳優やスポーツ選手などのプロフィール情
報を使用者へ提供することができる。

また、本発明に係る情報処理システム（７）は、上記情報処理システム（５）において
、前記画像認識処理又は前記音声認識処理により抽出される情報が商品であり、前記画像
認識処理又は前記音声認識処理により抽出された商品の詳細な情報を取得する第４の取得
手段を備え、前記第２の送信手段又は前記第４の送信手段が、前記第４の取得手段により
取得された情報を、前記画像認識処理又は前記音声認識処理により抽出された情報に関連
する情報として、前記第２の通信手段を用いて、前記情報端末装置へ送信するものである
ことを特徴としている。

上記情報処理システム（７）によれば、商品の詳細な情報（例えば、商品名、値段など
）を使用者へ提供することができる。例えば、放送番組で紹介された商品やＣＭ中に宣伝
された商品の詳細な情報を使用者へ提供することができる。

また、本発明に係る情報処理システム（８）は、上記情報処理システム（７）において
、前記第２の送信手段又は前記第４の送信手段により送信されるものが、商品の詳細な情
報を含んだページのデータであり、前記ページには商品を注文し得るページがリンクされ
、前記情報端末装置が、前記情報提供装置から送信されてくるページデータに基づいて、
商品の詳細な情報を含んだページを表示する表示手段を備えていることを特徴としている
。

上記情報処理システム（８）によれば、使用者はテレビやラジオなどで紹介された商品
の注文を簡単に行うことができるので、前記商品を載せたＷｅｂページをいちいち探さな
くてよくなる。

また、本発明に係る情報処理システム（９）は、上記情報処理システム（１）〜（８）
のいずれかにおいて、前記情報端末装置が、使用者が操作し得る操作手段から得られる情
報に基づいて、前記画像認識処理又は前記音声認識処理により抽出される対象を指定する
指定手段と、該指定手段により指定された対象を示したデータを前記第１の通信手段又は
前記第３の通信手段を用いて、前記情報提供装置へ送信する第５の送信手段とを備え、前
記第１の画像認識手段又は前記第１の音声認識手段が、前記情報端末装置から送信されて
きた前記対象を示したデータに基づいて、制限された範囲内で画像認識処理又は音声認識
処理を行うものであることを特徴としている。

上記情報処理システム（９）によれば、制限された範囲内で画像認識処理又は音声認識
処理が行われるので、画像認識又は音声認識の精度を高めることができる。例えば、画像
から人物を抽出する場合、男性、女性のいずれかに制限すれば、例えば、パターンマッチ
ング処理の負荷を軽減することができる。

また、本発明に係る情報処理システム（１０）は、上記情報処理システム（１）〜（９
）のいずれかにおいて、前記情報端末装置で再生される画像データ又は音声データは、テ
レビやラジオなどの放送により提供されるものであり、前記情報端末装置が、使用者によ
り前記所定の操作が行われた時点で再生されている放送番組を特定するための特定条件に
関する情報を前記第１の通信手段又は前記第３の通信手段を用いて、前記情報提供装置へ
送信する第６の送信手段を備え、前記情報提供装置が、前記情報端末装置から送信されて
きた特定条件に関する情報に基づいて、前記所定の操作が行われた時点で使用者が視聴又
は聴取していた放送番組を特定する番組特定手段と、該番組特定手段により特定された放
送番組に関する情報を取得する第５の取得手段とを備えると共に、前記第１の画像認識手
段又は前記第１の音声認識手段が、前記第５の取得手段により取得された放送番組に関す
る情報に基づいて、画像認識処理又は音声認識処理を行うものであることを特徴としてい
る。

上記情報処理システム（１０）によれば、使用者により前記所定の操作が行われた時点
で再生されていた放送番組を特定するための特定条件に関する情報（例えば、時刻情報、
チャンネル情報、地域情報）に基づいて、前記所定の操作が行われた時点で再生されてい
た放送番組（すなわち、前記所定の操作が行われた時点で、使用者が視聴又は聴取してい
た放送番組）が特定される。

これにより、例えば、パターンマッチングすべき候補を大幅に少なくすることができる
ので、画像認識又は音声認識の精度を高めることができる。例えば、画像から人物を抽出
する場合、パターンマッチングすべき候補を、使用者が視聴していた放送番組に出演にし
ている人物に限定することができる。

また、本発明に係る情報処理システム（１１）は、上記情報処理システム（１０）にお
いて、前記第５の取得手段により取得される放送番組に関する情報に、放送番組に登場す
る人物、放送番組で紹介される物、放送番組で紹介される場所のいずれかが含まれている
ことを特徴としている。

上記情報処理システム（１１）によれば、使用者が視聴又は聴取していた放送番組に登
場する人物、使用者が視聴又は聴取していた放送番組で紹介される物や場所を特定するこ
とができるので、画像又は音声に含まれている人物、物、場所の認識精度を高めることが
できる。

また、本発明に係る情報処理システム（１２）は、音声データを再生する再生機能と通
信機能とを有した情報端末装置と、通信機能を有した情報提供装置とを含んで構成される
情報処理システムにおいて、前記情報端末装置が、使用者からの所定の操作を受けて、操
作時前後、所定の期間に再生された音声データを取得する第６の取得手段と、該第６の取
得手段により取得された音声データを第５の通信手段を用いて、前記情報提供装置へ送信
する第５の送信手段とを備え、前記情報提供装置が、前記情報端末装置から送信されてき
た音声データに基づいて、使用者の操作時前後に再生されていた楽曲を特定する楽曲特定
手段と、該楽曲特定手段により特定された楽曲に関連する情報を取得する第７の取得手段
と、該第７の取得手段により取得された情報を第６の通信手段を用いて、前記情報端末装
置へ送信する第６の送信手段とを備えていることを特徴としている。

上記情報処理システム（１２）によれば、使用者の操作時前後に再生されていた楽曲に
関連する情報（例えば、曲名、アーティスト名、ジャンル名、当該楽曲が収録されている
ＣＤのタイトル名、当該ＣＤの発売日）を使用者へ提供することができる。また、使用者
は前記所定の操作（例えば、ボタンスイッチの押下といった単純な操作）を行うだけで良
いので、使用者による煩雑な操作無く、使用者が聴いていた楽曲に関連する情報を使用者
へ提供することができる。
また、楽曲の特定処理（すなわち、音声データから楽曲を認識する処理）は、前記情報
端末装置側ではなく、前記情報提供装置側で行うように構成されているので、使用者が操
作する側の装置（前記情報端末装置）のコストアップを抑えることができる。

また、本発明に係る情報端末装置（１）は、上記情報処理システム（１）〜（１２）の
いずれかを構成するものであることを特徴としている。
上記情報端末装置（１）によれば、画像又は音声に含まれる情報を抽出する処理（すな
わち、画像データ又は音声データから所望の文字列などを認識する処理）を行う必要がな
いので、コストアップを抑えることができる。

また、本発明に係る情報処理装置（１）は、画像データを再生する再生機能を有した情
報処理装置において、使用者からの所定の操作を受けて、操作時に再生されていた画像デ
ータを取得する第８の取得手段と、該第８の取得手段により取得された画像データに対し
て画像認識処理を施す第２の画像認識手段と、前記画像認識処理により抽出された情報又
は該情報に関連する情報を使用者へ提供する第１の提供手段とを備えると共に、前記画像
認識処理により抽出される情報が人物、物、場所のいずれかであることを特徴としている
。

上記情報処理装置（１）によれば、使用者が視ていた画像に含まれる情報（例えば、Ｕ
ＲＬなどの文字列や、有名人）、又は前記情報に関連する情報（例えば、ＵＲＬそのもの
や、該当するＵＲＬに保存されている情報、有名人のプロフィール情報など）を使用者へ
提供することができる。また、使用者は前記所定の操作（例えば、ボタンスイッチの押下
といった単純な操作）を行うだけで良いので、使用者による煩雑な操作無く、使用者が視
ていた画像に含まれる情報又は該情報に関連する情報を使用者へ提供することができる。

また、本発明に係る情報処理装置（２）は、音声データを再生する再生機能を有した情
報処理装置において、使用者からの所定の操作を受けて、操作時前後、所定の期間に再生
された音声データを取得する第９の取得手段と、該第９の取得手段により取得された音声
データに対して音声認識処理を施す第２の音声認識手段と、前記音声認識処理により抽出
された情報又は該情報に関連する情報を使用者へ提供する第２の提供手段とを備えると共
に、前記音声認識処理により抽出される情報が人物、物、場所のいずれかであることを特
徴としている。

上記情報処理装置（２）によれば、使用者が聴いていた音声に含まれる情報（例えば、
ＵＲＬや、有名人の名前などの文字列）、又は前記情報に関連する情報（例えば、ＵＲＬ
そのものや、該当するＵＲＬに保存されている情報、有名人のプロフィール情報など）を
使用者へ提供することができる。また、使用者は前記所定の操作（例えば、ボタンスイッ
チの押下といった単純な操作）を行うだけで良いので、使用者による煩雑な操作無く、使
用者が聴いていた音声に含まれる情報又は該情報に関連する情報を使用者へ提供すること
ができる。

以下、本発明に係る情報処理システム、情報端末装置、及び情報処理装置の実施の形態
を図面に基づいて説明する。図１は、実施の形態（１）に係る情報処理システム、及び情
報端末装置の要部を概略的に示したブロック図である。

図中１は、車両Ｃに搭載されるオーディオ装置（本発明に係る情報端末装置に対応）を
示し、オーディオ装置１には携帯電話などの移動体通信装置（図示せず）が接続されてお
り、その移動体通信装置を使って、例えば、基地局２及びネットワーク３を介して、サー
ビスセンターＳに設置されているサーバー４との間でデータのやり取りを行うことができ
るようになっている。

図２は、オーディオ装置１の要部を概略的に示したブロック図である。オーディオ装置
１はＣＰＵを有した制御部１１と、アンテナ１２に接続される、テレビ放送を受信するた
めのチューナ１３と、画像を表示するための表示部１４と、操作部１５とを含んで構成さ
れている。操作部１５には再生されている画像データ（すなわち、表示部１４に表示され
ている画像データ）の取得を使用者が指示するための画像取得スイッチ１６が設けられて
いる。

制御部１１にはモデム１７が接続されており、モデム１７を通じて携帯電話などの移動
体通信装置１８を制御することによって、ネットワーク３（図１参照）を介してサーバー
４（図１参照）などとの間でデータのやり取りを行うことができるようになっている。ま
た、制御部１１はＨＴＭＬで記述されたデータを解析して、Ｗｅｂページを表示部１４に
表示するブラウザ手段１１ａを含んで構成されている。

図３は、サーバー４の要部を概略的に示したブロック図である。サーバー４はＣＰＵを
有した制御部２１と、ネットワーク３を介してオーディオ装置１などとの間でデータのや
り取りを行うための通信部２２と、有名人の画像データが記憶された画像記憶部２３と、
有名人のプロフィール情報が記憶されたプロフィール記憶部２４とを含んで構成されてい
る。また、制御部２１は画像の認識処理を行う画像認識手段２１ａを含んで構成されてい
る。

次に、オーディオ装置１の制御部１１とサーバー４の制御部２１で行われる処理動作［
１］を図４に示したフローチャートに基づいて説明する。なお、この処理動作［１］はチ
ューナ１３でテレビ放送が受信され、表示部１４にテレビ画面が表示されているときに、
使用者により画像取得スイッチ１６が押下された場合に行われる動作である。

画像取得スイッチ１６が押下されると、制御部１１（オーディオ装置１）は、再生され
ている画像データを取得し（ステップＳ１）、取得した画像データに圧縮処理を施し（ス
テップＳ２）、前記圧縮処理により得られた圧縮データを移動体通信装置１８を用いてサ
ーバー４へ送信する（ステップＳ３）。

制御部２１（サーバー４）は、オーディオ装置１から送信されてきた圧縮データを受信
すると（ステップＴ１）、受信した圧縮データを復元し（ステップＴ２）、復元した画像
データに対して画像認識処理を施して画像に映っている有名人を決定し（ステップＴ３）
、決定した有名人のプロフィール情報をプロフィール記憶部２４から読み出し（ステップ
Ｔ４）、読み出したプロフィール情報を通信部２２を用いて、オーディオ装置１へ送信す
る（ステップＴ５）。

画像認識処理の一例について簡単に説明する。
１．ある種の特徴を抽出する処理を行う。ここでは、人物の特徴を有したものを抽出す
る。
２．抽出した特徴と、画像記憶部２３に記憶されている有名人の画像データとに基づい
て、パターンマッチング処理を行うことによって、画像に映っている人物がどの有名人に
該当するのかを決定する。

なお、別の実施の形態に係る情報処理システムでは、例えば、表示部１４に表示される
操作画面などを通じて、使用者が抽出対象を指定することができようにし、指定された抽
出対象を示したデータをオーディオ装置１からサーバー４へ送信し、サーバー４で前記抽
出対象を示したデータに基づいて（すなわち、抽出対象を限定して）、パターンマッチン
グ処理を行わせるようにしても良い。

抽出対象の指定としては、例えば、俳優、芸人、アナウンサー、スポーツ選手、政治家
などの職種指定や、性別指定、年齢層指定などが挙げられる。抽出対象を指定すれば、パ
ターンマッチング処理すべき候補が少なくなるため、認識処理の負荷を軽減することがで
きる。また、一つ一つの認識処理にかける時間を長くすることができるので、認識精度を
高めることもできる。なお、これを実現するには、例えば、各有名人の画像データに対応
づけて、有名人それぞれの職種や性別、年齢に関するデータを画像記憶部２３に記憶させ
ておけば良い。

制御部１１（オーディオ装置１）は、サーバー４から送信されてきたプロフィール情報
を受信すると（ステップＳ４）、受信したプロフィール情報を表示部１４に表示すること
によって、表示部１４に映っていた有名人のプロフィール情報を使用者へ提供する（ステ
ップＳ５）。

上記実施の形態（１）に係る情報処理システムによれば、使用者が視ていた画像に映っ
ている有名人のプロフィール情報を使用者へ提供することができる。また、使用者は画像
取得スイッチ１６の押下、といった単純な操作を行うだけで良いので、使用者による煩雑
な操作無く、使用者が視ていた画像に映っている有名人のプロフィール情報を使用者へ提
供することができる。
また、画像に映っている有名人を抽出する処理はオーディオ装置１側ではなく、サーバ
ー４側で行うように構成されているので、使用者が購入しなければならないオーディオ装
置１のコストアップを抑えることができる。

次に、実施の形態（２）に係る情報処理システムについて説明する。但し、実施の形態
（２）に係る情報処理システムは、ナビゲーション装置１とサーバー４を除き、図１に示
した情報処理システムと同様であるので、ナビゲーション装置とサーバーには異なる符号
を付し、その他の説明を省略する。

図中１Ａは、車両Ｃに搭載されるオーディオ装置（本発明に係る情報端末装置に対応）
を示し、オーディオ装置１Ａには携帯電話などの移動体通信装置（図示せず）が接続され
ており、その移動体通信装置を使って、例えば、基地局２及びネットワーク３を介して、
サービスセンターＳに設置されているサーバー４Ａとの間でデータのやり取りを行うこと
ができるようになっている。

図５は、オーディオ装置１Ａの要部を概略的に示したブロック図である。オーディオ装
置１ＡはＣＰＵを有した制御部１１Ａと、アンテナ１２に接続される、テレビ放送を受信
するためのチューナ１３と、画像を表示するための表示部１４と、操作部１５とを含んで
構成されている。操作部１５には再生されている画像データ（すなわち、表示部１４に表
示されている画像データ）の取得を使用者が指示するための画像取得スイッチ１６が設け
られている。

制御部１１Ａにはモデム１７が接続されており、モデム１７を通じて移動体通信装置１
８を制御することによって、ネットワーク３（図１参照）を介してサーバー４（図１参照
）などとの間でデータのやり取りを行うことができるようになっている。また、制御部１
１Ａはブラウザ手段１１ａを含んで構成されている。ＧＰＳ受信機３１はアンテナ３２を
介して衛星からのＧＰＳ信号を受信するものであり、制御部１１Ａに接続されており、制
御部１１Ａは車両Ｃの位置情報を取得することができるようになっている。

図６は、サーバー４Ａの要部を概略的に示したブロック図である。サーバー４ＡはＣＰ
Ｕを有した制御部２１Ａと、ネットワーク３を介してオーディオ装置１Ａなどとの間でデ
ータのやり取りを行うための通信部２２と、有名人の画像データが記憶された画像記憶部
２３と、有名人のプロフィール情報が記憶されたプロフィール記憶部２４と、受信地域と
受信チャンネルとに対応づけられて、放送局データが記憶された放送局記憶部３３と、各
放送局から放送される放送番組の内容（ここでは、番組への登場人物）について、放送時
刻と共に記憶された番組内容記憶部３４とを含んで構成されている。また、制御部２１Ａ
は画像の認識処理を行う画像認識手段２１ａを含んで構成されている。図７は、放送局記
憶部３３に記憶されているデータの一例を示した図であり、図８は、番組内容記憶部３４
に記憶されているデータの一例を示した図である。

次に、オーディオ装置１Ａの制御部１１Ａとサーバー４Ａの制御部２１Ａで行われる処
理動作［２］を図９に示したフローチャートに基づいて説明する。なお、この処理動作［
２］はチューナ１３でテレビ放送が受信され、表示部１４にテレビ画面が表示されている
ときに、使用者により画像取得スイッチ１６が押下された場合に行われる動作である。

画像取得スイッチ１６が押下されると、制御部１１Ａ（オーディオ装置１Ａ）は、再生
されている画像データを取得し（ステップＳ１１）、取得した画像データに圧縮処理を施
す（ステップＳ１２）。次に、放送番組を特定するための特定条件に関する情報（車両Ｃ
の位置情報、受信中のチャンネル情報、現在時刻情報）を取得し（ステップＳ１３）、前
記圧縮処理により得られた圧縮データと前記特定条件に関する情報とを移動体通信装置１
８を用いてサーバー４Ａへ送信する（ステップＳ１４）。なお、車両Ｃの位置情報につい
てはＧＰＳ信号から得られる。

制御部２１Ａ（サーバー４Ａ）は、オーディオ装置１Ａから送信されてきた圧縮データ
と前記特定条件に関する情報とを受信すると（ステップＴ１１）、受信した圧縮データを
復元し（ステップＴ１２）、次に、受信した前記特定条件に関する情報（車両Ｃの位置情
報及びチャンネル情報）と、放送局記憶部３３に記憶されているデータとに基づいて、使
用者が視聴していた放送局を特定し（ステップＴ１３）、その後、受信した前記特定条件
に関する情報（時刻情報）と、番組内容記憶部３４に記憶されているデータとに基づいて
、使用者が視聴していた放送番組を特定し（ステップＴ１４）、番組内容記憶部３４に記
憶されている放送番組に関する情報（ここでは、番組に登場する人物であり、例えば、ド
ラマであれば出演者）に基づいて、マッチング処理すべき候補を特定する（ステップＴ１
５）。例えば、マッチング処理すべき候補を番組に登場する人物に限定する。これにより
、画像認識処理の負荷を大幅に軽減することができる。

次に、復元した画像データに対して画像認識処理を施して画像に映っている有名人を決
定し（ステップＴ１６）、決定した有名人のプロフィール情報をプロフィール記憶部２４
から読み出し（ステップＴ１７）、読み出したプロフィール情報を通信部２２を用いて、
オーディオ装置１Ａへ送信する（ステップＴ１８）。

なお、別の実施の形態に係る情報処理システムでは、例えば、表示部１４に表示される
操作画面などを通じて、使用者が抽出対象を指定することができるようにし、指定された
抽出対象を示したデータをオーディオ装置１Ａからサーバー４Ａへ送信し、サーバー４Ａ
で前記抽出対象を示したデータに基づいて（すなわち、抽出対象を限定して）、パターン
マッチング処理を行わせるようにしても良い。

抽出対象の指定としては、例えば、俳優、芸人、アナウンサー、スポーツ選手、政治家
などの職種指定や、性別指定、年齢層指定などが挙げられる。抽出対象を指定すれば、パ
ターンマッチング処理すべき候補が少なくなるため、認識処理の負荷を軽減することがで
きる。また、一つ一つの認識処理にかける時間を長くすることができるので、認識精度を
高めることもできる。

制御部１１Ａ（オーディオ装置１Ａ）は、サーバー４Ａから送信されてきたプロフィー
ル情報を受信すると（ステップＳ１５）、受信したプロフィール情報を表示部１４に表示
することによって、表示部１４に映っていた有名人のプロフィール情報を使用者へ提供す
る（ステップＳ１６）。

上記実施の形態（２）に係る情報処理システムによれば、使用者が視ていた画像に映っ
ている有名人のプロフィール情報を使用者へ提供することができる。また、使用者は画像
取得スイッチ１６の押下、といった単純な操作を行うだけで良いので、使用者による煩雑
な操作無く、使用者が視ていた画像に映っている有名人のプロフィール情報を使用者へ提
供することができる。

また、画像に映っている有名人を抽出する処理はオーディオ装置１Ａ側ではなく、サー
バー４Ａ側で行うように構成されているので、使用者が購入しなければならないオーディ
オ装置１Ａのコストアップを抑えることができる。また、使用者が視聴していた放送番組
を特定し、マッチング処理すべき候補を番組に登場する人物などに限定するので、画像認
識処理の負荷を大幅に軽減することができる。

なお、上記実施の形態（１）又は（２）に係る情報処理システムでは、テレビ画面から
人物を抽出する場合について説明しているが、本発明はテレビ画面から人物を抽出するこ
とに限定されるものではなく、別の実施の形態に係る情報処理システムでは、テレビ画面
に映っている商品などの物や、観光地などの場所を抽出するようにして、商品や観光地の
詳細な情報を使用者へ提供するようにしても良い。

また、商品や観光地などの詳細な情報を使用者へ提供する方法としては、例えば、商品
や観光地の紹介されたＷｅｂページが保存されているＵＲＬを提供するようにしたり、Ｈ
ＴＭＬで記述された、商品や観光地を紹介したＷｅｂページを使用者へ提供するといった
方法が挙げられる。また、これらＷｅｂページに商品を注文し得るページをリンクさせて
おけば、使用者は気に入った商品の注文をすぐに実行することができるようになる。

また、さらに別の実施の形態に係る情報処理システムでは、テレビ画面に映っている人
物や物、場所ではなく、テレビ画面からＵＲＬや電子メールアドレス、電話番号、住所な
どの文字列を抽出するようにして、ＵＲＬや電子メールアドレス、電話番号、住所そのも
のを使用者へ提供するようにしても良い。

また、これら情報が使用者へ提供された場合、使用者の指示に従って、例えば、提供さ
れたＵＲＬに保存されているＷｅｂページを表示させるようにしたり、電子メールの宛先
を提供された電子メールアドレスにしたり、提供された電話番号にダイヤルアップしたり
、提供された住所に関する情報をナビゲーション装置へ送信して目的地に設定するように
しても良い。

なお、これら文字列を効率良く、また精度良く抽出するには、例えば、「http:// 」で
始まる文字列（ＵＲＬ）を抽出したり、１０桁からなる数字の列（電話番号）を抽出する
ようにし、使用される文字の制限を利用したり、それぞれの文字列の特徴を利用するよう
にすれば良い。

また、ここまでテレビ画面のように画像から情報を抽出する場合について説明している
が、本発明は画像から情報を抽出する場合に限定されるものではなく、別の実施の形態に
係る情報処理システムでは、ラジオ放送（もちろんテレビ放送も可能）などの音声から情
報（例えば、人物名、商品名、地名、場所名、ＵＲＬ、電子メールアドレス、電話番号、
住所）を抽出するようにしても良い。

音声データについては、使用者から指示があってから取得を開始したのでは、情報の抽
出に十分なデータが確保できないおそれがあるため、使用者からの操作時前後の所定の期
間（例えば、前後合わせて２０秒）に再生された音声データに対して認識処理を行うのが
望ましい（もちろん、操作前の所定の期間、又は操作後の所定の期間に再生された音声デ
ータに対して認識処理を行っても良い）。なお、これを実現する方法としては、例えば、
ラジオ放送をメモリに常時録音しておくといった方法が挙げられる。但し、いつまでも録
音し続けると、メモリが一杯になるため、古いデータに上書きしていくのが望ましい。

また、さらに別の実施の形態に係る情報処理システムでは、音声に含まれる情報を抽出
するだけでなく、使用者の操作時前後（操作前だけ、操作後だけでも良い）、所定の期間
に再生されていた音声データに基づいて、前記所定の期間に流れていた楽曲を特定し、楽
曲に関連する情報（例えば、楽曲名、アーティスト名）を使用者へ提供するようにしても
良い。

また、ここまで使用者が操作する側の装置（オーディオ装置１、１Ａ）とは別の装置（
サーバー４、４Ａ）で、画像認識処理や音声認識処理を行う場合について説明しているが
、別の実施の形態では、使用者が操作する側の装置（本発明に係る情報処理装置に対応）
で画像認識処理や音声認識処理を行わせるようにしても良い。

本発明の実施の形態（１）に係る情報処理システムの要部を概略的に示したブロック図である。 実施の形態（１）に係る情報処理システムを構成するオーディオ装置の要部を概略的に示したブロック図である。 実施の形態（１）に係る情報処理システムを構成するサーバーの要部を概略的に示したブロック図である。 実施の形態（１）に係る情報処理システムを構成するオーディオ装置の制御部とサーバーの制御部の行う処理動作を示したフローチャートである。 実施の形態（２）に係る情報処理システムを構成するオーディオ装置の要部を概略的に示したブロック図である。 実施の形態（２）に係る情報処理システムを構成するサーバーの要部を概略的に示したブロック図である。 放送局記憶部に記憶されているデータの一例を示した図である。 番組内容記憶部に記憶されているデータの一例を示した図である。 実施の形態（２）に係る情報処理システムを構成するオーディオ装置の制御部とサーバーの制御部の行う処理動作を示したフローチャートである。

符号の説明

１、１Ａ オーディオ装置
４、４Ａ サーバー
１１、１１Ａ、２１、２１Ａ 制御部
１５ 画像取得スイッチ
２１ａ 画像認識手段
２３ 画像記憶部
２４ プロフィール情報記憶部
３３ 放送局記憶部
３４ 番組内容記憶部

Claims (15)

1. 画像データを再生する再生機能と通信機能とを有した情報端末装置と、通信機能を有し
   た情報提供装置とを含んで構成される情報処理システムにおいて、
   前記情報端末装置が、
   使用者からの所定の操作を受けて、操作時に再生されていた画像データを取得する第１
   の取得手段と、
   該第１の取得手段により取得された画像データを第１の通信手段を用いて、前記情報提
   供装置へ送信する第１の送信手段とを備え、
   前記情報提供装置が、
   前記情報端末装置から送信されてきた画像データに対して画像認識処理を施す第１の画
   像認識手段と、
   前記画像認識処理により抽出された情報又は該情報に関連する情報を第２の通信手段を
   用いて、前記情報端末装置へ送信する第２の送信手段とを備えていることを特徴とする情
   報処理システム。
2. 音声データを再生する再生機能と通信機能とを有した情報端末装置と、通信機能を有し
   た情報提供装置とを含んで構成される情報処理システムにおいて、
   前記情報端末装置が、
   使用者からの所定の操作を受けて、操作時前後、所定の期間に再生された音声データを
   取得する第２の取得手段と、
   該第２の取得手段により取得された音声データを第３の通信手段を用いて、前記情報提
   供装置へ送信する第３の送信手段とを備え、
   前記情報提供装置が、
   前記情報端末装置から送信されてきた音声データに対して音声認識処理を施す第１の音
   声認識手段と、
   前記音声認識処理により抽出された情報又は該情報に関連する情報を第４の通信手段を
   用いて、前記情報端末装置へ送信する第４の送信手段とを備えていることを特徴とする情
   報処理システム。
3. 前記情報端末装置が、
   前記第１の取得手段又は前記第２の取得手段により取得された画像データ又は音声デー
   タに圧縮処理を施す圧縮手段を備えると共に、
   前記第１の送信手段又は前記第３の送信手段が、前記圧縮処理により得られた圧縮デー
   タを前記第１の通信手段又は前記第３の通信手段を用いて、前記情報提供装置へ送信する
   ものであり、
   前記情報提供装置が、
   前記情報端末装置から送信されてきた圧縮データを復元する復元手段を備えると共に、
   前記第１の画像認識手段又は前記第１の音声認識手段が、前記復元手段により復元され
   た画像データ又は音声データに対して、画像認識処理又は音声認識処理を行うものである
   ことを特徴とする請求項１又は請求項２記載の情報処理システム。
4. 前記画像認識処理又は前記音声認識処理により抽出される情報がＵＲＬ（Uniform Reso
   urce Locator）、電子メールアドレス、電話番号、及び住所のいずれかの文字列であるこ
   とを特徴とする請求項１〜３のいずれかの項に記載の情報処理システム。
5. 前記画像認識処理又は前記音声認識処理により抽出される情報が人物、物、場所のいず
   れかであることを特徴とする請求項１〜３のいずれかの項に記載の情報処理システム。
6. 前記画像認識処理又は前記音声認識処理により抽出される情報が人物であり、
   前記画像認識処理又は前記音声認識処理により抽出された人物のプロフィール情報を取
   得する第３の取得手段を備え、
   前記第２の送信手段又は前記第４の送信手段が、前記第３の取得手段により取得された
   情報を、前記画像認識処理又は前記音声認識処理により抽出された情報に関連する情報と
   して、前記第２の通信手段を用いて、前記情報端末装置へ送信するものであることを特徴
   とする請求項５記載の情報処理システム。
7. 前記画像認識処理又は前記音声認識処理により抽出される情報が商品であり、
   前記画像認識処理又は前記音声認識処理により抽出された商品の詳細な情報を取得する
   第４の取得手段を備え、
   前記第２の送信手段又は前記第４の送信手段が、前記第４の取得手段により取得された
   情報を、前記画像認識処理又は前記音声認識処理により抽出された情報に関連する情報と
   して、前記第２の通信手段を用いて、前記情報端末装置へ送信するものであることを特徴
   とする請求項５記載の情報処理システム。
8. 前記第２の送信手段又は前記第４の送信手段により送信されるものが、商品の詳細な情
   報を含んだページのデータであり、
   前記ページには商品を注文し得るページがリンクされ、
   前記情報端末装置が、
   前記情報提供装置から送信されてくるページデータに基づいて、商品の詳細な情報を含
   んだページを表示する表示手段を備えていることを特徴とする請求項７記載の情報処理シ
   ステム。
9. 前記情報端末装置が、
   使用者が操作し得る操作手段から得られる情報に基づいて、前記画像認識処理又は前記
   音声認識処理により抽出される対象を指定する指定手段と、
   該指定手段により指定された対象を示したデータを前記第１の通信手段又は前記第３の
   通信手段を用いて、前記情報提供装置へ送信する第５の送信手段とを備え、
   前記第１の画像認識手段又は前記第１の音声認識手段が、前記情報端末装置から送信さ
   れてきた前記対象を示したデータに基づいて、制限された範囲内で画像認識処理又は音声
   認識処理を行うものであることを特徴とする請求項１〜８のいずれかの項に記載の情報処
   理システム。
10. 前記情報端末装置で再生される画像データ又は音声データは、テレビやラジオなどの放
    送により提供されるものであり、
    前記情報端末装置が、
    使用者により前記所定の操作が行われた時点で再生されている放送番組を特定するため
    の特定条件に関する情報を前記第１の通信手段又は前記第３の通信手段を用いて、前記情
    報提供装置へ送信する第６の送信手段を備え、
    前記情報提供装置が、
    前記情報端末装置から送信されてきた特定条件に関する情報に基づいて、前記所定の操
    作が行われた時点で使用者が視聴又は聴取していた放送番組を特定する番組特定手段と、
    該番組特定手段により特定された放送番組に関する情報を取得する第５の取得手段とを
    備えると共に、
    前記第１の画像認識手段又は前記第１の音声認識手段が、前記第５の取得手段により取
    得された放送番組に関する情報に基づいて、画像認識処理又は音声認識処理を行うもので
    あることを特徴とする請求項１〜９のいずれかの項に記載の情報処理システム。
11. 前記第５の取得手段により取得される放送番組に関する情報に、放送番組に登場する人
    物、放送番組で紹介される物、放送番組で紹介される場所のいずれかが含まれていること
    を特徴とする請求項１０記載の情報処理システム。
12. 音声データを再生する再生機能と通信機能とを有した情報端末装置と、通信機能を有し
    た情報提供装置とを含んで構成される情報処理システムにおいて、
    前記情報端末装置が、
    使用者からの所定の操作を受けて、操作時前後、所定の期間に再生された音声データを
    取得する第６の取得手段と、
    該第６の取得手段により取得された音声データを第５の通信手段を用いて、前記情報提
    供装置へ送信する第５の送信手段とを備え、
    前記情報提供装置が、
    前記情報端末装置から送信されてきた音声データに基づいて、使用者の操作時前後に再
    生されていた楽曲を特定する楽曲特定手段と、
    該楽曲特定手段により特定された楽曲に関連する情報を取得する第７の取得手段と、
    該第７の取得手段により取得された情報を第６の通信手段を用いて、前記情報端末装置
    へ送信する第６の送信手段とを備えていることを特徴とする情報処理システム。
13. 請求項１〜１２のいずれかの項に記載の情報処理システムを構成するものであることを
    特徴とする情報端末装置。
14. 画像データを再生する再生機能を有した情報処理装置において、
    使用者からの所定の操作を受けて、操作時に再生されていた画像データを取得する第８
    の取得手段と、
    該第８の取得手段により取得された画像データに対して画像認識処理を施す第２の画像
    認識手段と、
    前記画像認識処理により抽出された情報又は該情報に関連する情報を使用者へ提供する
    第１の提供手段とを備えると共に、
    前記画像認識処理により抽出される情報が人物、物、場所のいずれかであることを特徴
    とする情報処理装置。
15. 音声データを再生する再生機能を有した情報処理装置において、
    使用者からの所定の操作を受けて、操作時前後、所定の期間に再生された音声データを
    取得する第９の取得手段と、
    該第９の取得手段により取得された音声データに対して音声認識処理を施す第２の音声
    認識手段と、
    前記音声認識処理により抽出された情報又は該情報に関連する情報を使用者へ提供する
    第２の提供手段とを備えると共に、
    前記音声認識処理により抽出される情報が人物、物、場所のいずれかであることを特徴
    とする情報処理装置。

Images