JP2003248685A - 情報検索システム - Google Patents
情報検索システムInfo
- Publication number
- JP2003248685A JP2003248685A JP2002045333A JP2002045333A JP2003248685A JP 2003248685 A JP2003248685 A JP 2003248685A JP 2002045333 A JP2002045333 A JP 2002045333A JP 2002045333 A JP2002045333 A JP 2002045333A JP 2003248685 A JP2003248685 A JP 2003248685A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- unit
- search
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 十分な画像音声認識処理を行い、この処理結
果を利用して迅速かつ正確に所望の情報を検索できる検
索情報を自動的に生成するとともに、通信回線の混雑を
防止することを目的とする。 【解決手段】 画像音声情報生成装置１と、画像認識処
理及び音声認識処理を行うのに必要な画像音声情報の情
報量である必要情報量を決定する情報量決定部６ｇと、
必要情報量の各画像音声情報に対して、画像認識処理及
び音声認識処理を行い、認識結果に基づいて、第１検索
情報を生成するサーバ装置４と、各第１検索情報と、各
画像音声情報とを対応づけて格納する格納装置５と、入
力部７ｃにより入力された第２検索情報と、各第１検索
情報とを比較する比較部６ｂと、比較結果に基づいて、
第２検索情報に対応する画像音声情報を、ユーザに提示
する提示部７ａとを有する。
果を利用して迅速かつ正確に所望の情報を検索できる検
索情報を自動的に生成するとともに、通信回線の混雑を
防止することを目的とする。 【解決手段】 画像音声情報生成装置１と、画像認識処
理及び音声認識処理を行うのに必要な画像音声情報の情
報量である必要情報量を決定する情報量決定部６ｇと、
必要情報量の各画像音声情報に対して、画像認識処理及
び音声認識処理を行い、認識結果に基づいて、第１検索
情報を生成するサーバ装置４と、各第１検索情報と、各
画像音声情報とを対応づけて格納する格納装置５と、入
力部７ｃにより入力された第２検索情報と、各第１検索
情報とを比較する比較部６ｂと、比較結果に基づいて、
第２検索情報に対応する画像音声情報を、ユーザに提示
する提示部７ａとを有する。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ユーザが所望する
画像情報や音声情報を検索することできる情報検索シス
テムに関するものである。 【０００２】 【従来の技術】近年、撮影機材の変化により、デジタル
画像情報や音声情報が、撮影装置自体にセットされた格
納装置に格納されるだけでなく、ネットワークを通じ
て、該ネットワークに接続されたデータベース等の格納
装置に格納されるようになってきている。例えば、ある
携帯電話で撮影された静止画像情報、動画像情報が、ネ
ットワーク等を介して上記格納装置に格納されるように
なっている。 【０００３】このように撮影機材が変化するに従い、例
えば、家庭用ビデオで撮影した画像情報や音声情報だけ
でなく、デジタルカメラのスチル画像情報、テレビ放送
の録画画像情報等の種々の画像情報、音声情報を上記格
納装置に格納することが可能となる。このような種々の
画像情報や音声情報を上記格納装置に格納するには、上
記格納装置の容量を大きくする必要がある。 【０００４】このように格納装置の大容量化を図れば、
格納装置に格納される画像情報・音声情報の量を多くす
ることができる。しかし、格納装置に格納される情報量
が多くなると、ユーザが所望する画像情報や音声情報を
迅速に取得することが困難となる。このため、せっかく
撮影したユーザの家族に関する画像情報等が上記格納装
置に格納されても、必要に応じて迅速に取得することが
できなくなってしまう。近年のテレビ放送の多チャンネ
ル化やインターネットに代表されるコンピュータネット
ワークの急速な普及に伴い膨大な画像情報や音声情報が
家庭を含めた社会に流通し、上記格納装置に格納される
情報量は増加する傾向にある。 【０００５】このため、格納装置に格納された大量の画
像情報、音声情報の中からユーザーが所望する画像情
報、音声情報を迅速かつ正確に取り出すためのシステム
が必要になる。このようなシステムの実現のためには、
複数の情報のうちから、所望の情報を検索することがで
きる検索情報の生成機能が必要となる。 【０００６】そこで、従来では、画像情報、音声情報を
検索するための検索情報を生成し、検索情報も画像情
報、音声情報とともに格納装置に格納し、ユーザにより
入力された検索情報と、格納された検索情報とを比較し
て、一致した検索情報に対応する画像情報、音声情報を
ユーザに提示するという技術がある。 【０００７】ここで、検索情報の生成の方法として、ユ
ーザが入力した情報に基づいて生成するという方法（特
開平１０−１７１７３９号公報及び特開平１１−５５６
４５号公報等）がある。 【０００８】しかし、このような検索情報の生成の仕方
には、以下のような問題があった。 【０００９】ユーザ又はユーザの家族に関する１つ１つ
の画像情報、音声情報に対して、それぞれ、ユーザが検
索情報の生成に必要な情報を入力していくことは、ユー
ザにとって、入力作業の負担が大きくなってしまう。 【００１０】このようなユーザの負担を低減するには、
検索情報を自動で生成することが必要となる。検索情報
を自動で生成する方法としては、従来、以下のような技
術があった。 【００１１】先ず、画像認識技術（例えば、特開２００
０−１１３０９７号公報で示されている画像認識技術
等）を用い、画像の特徴抽出を行い、抽出された特徴量
を用いて、検索情報を自動的に生成する方法がある。ま
た、音声認識技術を用い、検索情報を自動的に生成する
方法がある。また、出演者、監督、作曲者、歌手、題名
などの著作物等を示す文字情報から、検索情報を自動的
に生成する方法がある。 【００１２】ここで、文字情報から検索情報を自動的に
生成する方法については、例えば、テレビ放送の信号に
は、放送番組に関する情報（ＥＰＧ等）が含まれ、これ
を利用して、検索情報を自動で生成するという方法があ
る。しかし、上記放送番組に関する情報に、ある場面の
雰囲気など、細やかな情報が含まれていることは考えに
くい。このため、放送番組に関する情報に関する文字情
報を利用して、検索情報を自動で生成し、この検索情報
を用いて検索を行ったとしても、十分な検索ができない
可能性がある。例えば、２つの似た画像情報がある場
合、細やかな情報まで、検索情報に含まれていないと、
上記２つの画像情報の区別ができなくなってしまう。 【００１３】一方、画像認識技術や音声認識技術を用い
て検索情報を自動で生成するという方法については以下
のとおりである。即ち、近年、人工知能等を応用した高
度なシステムの開発等が盛んに行われ、非常に高度な音
声認識や画像認識が可能となってきている。このため、
上記音声認識や画像認識を行って、画像や音声に関する
細やかな情報を抽出し、これを検索情報に含めることが
可能となっている。 【００１４】このため、格納装置に格納された複数の画
像情報、音声情報のうち、ユーザが所望する情報を迅速
かつ正確に検索するためには、画像認識技術や音声認識
技術を用いて、検索情報を自動的に生成する必要があ
る。 【００１５】従来において、画像認識技術を用いて、検
索情報を自動的に生成する技術には、種々の技術（特開
平１０−２４０７７４号公報等）があるが、ユーザ個人
やユーザの家族に関する画像情報、音声情報の検索情報
を自動生成するシステムとして、以下のような従来技術
がある。 【００１６】図１１は、ユーザが所望する画像情報、音
声情報を検索するための検索情報を自動生成するための
第１の従来技術を示す構成図である。システムは、複数
の画像音声情報生成装置５０と、インターネット５１を
介して接続された複数のクライアントサブシステム５２
とを有する。クライアントサブシステム５２は、サブシ
ステム管理装置５２ａ、提示装置５２ｂ、格納装置５２
ｃ、画像音声認識装置５２ｄとを有する。 【００１７】このように構成されたシステムの動作を以
下に説明する。あるユーザの画像音声情報生成装置５０
により、ある画像が撮影されるとともに、音声も入力さ
れて画像情報及び音声情報からなる画像音声情報が生成
される。この画像音声情報がインターネット５１を介し
て、上記ユーザが保有するクライアントサブシステム５
２に送られる。 【００１８】クライアントサブシステム５２のサブシス
テム管理装置５２ａは、上記画像音声情報を画像音声認
識装置５２ｄに送る。画像音声認識装置５２ｄは、送ら
れた画像音声情報に対して、画像認識処理及び音声認識
処理を行い、検索情報（以下、第１検索情報という）を
生成する。生成された検索情報は、サブシステム管理装
置５２ａに送られる。サブシステム管理装置５２ａは、
生成された第１検索情報を上記画像音声情報と対応づけ
る。そして、サブシステム管理装置５２ａは、画像音声
情報及び第１検索情報を格納装置５２ｃに送り、格納さ
せる。 【００１９】そして、ユーザが所望する画像音声情報を
提示したいと考えた場合、提示装置５２ｂの入力部（図
示せず）から、上記所望する画像音声情報を検索するた
めに必要な情報である第２検索情報を入力すると、その
第２検索情報は、サブシステム管理装置５２ａへ送られ
る。 【００２０】サブシステム管理装置５２ａは、格納装置
５２ｃから、ローカルネットワーク５３を介して、第１
検索情報を読み出す。そして、サブシステム管理装置５
２ａは、入力された第２検索情報と、各第１検索情報を
比較し、入力された第２検索情報に対応する画像音声情
報を格納装置５２ｃから読み出す。そして、サブシステ
ム管理装置５２ａは、読み出した画像音声情報を提示装
置５２ｂへ送り、提示させる。 【００２１】また、第２の従来技術として、特開平２０
００−２３６４９４号公報に記載された技術がある。こ
の従来技術では、音声認識技術を利用することにより検
索情報を自動生成し、ユーザーが所望する画像・音声シ
ーンを高速に検索できるシステムが示されている。この
従来技術では、サーバ装置に格納された画像音声情報に
ついて、音声認識処理及び画像認識処理をサーバ装置で
行い、検索情報を自動生成している。そして、各ユーザ
の所望に応じて、画像音声情報及び検索情報を各ユーザ
端末装置に提供している。 【００２２】 【発明が解決しようとする課題】しかしながら、上述し
た従来技術には、以下のような問題点があった。先ず、
図１１に示す第１の従来技術では、音声認識処理及び画
像認識機能をユーザの保有するサブシステムで行わせて
いるので、ユーザが負担するコストが大きくなってしま
う。 【００２３】上述したように、近年、非常に高度な音声
認識、画像認識を行うことも可能となっているが、この
ような認識を行うためには、十分な処理能力を持つＣＰ
Ｕ等が必要である。このようなＣＰＵ等を上記サブシス
テムに設けると、そのコスト負担は大きくなる。 【００２４】一方、画像認識処理や音声認識処理をユー
ザが保有するサブシステムで頻繁に行う必要があれば、
コストが高くても、その分の代償があるといえる。しか
し、ユーザによっては、必ずしも、頻繁に行う必要があ
るとは限らないし、むしろ、ユーザ個人や家族に関する
画像情報や音声情報に対して、検索情報を生成する機会
は、通常、多くて週に数回といえる。 【００２５】従って、第１の従来技術によれば、各ユー
ザの保有するクライアント装置やクライアントサブシス
テムに細やかな情報を含む検索情報が生成できるような
画像認識機能や音声認識機能を設けることは、一般のユ
ーザにとってコスト負担が大きくなってしまうという問
題がある。 【００２６】これに対して、特開２０００−２３６４９
４号公報の技術によれば、音声認識処理、画像認識処理
は、サーバ装置が行うため、上述のような問題はない。 【００２７】しかし、この従来技術では、以下のような
問題点がある。即ち、サーバ装置が音声認識、画像認識
を行うのは、予め、サーバ装置に保存された画像情報、
音声情報に限られている。このため、各ユーザが自由に
生成した画像情報、音声情報に対して、サーバ装置が音
声認識、画像認識を行い、検索情報を自動的に生成する
ことができなかった。 【００２８】従って、従来においては、各ユーザのコス
ト負担を軽減するとともに、各ユーザが自由に生成した
画像音声情報に対しても、十分な画像認識処理及び音声
認識処理を行い、この処理結果を利用して迅速かつ正確
に所望の画像音声情報を検索できる検索情報を自動的に
生成することができるシステムの開発が望まれていた。 【００２９】また、検索情報の生成に必要な画像認識や
音声認識に必要なデータ量は、画像音声情報の全てのデ
ータ量が必要とは限らない。このため、全てのデータ量
が装置間でやりとりされると、装置間の通信回線の混雑
を招くという問題もある。 【００３０】本発明は、上記問題点を解決するためにな
されたものであり、各ユーザのコスト負担を軽減するこ
と、各ユーザが自由に生成した画像音声情報に対して
も、十分な画像音声認識処理を行い、この処理結果を利
用して迅速かつ正確に所望の情報を検索できる検索情報
を自動的に生成すること、通信回線の混雑を防止するこ
とができる情報検索システムの提供を目的とする。 【００３１】 【課題を解決するための手段】上記課題を解決するため
に、本発明に係る情報検索システムは、画像情報及び該
画像情報に対応する音声情報からなる画像音声情報に対
して、所定の解像度で、画像認識処理及び音声認識処理
を行い、認識結果に基づいて前記画像音声情報を検索す
るための第１検索情報を生成し、該第１検索情報を用い
て、ユーザが所望する画像音声情報を検索するシステム
であって、各ユーザの操作に基づいて、それぞれ、画像
音声情報を生成する各画像音声情報生成装置１と、所定
量の画像音声情報に対して、前記所定の解像度で、画像
認識処理及び音声認識処理を行うのに必要な画像音声情
報の情報量である第１情報量と、前記各画像音声情報生
成装置により生成された画像音声情報の情報量である第
２情報量とに基づいて、前記第２情報量の画像音声情報
に対して、前記所定の解像度で、画像認識処理及び音声
認識処理を行うのに必要な画像音声情報の情報量である
必要情報量を決定する情報量決定手段６ｇと、前記情報
量決定手段により決定された必要情報量で、前記各画像
音声情報生成装置により生成された画像音声情報を送信
する送信手段６ｃと、前記送信手段により送信された各
画像音声情報に対して、前記所定の解像度で、画像認識
処理及び音声認識処理を行い、認識結果に基づいて、前
記第１検索情報を、前記各画像音声情報に対応づけて生
成する検索情報生成装置４と、前記検索情報生成装置に
より生成された各第１検索情報と、前記送信手段により
送信された各画像音声情報とをそれぞれ対応づけて、格
納する格納手段５と、ユーザが所望の画像音声情報を検
索するための第２検索情報を入力する入力手段７ｃと、
前記入力手段７ｃにより入力された第２検索情報と、前
記格納手段５に格納された各第１検索情報とを比較する
比較手段６ｂと、前記比較手段６ｂによる比較結果に基
づいて、前記格納手段５から前記第２検索情報に対応す
る画像音声情報を読み出し、その読み出した画像音声情
報を、前記ユーザに提示する提示手段７ａとを有するこ
とを特徴とするものである。 【００３２】 【発明の実施の形態】実施の形態１． （情報検索システムの構成）図１は、本実施の形態であ
る情報検索システムの構成を示すブロック図である。情
報検索システムは、複数の画像音声情報生成装置１と、
複数のクライアントサブシステム２と、公衆ネットワー
ク（例えば、インターネット）３を介して、上記複数の
画像音声情報生成装置１や複数のクライアントサブシス
テム２と接続されているサーバ装置（検索情報生成装
置）４とを有する。 【００３３】各画像音声情報生成装置１は、それぞれ、
各ユーザの入力操作や撮影操作に基づいて、画像音声情
報を生成する。画像音声情報生成装置１は、各種の画像
を撮影する撮影部１ａと、ユーザにより各種の音声を入
力するための音声入力部１ｂと、撮影部１ａにより撮影
された画像及び音声入力部１ｂにより入力された音声に
基づいて、画像情報及びこれに対応する音声情報からな
る画像音声情報を生成する画像音声情報生成部１ｃと、
画像音声情報生成装置１を保有するユーザの識別情報
等、各種のデータを格納する格納部１ｄと、公衆ネット
ワーク３を介して、サーバ装置４やクライアントサブシ
ステム２との通信を行う通信部１ｅと、各種情報を表示
する表示部（図示せず）と、ユーザにより各種情報を入
力するための入力部（図示せず）と、各部を制御する制
御部１ｆとを有する。 【００３４】サーバ装置４は、画像認識部４ａと音声認
識部４ｂと検索情報生成部４ｃを有する。画像認識部４
ａは、画像音声情報生成装置１から送信された画像音声
情報の画像情報に対して、画像認識処理を行い、画像認
識情報を出力する。 【００３５】画像認識部４ａには、画像情報がストリー
ムの形で送信されるとともに、上記画像情報に対応する
ユーザの識別情報（ユーザが保有する画像音声情報生成
装置１の識別情報）も送られる。 【００３６】画像認識部４ａは、送信された画像ストリ
ームに対して、所定時間ごとに画像の特徴情報（例え
ば、位置に対する輝度値）を抽出する抽出部（図示せ
ず）と、各基準画像（例えば、ユーザの父親の画像）の
特徴情報及びこの基準画像を識別する基準画像識別情報
（例えば、ユーザの父親の名前）が格納された特徴情報
格納部（図示せず）とを有する。 【００３７】ここで、特徴情報格納部に格納された基準
画像の特徴情報及び基準画像識別情報は、ユーザの識別
情報（ユーザの画像音声情報生成装置１の識別情報及び
上記ユーザのクライアントサブシステム２の識別情報）
と対応づけられている。 【００３８】画像認識部４ａは、抽出部により抽出され
た特徴情報と、特徴情報格納部により格納された各特徴
情報（送信されたユーザの識別情報に対応する各特徴情
報）と、比較して、抽出された特徴情報との差分情報が
一定値以内の特徴情報（送信されたユーザの識別情報に
対応する特徴情報）が特徴情報格納部に格納されている
か否かを判定する特徴情報比較部（図示せず）と、差分
情報が一定値以内の特徴情報が格納されていると判定さ
れた場合には、上記特徴情報に対応する基準画像識別情
報を画像認識情報として出力する出力部（図示せず）と
を有する。 【００３９】音声認識部４ｂは、画像音声情報生成装置
１から送信された音声情報に対して、音声認識処理を行
い、音声認識情報を出力する。音声認識部４ｂには、音
声情報がストリームの形で送信されるとともに、上記音
声情報に対応するユーザの識別情報（ユーザが保有する
画像音声情報生成装置１の識別情報）も送られる。 【００４０】音声認識部４ｂは、送信された音声ストリ
ームに対して、ワードを抽出する抽出部（図示せず）
と、予め決められた複数のワード（例えば、名詞、形容
詞及び名詞等）群からなるテーブルが格納されているテ
ーブル格納部（図示せず）とを有する。ここで、上記テ
ーブルは、複数格納されている。そして、各テーブル
は、それぞれ、ユーザの識別情報（ユーザの画像音声情
報生成装置１の識別情報及び上記ユーザのクライアント
サブシステム２の識別情報）と対応づけられている。 【００４１】また、音声認識部４ｂは、抽出部により抽
出されたワードと、送信されたユーザ識別情報に対応す
るテーブルに含まれているワードを比較して、一致する
か否かを判定するワード比較部（図示せず）と、ワード
比較部により一致すると判定された場合、テーブルに記
録されているワード及びその類似ワードを音声認識情報
として出力する出力部（図示せず）とを有する。 【００４２】検索情報生成部４ｃは、画像認識部４ａに
より出力された画像認識情報と、音声認識部４ｂにより
認識された音声認識情報とに基づいて、検索情報（以
下、第１検索情報という）を生成する。この際、検索情
報生成部４ｃは、第１検索情報を画像音声情報及びユー
ザの識別情報と対応づける。 【００４３】また、サーバ装置４は、各種のデータが格
納された格納部４ｄと、公衆ネットワーク３を介して、
各画像音声情報生成装置１や各クライアントサブシステ
ム２と通信を行う通信部４ｅと各部を制御する制御部４
ｆとを有する。 【００４４】クライアントサブシステム２は、格納装置
５と、サブシステム管理装置６と、提示装置７とを有す
る。 【００４５】格納装置５は、各種の画像音声情報や、こ
れと対応づけられた第１検索情報を格納する格納部５ａ
と、ローカルネットワーク８を介して提示装置７やサブ
システム管理装置６と通信を行う通信部５ｂと、各部を
制御する制御部５ｃとを有する。 【００４６】サブシステム管理装置６は、公衆ネットワ
ーク３とクライアントサブシステム２内の各装置とのゲ
ートウェイ的役割を果たす。サブシステム管理装置６
は、クライアントサブシステム２を保有するユーザの識
別情報等各種のデータを格納する格納部６ａと、ユーザ
が提示装置の入力部７ｃを用いて入力した所望の画像音
声情報を検索するための情報（以下、第２検索情報とい
う）と、格納装置５に格納されている第１検索情報とを
比較し、一致するか否かを判定する比較部６ｂと、サー
バ装置４等と公衆ネットワーク３を介して通信を行う第
１通信部６ｃと、提示装置７や格納装置５とローカルネ
ットワーク８を介して通信を行う第２通信部６ｄと、各
部を制御する制御部６ｅとを有する。 【００４７】ここで、制御部６ｅは、比較部６ｂにより
第２検索情報と一致した第１検索情報があったと判定さ
れた場合、その第１検索情報に対応する画像音声情報を
送信するように格納装置５に指示する。そして、格納装
置５から画像音声情報が送信されると、制御部６ｅは、
提示装置７に上記画像音声情報を送信する。 【００４８】また、比較部６ｂは、第２検索情報と各第
１検索情報が一致しないと判定した場合、第２検索情報
が、第１検索情報と直接比較できる情報であるか否かを
判定する。比較部６ｂは、名詞テーブル及び形容詞テー
ブルを保持し、第２検索情報が、格納装置５に格納され
ている第１検索情報と比較できる情報であるか否かを判
定する。 【００４９】また、サブシステム管理装置６は、第２検
索情報と一致した第１検索情報がないと判定された場合
であって、第２検索情報が、第１検索情報と直接比較で
きる情報でないと判定された場合、新たな第２検索情報
を生成するサブシステム検索情報生成部６ｆを有する。 【００５０】サブシステム検索情報生成部６ｆは、第２
検索情報から名詞となるワードを抽出する名詞抽出部
（図示せず）と、第２検索情報から形容詞となるワード
を抽出する形容詞抽出部（図示せず）と、名詞抽出部及
び形容詞抽出部から抽出されたワードに対して、順番デ
ータを生成する順番データ生成部（図示せず）と、生成
された順番データと、抽出されたワードに基づいて、格
納されている第１検索情報と直接比較できる新たな第２
検索情報を生成する検索情報生成部（図示せず）とを有
する。 【００５１】ここで、名詞抽出部は、複数の名詞ワー
ド、これに類似するワードが記録されたテーブルを有す
る。名詞抽出部は、このテーブルを参照して、第２検索
情報から名詞ワードを抽出する。同じく、形容詞抽出部
は、複数の形容詞ワード、これに類似するワードが記録
されたテーブルを有する。形容詞抽出部は、このテーブ
ルを参照して、第２検索情報から形容詞ワードを抽出す
る。 【００５２】サブシステム検索情報生成部６ｆの具体的
な動作は後述する。 【００５３】提示装置７は、サブシステム管理装置６か
ら送信された画像音声情報を提示する提示部７ａと、ロ
ーカルネットワーク８を介して格納装置５やサブシステ
ム管理装置６と通信を行う通信部７ｂと、ユーザが各種
のデータを入力するための入力部７ｃと、各部を制御す
る制御部７ｄとを有する。 【００５４】（情報検索システムの動作） （１）検索情報の生成、格納動作について 図２は、本実施の形態である情報検索システムにおける
第１検索情報の生成、格納動作を示すフローチャート図
である。 【００５５】先ず、サーバ装置４の管理者は、各ユーザ
の画像音声情報生成装置１の識別情報（例えば、パスワ
ード情報等）及びクライアントサブシステム２の識別情
報をサーバ装置４の格納部４ｄに格納しておく。この識
別情報としては、画像音声情報生成装置１やクライアン
トサブシステム２のサブシステム管理装置６の識別番号
（装置番号）を用いてもよい。 【００５６】また、各ユーザは、サブシステム管理装置
６の格納部６ａにクライアントサブシステム２の識別情
報を格納しておく。 【００５７】また、サーバ装置４の管理者は、サーバ装
置４の画像認識部４ａの特徴情報格納部に格納されてい
る各基準画像や基準画像識別情報に対して、それぞれ、
各ユーザの識別情報と対応させておく。また、サーバ装
置４の管理者は、音声認識部４ｂのテーブル格納部に格
納された各テーブルに対して、それぞれ各ユーザの識別
情報と対応させておく。 【００５８】また、サーバ装置４の制御部４ｆは、公衆
ネットワーク３に接続された各画像音声情報生成装置１
やクライアントサブシステム２のアドレス情報を保持し
ている。画像音声情報生成装置１の制御部１ｆは、公衆
ネットワーク３に接続されたサーバ装置４やクライアン
トサブシステム２のアドレス情報を保持している。 【００５９】同じく、クライアントサブシステム２のサ
ブシステム管理装置６の制御部６ｅは、公衆ネットワー
ク３に接続された画像音声情報生成装置１やサーバ装置
４のアドレス情報を保持している。 【００６０】また、サブシステム管理装置６の制御部６
ｅや格納装置５の制御部５ｃは、ローカルネットワーク
８上の自装置以外の装置のアドレス情報を保持してい
る。 【００６１】ステップＳ１００では、例えば、ユーザＸ
が自分の画像音声情報生成装置１を用いて、画像の撮
影、音声の入力処理を行い、画像音声情報生成部２を用
いて画像音声情報を生成する。 【００６２】ここで、ユーザＸは、撮影部１ａを用いて
所定の画像の撮影処理を行いながら、音声入力部１ｂを
用いて、音声も入力する。すると、撮影部１ａにより撮
影された画像及び音声入力部１ｂにより入力された音声
は、画像音声情報生成部１ｃに送られる。画像音声情報
生成部１ｃは、送られた画像及び音声に基づいて、画像
音声情報を生成する。生成された画像音声情報は、制御
部１ｆを介して、いったん、格納部１ｄに格納される。
この際、画像音声情報には、ユーザＸの画像音声情報の
識別情報が対応づけられる。また、画像情報には、画像
情報である旨の情報が、音声情報には、音声情報である
旨の情報が与えられる。 【００６３】そして、画像音声情報生成装置１の制御部
１ｆは、上記画像音声情報の第１検索情報の生成要求を
通信部１ｅ、公衆ネットワーク３等を介して、サーバ装
置４の制御部４ｆへ送る。 【００６４】この際、ユーザＸは、入力部を用いて、画
像音声情報及び第１検索情報は、上記ユーザのクライア
ントサブシステム２に送信し格納するように指示する旨
を入力する。すると、上記指示は、通信部１ｅ、公衆ネ
ットワーク３等を介して、サーバ装置４の制御部４ｆへ
送られる。上記指示を受けたサーバ装置４の制御部４ｆ
は、ステップＳ１１０やＳ１２０の認証処理が正当な
ら、検索情報生成部４ｃにより第１検索情報が生成され
た場合には、画像音声情報及び第１検索情報を上記ユー
ザのクライアントサブシステム２に送信する。 【００６５】ステップＳ１１０では、サーバ装置４は、
ユーザＸの画像音声情報生成装置１に対する認証処理を
行う。 【００６６】サーバ装置４の制御部４ｆは、ユーザＸの
画像音声情報生成装置１に対して、識別情報を送信する
旨の要求を通信部４ｅ等を介して、画像音声情報生成装
置１の制御部１ｆへ送る。画像音声情報生成装置１の制
御部１ｆは、図示しない表示部に識別情報を入力するよ
うに指示する旨（ログイン処理を行うように指示する
旨）を表示させる。 【００６７】ユーザＸが図示しない入力部を用いて、ロ
グイン処理を実行し、パスワード等の識別情報を入力す
ると、上記識別情報は、制御部１ｆ等を介して、サーバ
装置４の制御部４ｆへ送られる。 【００６８】サーバ装置４の制御部４ｆは、送られてき
たユーザＸの画像音声情報生成装置１の識別情報と、格
納部４ｄに格納されているユーザＸの画像音声情報生成
装置１の識別情報とを比較し、一致する場合には、ユー
ザＸの画像音声情報生成装置１は正当なものと判断す
る。一致しない場合には、ユーザＸの画像音声情報生成
装置１は不当なものと判断し、その後の処理を行わな
い。 【００６９】ステップＳ１２０では、サーバ装置４は、
ユーザＸのクライアントサブシステム２に対する認証処
理を行う。 【００７０】サーバ装置４の制御部４ｆは、ユーザＸの
クライアントサブシステム２に対して、識別情報を送信
する旨の情報を通信部４ｅ等を介して、サブシステム管
理装置６の制御部６ｅへ送る。サブシステム管理装置６
の制御部６ｅは、格納部６ａから、クライアントサブシ
ステム２の識別情報を読み出し、第１通信部６ｃ等を介
して、サーバ装置４へ送る。 【００７１】サーバ装置４の制御部４ｆは、送られてき
たユーザＸのクライアントサブシステム２の識別情報
と、格納部４ｄに格納されているユーザＸのクライアン
トサブシステム２の識別情報とを比較し、一致する場合
には、ユーザＸのクライアントサブシステム２は正当な
ものと判断する。一致しない場合には、ユーザＸのクラ
イアントサブシステム２は不当なものと判断し、その後
の処理を行わない。 【００７２】ステップＳ１３０では、サーバ装置４の制
御部４ｆは、ユーザＸの画像音声情報を送信するように
指示する。そして、サーバ装置４の制御部４ｆは、画像
音声情報のうち、画像情報を画像認識部４ａへ、音声情
報を音声認識部４ｂへ送る。なお、制御部４ｆは、画像
音声情報を保持している。 【００７３】この処理を具体的に説明する。即ち、サー
バ装置４の制御部４ｆは、ユーザＸの画像音声情報送信
の要求を通信部４ｅ等を介して、ユーザＸの画像音声情
報生成装置１の制御部１ｆへ送る。 【００７４】ユーザＸの画像音声情報生成装置１の制御
部１ｆは、上記要求に基づいて、格納部１ｄから、画像
音声情報を読み出し、通信部１ｅ等を介して、サーバ装
置４の制御部４ｆへ送る。 【００７５】サーバ装置４の制御部４ｆは、画像音声情
報のうち、音声情報である旨の情報に基づいて、音声情
報を音声認識部４ｂへ送るとともに、画像情報である旨
の情報に基づいて、画像情報を画像認識部４ａへ送る。
なお、サーバ装置４の制御部４ｆは、ユーザＸの識別情
報、ユーザＸのクライアントサブシステム２のアドレス
情報を保持する。 【００７６】ステップＳ１４０では、音声認識部４ｂは
音声認識処理を行い、音声認識情報を検索情報生成部４
ｃに出力する。また、画像認識部４ａは、画像認識処理
を行い、画像認識情報を検索情報生成部４ｃへ出力す
る。この動作について以下に具体的に説明する。 【００７７】先ず、ユーザＸの識別情報がサーバ装置４
の制御部４ｆから、画像認識部４ａ及び音声認識部４ｂ
に送られる。画像認識部４ａの特徴情報比較部は、ユー
ザＸの識別情報に対応する各基準画像の特徴情報及び基
準画像識別情報を読み出す。また、音声認識部４ｂのワ
ード比較部は、ユーザＸの識別情報に対応するテーブル
をテーブル格納部から読み出す。 【００７８】先ず、音声認識について説明する。 【００７９】制御部４ｆから、音声ストリームが音声認
識部４ｂの抽出部へ送られると、抽出部は、ワードを抽
出する。抽出部は、音声情報から、５０音の各母音や子
音、濁音等を判断することができる。そして、抽出部
は、判断した母音や子音等から、ワードを抽出する。例
えば、抽出部は、２文字以上のワードを抽出する。 【００８０】そして、抽出部は、抽出した各抽出ワード
をワード比較部へ送る。ワード比較部は、ユーザＸの識
別情報に対応するテーブルに記録されているワードと一
致するワードを出力部へ送る。 【００８１】ここで、テーブルには、名詞ワード、この
名詞ワードに類似するワード、形容詞及び名詞からなる
ワード、このワードに類似するワードが複数記録されて
いる。 【００８２】例えば、抽出部からワード（きょう）、ワ
ード（いい）、ワード（てんき）が送られた場合であっ
て、テーブルに、名詞ワード（きょう）、類似名詞ワー
ド（ほんじつ、．．）、形容詞及び名詞からなるワード
（よいてんき）、類似ワード（いいてんき．．．）が記
録されている場合、ワード比較部は、抽出したワード
（きょう）は、記録されている名詞ワード（きょう）に
一致し、抽出したワード（いいてんき）は、記録されて
いる類似ワード（いいてんき）に一致すると判定し、ワ
ード（きょう）及びワード（いいてんき）を音声認識情
報として出力する。 【００８３】この際、テーブルに記録された類似ワード
も、音声認識情報に含めておく。例えば、ワード（きょ
う）に対して、テーブルに記録されている類似ワード
（ほんじつ．．）を対応づけておく。これは、ユーザが
検索情報と似た情報を入力した場合でも、ユーザが所望
する画像音声情報を検索できるようにするためである。 【００８４】なお、音声認識方法には、種々の公知の方
法があり、上述の例は、その一例を示すものであり、本
実施の形態では、特に限定しない。 【００８５】次に、画像認識について説明する。制御部
４ｆから画像ストリームが画像認識部４ａの抽出部に送
られると、抽出部は、画像の特徴情報を抽出し、抽出し
た特徴情報を特徴情報比較部へ送る。特徴情報比較部
は、ユーザＸの識別情報に対応する各基準画像の特徴情
報と、抽出した特徴情報と、を所定時間ごとに比較す
る。特徴情報比較部は、抽出された特徴情報との差分情
報が一定値以内の特徴情報（送信されたユーザの識別情
報に対応する特徴情報）が特徴情報格納部に存在するか
否かを判定し、一定値以内の特徴情報が存在すると判定
した場合には、上記特徴情報に対応する基準画像識別情
報を画像認識情報として出力部に送る。 【００８６】例えば、抽出された画像情報がある人の上
半身部分を示す画像情報であって、特徴情報比較部は、
上記画像情報の特徴情報と、ユーザＸの識別情報に対応
するある基準画像（ユーザＸの父親の画像）の特徴情報
とを比較し、上記画像情報の特徴情報と、上記基準画像
の特徴情報との差分情報が一定値内の場合には、画像認
識部４ａにより与えられる画像認識情報は、ユーザＸの
父親という情報となる。 【００８７】なお、画像認識方法の仕方は、種々の公知
の方法があり、上述の例は、その一例を示すものであ
り、本実施の形態では、特に限定しない。 【００８８】ステップＳ１５０では、音声認識部４ｂに
より出力された音声認識情報、画像認識部４ａにより出
力された画像認識情報は、検索情報生成部４ｃへ送られ
る。検索情報生成部４ｃは、出力された音声認識情報
と、出力された画像認識情報とに基づいて、検索情報を
生成する。 【００８９】具体的には、音声認識情報として、きょ
う、いいてんきが出力され、画像認識情報として、ユー
ザＸの父親が出力された場合、検索情報生成部４ｃは、
きょう、いいてんき、父親を組み合わせて第１検索情報
を生成する。この際、検索情報生成部４ｃは、きょうの
類似ワード、いいてんきの類似ワードも第１検索情報に
含める。 【００９０】なお、公知である人工知能等を応用した高
度なシステムを用いれば、例えば、大勢の人と△○さん
が写っている場面、山と湖が写っている写真、○○への
家族旅行のビデオ等のような感性的なワードを用いた検
索情報の生成も可能である。 【００９１】ステップＳ１６０では、検索情報生成部４
ｃから生成された第１検索情報が送られたサーバ装置４
の制御部４ｆは、保持していた画像音声情報を、上記第
１検索情報及びユーザＸの識別情報と対応づける。そし
て、制御部４ｆは、通信部４ｅ等を介して、ユーザＸの
識別情報に対応するクライアントサブシステム２のアド
レス情報に基づいて、ユーザＸのクライアントサブシス
テム２のサブシステム管理装置６へ送る。 【００９２】ステップＳ１７０では、クライアントサブ
システム２のサブシステム管理装置６の制御部６ｅは、
保持している格納装置５のアドレス情報に基づいて、第
２通信部６ｄ及びローカルネットワーク８等を介して、
格納装置５へ画像音声情報及びこれに対応する第１検索
情報を送る。すると、格納装置５の制御部５ｃは、送ら
れてきた画像音声情報及びこれに対応する第１検索情報
を格納部５ａに格納する。 【００９３】格納装置５の制御部５ｃは、画像音声情報
及びその第１検索情報が格納部５ａに格納された旨を、
サブシステム管理装置６、公衆ネットワーク３等を介し
て、画像音声情報生成装置１の表示部に送る。画像音声
情報生成装置１の表示部にて、その旨が表示される。 【００９４】（２）ユーザＸが所望する画像音声情報の
提示動作 図３，図４は、本実施の形態である情報検索システムに
おけるユーザＸが所望する画像音声情報の提示動作を示
すフローチャート図である。 【００９５】ステップＳ２００では、ユーザＸは、クラ
イアントサブシステム２の提示装置７の入力部７ｃか
ら、所望の音声画像情報を検索を行うのに必要な情報を
入力する。以下、この情報を第２検索情報という。 【００９６】ここで、入力にあたっては、格納部５ａに
格納されている検索情報に対応する情報を入力すること
もできるし、より感性的な情報を入力することもでき
る。例えば、ユーザＸが、以前撮影した公園に関する画
像音声情報を所望する場合、春の、のどかな、明るい公
園と入力部７ｃを用いて入力できる。入力部７ｃにより
入力される情報は、文字情報として、本実施の形態では
説明する。 【００９７】ステップＳ２１０では、提示装置７の入力
部７ｃにより入力された第２検索情報は、制御部７ｄ、
通信部７ｂ等を介して、サブシステム管理装置６へ送ら
れる。 【００９８】ステップＳ２２０では、サブシステム管理
装置６の制御部６ｅは、保持している格納装置５のアド
レス情報に基づいて、第１検索情報を送信する旨の指示
を第２通信部６ｄ等を介して、格納装置５へ送る。 【００９９】ステップＳ２３０では、格納装置５の制御
部５ｃは、上記指示に基づいて、格納部５ａから第１検
索情報を読み出し、通信部５ｂ等を介して、サブシステ
ム管理装置６の制御部６ｅへ送る。 【０１００】ステップＳ２４０では、サブシステム管理
装置６の制御部６ｅは、第１検索情報及び第２検索情報
を比較部６ｂへ送る。 【０１０１】ステップＳ２５０では、比較部６ｂは、入
力部７ｃにより入力された第２検索情報と、格納部５ａ
に格納されていた各第１検索情報とを比較し、一致する
第１検索情報があるか否かを判定する。この際の判定に
おいて、第２検索情報（よいてんき）と比較する対象
は、各第１検索情報に含まれる類似ワードも含まれる。
例えば、第２検索情報（よいてんき）が第１検索情報
（いいてんき）と一致していなくとも、第１検索情報に
含まれる類似ワード（よいてんき）と一致していれば、
比較部６ｂは、一致する第１検索情報があると判定す
る。 【０１０２】一致する第１検索情報がある場合には、ス
テップＳＳ２８０へ移行する。一致する第１検索情報が
ない場合には、ステップＳ２５５へ移行する。 【０１０３】ステップＳ２５５では、比較部６ｂは、第
２検索情報が、格納されている第１検索情報と直接比較
できる情報であるか否かを判定する。この判定の仕方の
一例を以下に示す。 【０１０４】比較部６ｂは、保持している名詞テーブル
及び形容詞テーブルに基づいて、第２検索情報が、格納
部５ａに格納されている第１検索情報と比較できる情報
であるか否かを判定する。例えば、格納部５ａに格納さ
れている第１検索情報が名詞ワード、形容詞及び名詞ワ
ードの場合には、比較部６ｂは、第２検索情報が名詞ワ
ード、形容詞及び名詞ワードであるか否かを判定する。 【０１０５】直接比較できない情報である場合には、ス
テップＳ２６０へ移行する。直接比較できる情報である
場合には、ステップＳ２５７へ移行する。 【０１０６】ステップＳ２５７では、サブシステム管理
装置６の制御部６ｅは、ユーザＸが入力した第２検索情
報に対応する画像映像情報はない旨を提示するように、
第２通信部６ｄ等を介して、提示装置７に指示する。提
示装置７の制御部７ｄは、その旨を提示部７ａに提示さ
せる。 【０１０７】ステップＳ２６０では、第２検索情報が、
比較部６ｂから制御部６ｅを介して、サブシステム検索
情報生成部６ｆへ送られる。サブシステム検索情報生成
部６ｆは、第２検索情報から新たな第２検索情報（第１
検索情報と直接比較できる情報）を生成する。 【０１０８】この動作について以下に具体的に説明す
る。サブシステム検索情報生成部６ｆの名詞抽出部は、
第２検索情報から、名詞ワードを抽出する。この際、名
詞抽出部は、保持している名詞ワードテーブルを参照し
て、名詞ワードを抽出する。また、形容詞抽出部は、第
２検索情報から形容詞ワードを抽出する。この際、形容
詞抽出部は、保持している形容詞ワードテーブルを参照
して、形容詞ワードを抽出する。 【０１０９】ここで、名詞抽出部及び形容詞抽出部は、
並行して抽出処理を行う。そして、各抽出部は、抽出動
作を行った場合、その抽出時刻を、名詞ワードや形容詞
ワードに与える。その抽出時刻は、名詞ワードや形容詞
ワードに対応づけられて、順番データ生成部へ送られ
る。順番データ生成部は、送られた抽出時刻に基づい
て、名詞ワードや形容詞ワードに対して、順番データを
生成する。 【０１１０】例えば、第２検索情報が、春の、のどか
な、明るい公園である場合を考える。名詞抽出部は、名
詞ワードテーブルを参照して春、公園を抽出する。そし
て、名詞抽出部は、抽出した時刻を抽出した名詞ワード
と対応づけて、順番データ生成部へ送る。同じく、形容
詞抽出部は、形容詞ワードテーブルを参照してのどか
な、明るいを抽出する。そして、形容詞抽出部は、抽出
した時刻を抽出した形容詞ワードと対応づけて、順番デ
ータ生成部へ送る。 【０１１１】順番データ生成部は、送られてきた各時刻
に基づいて、抽出した各ワードに対して、順番データを
生成する。例えば、順番データ生成部は、上記第２検索
情報の場合には、春、のどかな、明るい、公園の順で、
各抽出部により抽出されるので、春に対しては、順番デ
ータＮｏ１，のどかなに対しては、順番データＮｏ２、
明るいに対しては、順番データＮｏ３、公園に対して
は、順番データＮｏ４のように、順番データを生成して
いく。 【０１１２】そして、名詞抽出部により抽出された各名
詞ワード、形容詞抽出部により抽出された各形容詞ワー
ド、これらの対応する順番データが、検索情報生成部へ
送られる。検索情報生成部は、各名詞ワードや各形容詞
ワード、順番データに基づいて、検索情報を生成する。 【０１１３】例えば、上述の第２検索情報の場合、検索
情報生成部は、名詞ワードの順番の前の順番に形容詞ワ
ードが有る場合、形容詞ワードを後に続く名詞ワードに
修飾させて、形容詞及び名詞ワードを生成する。 【０１１４】上述の例の場合には、新たな第２検索情報
１（春、のどかな公園）、新たな第２検索情報２（春、
明るい公園）が生成される。 【０１１５】このようにして、第２検索情報から、格納
装置５に格納されている第１検索情報と直接比較できる
新たな第２検索情報が生成される。サブシステム検索情
報生成部６ｆにより生成された新たな第２検索情報は、
再び、比較部６ｂに送られる。 【０１１６】ステップＳ２７０では、比較部６ｂは、生
成された新たな第２検索情報と、格納部５ａから読み出
された各第１検索情報とを比較し、新たな第２検索情報
と一致する第１検索情報があるか否かを判定する。 【０１１７】ある場合には、ステップＳ２８０へ移行す
る。ない場合には、ステップＳ２５７へ移行する。 【０１１８】ステップＳ２８０では、サブシステム管理
装置６の制御部６ｅは、第２検索情報又はサブシステム
検索情報生成部６ｆにより生成された新たな第２検索情
報と一致する第１検索情報に対応する画像音声情報を送
信するように要求する旨を第２通信部６ｄ等を介して、
格納装置５に送る。 【０１１９】ステップＳ２９０では、格納装置５の制御
部５ｃは、送信された第１検索情報と対応する画像音声
情報を読み出し、通信部５ｂ等を介して、サブシステム
管理装置６の制御部６ｅへ送る。 【０１２０】ステップＳ３００では、サブシステム管理
装置６の制御部６ｅは、送信された画像音声情報を、第
２通信部６ｄ等を介して、提示装置７のアドレス情報に
基づいて、提示装置７に送る。 【０１２１】ステップＳ３１０では、提示装置７の制御
部７ｄは、送信された画像音声情報を提示部７ａに提示
させる。 【０１２２】なお、ステップＳ２９０で、送信された第
１検索情報に対応する画像音声情報が複数存在する場合
には、提示装置７の提示部７ａに、各画像音声情報を特
定する情報を提示させ、ユーザＸに入力部７ｃにより選
択させるようにしてもよい。 【０１２３】（作用効果）本実施の形態によれば、各ユ
ーザが所有するクライアントサブシステム２ではなく、
サーバ装置４（検索情報生成装置）が、各ユーザの操作
により生成された画像音声情報に対して、画像認識処理
及び音声認識処理を行い、第１検索情報を自動的に生成
する。このため、各ユーザが保有するクライアントサブ
システム２が画像認識処理、音声認識処理を行う機能を
有する必要はない。従って、クライアントサブシステム
２から画像認識処理や音声認識処理に関する機能を省略
することができる。そして、本システムでは、ユーザの
操作に基づいて、画像音声情報生成装置１により画像音
声情報を生成した場合に、サーバ装置４が、画像認識処
理等を行うようにしている。このため、高度な検索を行
うために必要な画像認識等に関する各ユーザによるコス
トの負担は、例えば、サーバ装置４が画像認識処理を行
った分だけのコストを負担すればよいので、画像認識処
理機能及び音声認識処理に関するユーザのコスト負担の
軽減を図ることができる。 【０１２４】また、本システムによれば、生成された画
像音声情報、第１検索情報、をクライアントサブシステ
ム２の格納装置５が格納する。そして、ユーザが所望の
画像音声情報を検索するための情報である第２検索情報
を入力部７ｃにより、入力すると、比較部６ｂは、入力
された第２検索情報と、格納された各第１検索情報とを
比較する。そして、比較結果に基づいて、入力された第
２検索情報に対応する画像音声情報が、前記ユーザに提
示部７ａを介して提示される。 【０１２５】このため、本実施の形態によれば、各ユー
ザのコスト負担を軽減するとともに、各ユーザが自由に
生成した画像音声情報に対しても、十分な画像音声認識
処理を行い、この処理結果を利用して迅速かつ正確に所
望の情報を検索できる検索情報を自動的に生成すること
ができる。 【０１２６】従って、本システムによれば、ユーザの利
便性を一層考慮して、ユーザが所望する画像音声情報を
高度に検索して提示することが可能となる。 【０１２７】また、画像認識機能等をサーバ装置４で一
元管理することが出来るため、画像認識等のバージョン
アップ作業においても、各ユーザの負担は軽くなる。 【０１２８】さらに、サーバ装置４に対して、認識能力
を高めるためにスーパーコンピュータ、多ＣＰＵを有す
るコンピュータなどの高性能コンピュータなどを導入す
ることにより、ユーザーにとって、より高度な画像認識
機能及び音声認識処理の利用が可能となる。 【０１２９】なお、本実施の形態では、画像音声情報
は、クライアントサブシステム２の格納装置５に格納す
るようにしたが、これに限定されるわけでなく、必要に
応じて、サーバ装置４の格納部４ｄに格納するようにし
てもよい。例えば、クライアントサブシステム２の格納
装置５に格納されている情報量が多いため、容量に余裕
がないときや、クライアントサブシステム２の格納装置
５に故障があったような場合には、サーバ装置４の格納
部４ｄに一時的にユーザの画像音声情報を格納するよう
にしてもよい。 【０１３０】この場合、サブシステム管理装置６の制御
部６ｅは、サーバ装置４の格納部４ｄに格納されている
画像音声情報の格納位置情報を保持する必要がある。そ
して、制御部４ｆは、提示装置７に提示する画像音声情
報を、格納装置５の格納部５ａ及びサーバ装置４の格納
部４ｄのいずれからも読みだせるようにする必要があ
る。 【０１３１】また、本実施の形態では、画像音声情報生
成装置１は、画像情報と、これに対応する音声情報とか
らなる画像音声情報に対して、第１検索情報を生成する
ようにしたが、これに限定されるわけでない。例えば、
画像音声情報生成装置１は、画像情報に対して、第１検
索情報を生成し、音声情報に対して上記第１検索情報と
は別の第１検索情報を生成するようにしてもよい。 【０１３２】また、本実施の形態の情報検索システム
は、以下のように変形することもできる。 【０１３３】（変形例１） （構成）図５は、変形例１の情報検索システムの構成を
示す図である。図において、図１に示す情報検索システ
ムと同一構成については同一符号を付してその説明を省
略する。 【０１３４】サーバ装置４の画像認識部４ａは、画像音
声情報のうち、画像情報について、第１の所定の解像度
で、画像認識処理を行う。サーバ装置４の音声認識部４
ｂは、画像音声情報のうち、音声情報について、第２の
所定の解像度で、音声認識処理を行う。 【０１３５】ここでいう解像度は、例えば、画像認識や
音声認識を行うのに必要な単位時間当たりの情報量で表
すものとする。但し、解像度の定義の仕方はほかにも種
々の仕方があり、ここでいう解像度は、その一例を示し
たものである。 【０１３６】そして、変形例１のクライアントサブシス
テム２は、情報量決定部６ｇを有する。情報量決定部６
ｇは、画像認識処理の各解像度と、所定量の画像情報に
対して上記各解像度で画像認識処理を行うのに必要な画
像情報の情報量とが対応づけられた第１テーブルを保持
している。 【０１３７】そして、情報量決定部６ｇは、サーバ装置
から送られてきた第１の所定の解像度と、保持している
第１テーブルを参照して、所定量の画像情報に対して、
上記第１の所定の解像度で、画像認識処理を行うのに必
要な画像情報の情報量である第１画像情報量を決定す
る。 【０１３８】情報量決定部６ｇは、音声認識処理の各解
像度と、所定量の音声情報に対して上記各解像度で音声
認識処理を行うのに必要な音声情報の情報量とが対応づ
けられた第２テーブルを保持している。 【０１３９】そして、情報量決定部は、サーバ装置から
送られてきた第２の所定の解像度と、保持している第２
テーブルを参照して、所定量の音声情報に対して、上記
第２の所定の解像度で、音声認識処理を行うのに必要な
音声情報の情報量である第１音声情報量を決定する。 【０１４０】そして、情報量決定部６ｇは、画像音声情
報生成装置１により生成された画像音声情報のうち、画
像情報の情報量である第２画像情報量と、上記決定した
第１画像情報量とを参照する。そして、情報量決定部６
ｇは、参照結果に基づいて、画像音声情報生成装置１に
より生成された第２画像情報量の画像情報に対して、第
１の所定の解像度で、画像認識処理を行うのに必要な画
像情報の情報量である必要画像情報量を決定する。詳し
い動作は、後述する。 【０１４１】また、情報量決定部６ｇは、画像音声情報
生成装置１により生成された画像音声情報のうち、音声
情報の情報量である第２音声情報量と、上記決定した第
１音声情報量とを参照する。そして、情報量決定部６ｇ
は、参照結果に基づいて、画像音声情報生成装置１によ
り生成された第２音声情報量の音声情報に対して、第２
の所定の解像度で、音声認識処理を行うのに必要な音声
情報の情報量である必要音声情報量を決定する。 【０１４２】制御部６ｅは、画像音声情報生成装置１に
より生成された画像音声情報のうち、画像情報について
は、第２画像情報量より少ない情報量である上記必要画
像情報量の画像情報にする。 【０１４３】同じく、制御部６ｅは、画像音声情報生成
装置１により生成された画像音声情報のうち、音声情報
については、第２音声情報量より少ない情報量である必
要音声情報量の音声情報にする。 【０１４４】ここで、制御部６ｅは、例えば、ＭＰＥＧ
等の画像圧縮を行ったり、画像情報中の画素データを間
引くことで、画像情報量を少なくする。また、制御部
は、例えば、音声圧縮を行ったりすることで、音声情報
量を少なくする。 【０１４５】第１通信部（送信部）は、制御部６ｅから
送られた画像情報及び音声情報をサーバ装置４に送信す
る。 【０１４６】サーバ装置４の制御部４ｆは、送信された
画像音声情報のうち、画像情報、音声情報をそれぞれ、
画像認識部４ａ、音声認識部４ｂへ送る。 【０１４７】（動作）変形例１の情報検索システムの動
作について、図２，３、４に示すフローチャート図を用
いて説明する。 【０１４８】ステップＳ１００で、ユーザＸが自分の画
像音声情報生成装置１を用いて、画像音声情報の生成を
行った後、以下の処理が行われる。 【０１４９】画像音声情報生成装置１の制御部１ｆは、
通信部１ｅ等を介して、サブシステム管理装置６のアド
レス情報に基づいて、生成された画像音声情報を送信す
る。 【０１５０】サブシステム管理装置６の制御部６ｅは、
第２通信部６ｄ等を介して、格納装置５に上記画像音声
情報を送信する。この際、サブシステム管理装置６の制
御部６ｅは、一時的に、画像音声情報を保持する。 【０１５１】格納装置５の制御部５ｃは、画像音声情報
を格納部５ａに格納させる。制御部５ｃは、画像音声情
報が格納される前の空き容量と、格納された後の空き容
量に基づいて、画像情報の情報量、音声情報の情報量を
算出する。そして、格納装置５の制御部５ｃは、上記画
像音声情報が格納された旨及び画像情報の情報量、音声
情報量を通信部５ｂ等を介して、サブシステム管理装置
６の制御部６ｅへ送る。制御部６ｅは、画像情報の情報
量及び音声情報の情報量を保持する。そして、制御部６
ｅは、上記画像音声情報に対して、画像認識及び音声認
識を行う要求を第１通信部６ｃ等を介して、サーバ装置
４へ送る。 【０１５２】サーバ装置４の制御部４ｆは、ユーザＸの
クライアントサブシステム２に対する認証処理を行う。
この処理は、ステップＳ１２０と同じである。 【０１５３】サーバ装置４の制御部４ｆは、ユーザＸの
クライアントサブシステム２の正当性を判断した場合、
画像認識部４ａ及び音声認識部４ｂからそれぞれ、第１
の所定の解像度を示す情報、第２の所定の解像度を示す
情報を取得する。 【０１５４】そして、第１の所定の解像度を示す情報及
び第２の所定の解像度を示す情報は、通信部４ｅ等を介
して、クライアントサブシステムの制御部６ｅへ送られ
る。 【０１５５】制御部６ｅは、第１の所定の解像度を示す
情報及び第２の所定の解像度を示す情報、保持している
画像情報の情報量、音声情報の情報量を情報量決定部６
ｇへ送る。 【０１５６】情報量決定部６ｇは、サーバ装置４から送
られてきた第１の所定の解像度と、保持している第１テ
ーブルを参照して、所定量の画像情報に対して、上記第
１の所定の解像度で、画像認識処理を行うのに必要な画
像情報の情報量である第１画像情報量を決定する。 【０１５７】そして、情報量決定部６ｇは、サーバ装置
４から送られてきた第２の所定の解像度と、保持してい
る第２テーブルを参照して、所定量の音声情報に対し
て、上記第２の所定の解像度で、音声認識処理を行うの
に必要な音声情報の情報量である第１音声情報量を決定
する。 【０１５８】そして、情報量決定部６ｇは、画像音声情
報生成装置１により生成された画像音声情報のうち、画
像情報の情報量である第２画像情報量と、上記決定した
第１画像情報量とを参照する。そして、情報量決定部６
ｇは、参照結果に基づいて、画像音声情報生成装置１に
より生成された第２画像情報量の画像情報に対して、第
１の所定の解像度で、画像認識処理を行うのに必要な画
像情報の情報量である必要画像情報量を決定する。 【０１５９】例えば、必要画像情報量は、第２画像情報
量＊（第１画像情報量／所定量）で算出される。 【０１６０】また、情報量決定部６ｇは、画像音声情報
生成装置１により生成された画像音声情報のうち、音声
情報の情報量である第２音声情報量と、上記決定した第
１音声情報量とを参照する。そして、情報量決定部６ｇ
は、参照結果に基づいて、画像音声情報生成装置１によ
り生成された第２音声情報量の音声情報に対して、第２
の所定の解像度で、音声認識処理を行うのに必要な音声
情報の情報量である必要音声情報量を決定する。 【０１６１】例えば、必要音声情報量は、第２音声情報
量＊（第１音声情報量／所定量）で算出される。 【０１６２】情報量決定部６ｇは、決定した必要画像情
報量及び必要音声情報量を制御部６ｅへ送る。 【０１６３】制御部６ｅは、保持している画像音声情報
のうち、画像情報については、画像情報量を上記決定さ
れた必要画像情報量にする。制御部６ｅは、保持してい
る画像音声情報のうち、音声情報については、音声情報
量を上記決定された必要音声情報量にする。 【０１６４】制御部６ｅは、必要画像情報量の画像情
報、必要音声情報量の音声情報を第１通信部（送信部）
６ｃ等を介して、サーバ装置４へ送る。 【０１６５】その後、ステップＳ１３０以降の処理が行
われる。 【０１６６】変形例１においても、実施の形態１の効果
が得られる。また、本変形例では、情報量決定部６ｇ
は、所定の解像度で、画像認識及び音声認識を行うのに
必要な情報量を決定できる。このため、送信部６ｃが、
サーバ装置４に対して、画像音声情報生成装置１で生成
された全ての情報量ではなく、画像認識や音声認識を所
定の解像度で行うのに必要な情報量だけ画像音声情報を
サーバ装置４に送信すれば、サーバ装置４は、所定の解
像度で、画像認識及び音声認識処理を行える。この結
果、画像認識や音声認識に影響を与えることなく、公衆
ネットワーク３の回線の混雑緩和や転送時間の短縮化を
図れることができる。 【０１６７】（変形例２）図１に示す情報検索システム
の同一構成、機能についてはその説明を省略する。 【０１６８】（構成）変形例２に係るサーバ装置４で
は、格納部４ｄに、各種の素材画像情報（例えば、背景
画像）や素材音声情報（例えば、効果音）が格納されて
いる。 【０１６９】クライアントサブシステム２は、図６に示
すように、格納装置５に格納された画像音声情報に対し
て、上記素材画像情報や素材音声情報を合成する合成編
集装置１０を有する。 【０１７０】（動作）変形例２のシステムでは、ステッ
プＳ３１０やＳ２５７の処理の後、または、しばらくし
てから、以下の動作を行うこともできる。 【０１７１】ユーザＸは、提示装置７の入力部７ｃによ
り、各素材画像情報、素材音声情報の一覧を示す情報を
送る要求を入力する。 【０１７２】上記要求は、提示装置７の制御部７ｄ等を
介して、サーバ装置４の制御部４ｆへ送られる。 【０１７３】サーバ装置４の制御部４ｆは、保持してい
る上記一覧情報を通信部４ｅ等を介して、提示装置７の
提示部７ａに提示させる。 【０１７４】ユーザＸは、一覧情報に基づいて、提示装
置７の入力部７ｃにより所望の素材画像情報、素材音声
情報を特定する情報、これらの画像情報、素材画像情報
の配置情報、素材音声情報を挿入するタイミング情報等
のコマンド列情報を入力する。 【０１７５】上記コマンド列情報のうち、素材画像情報
や素材音声情報を特定する情報は、提示装置７の制御部
７ｄ等を介して、サーバ装置４の制御部４ｆへ送られ
る。画像情報の配置情報やタイミング情報は、合成編集
装置１０へ送られる。 【０１７６】サーバ装置４の制御部４ｆは、送信された
上記特定する情報に基づいて、素材画像情報、素材音声
情報を格納部４ｄから読み出し、通信部４ｅ等を介し
て、サブシステム管理装置６の制御部６ｅへ送る。制御
部６ｅは、いったん、素材画像情報、素材音声情報を保
持する。 【０１７７】サブシステム管理装置６の制御部６ｅは、
第２通信部６ｄ等を介して、提示装置７の提示部７ａ
に、合成編集を行う対象の画像音声情報を検索するため
の第２検索情報を入力するように提示させる。 【０１７８】その後、ステップＳ２００からステップＳ
２９０の動作が行われる。 【０１７９】サブシステム管理装置６の制御部６ｅは、
送信された画像音声情報、いったん保持していた素材音
声情報、素材画像情報を合成編集装置１０へ送る。 【０１８０】合成編集装置１０は、画像音声情報に対し
て、保持している配置情報やタイミング情報に基づい
て、素材画像情報や素材音声情報を合成編集して、新た
な画像音声情報を生成する。 【０１８１】新たな画像音声情報は、サブシステム管理
装置６の制御部６ｅを介して、格納装置５の格納部５ａ
に格納される。この際、新たな画像音声情報は、編集前
の画像音声情報に対応づけられていた第１検索情報と対
応づけられる。 【０１８２】変形例２によれば、既に生成された画像音
声情報に対して、効果音や背景画像を付け加えるような
合成編集ができ、より一層ユーザの利便性を考慮するこ
とができる。また、サーバ装置４の格納部４ｄに格納さ
れている素材画像情報や素材音声情報をすべてクライア
ントサブシステム２に送信する必要がなくなる。 【０１８３】なお、素材画像情報や素材音声情報に文字
情報等が対応づけられている場合には、サブシステム管
理装置６の検索情報生成部６ｆは、編集前の画像音声情
報に対応づけられていた第１検索情報と、上記文字情報
等を考慮して、新たな第１検索情報を生成するようにし
てもよい。そして、検索情報生成部６ｆは、この新たな
第１検索情報を合成編集後の画像音声情報と対応づける
ようにしてもよい。 【０１８４】（変形例３）変形例２のシステムをさらに
以下のように変形することもできる。 【０１８５】合成編集装置１０が、合成編集処理をし
て、新たな画像音声情報を生成した後、以下のようにす
ることも可能である。 【０１８６】生成された新たな画像音声情報がサブシス
テム管理装置６の制御部６ｅを介して、提示装置７の提
示部７ａにて提示される。 【０１８７】ユーザＸは、提示された新たな画像音声情
報に満足する場合には、その旨を入力部７ｃにより入力
する。 【０１８８】この場合には、新たな画像音声情報は、サ
ブシステム管理装置６の制御部６ｅを介して、格納装置
５の格納部５ａに格納される。この際、新たな画像音声
情報は、例えば、編集前の画像音声情報に対応づけられ
ていた第１検索情報と対応づけられる。 【０１８９】一方、ユーザＸが提示された新たな画像音
声情報に満足しない場合には、ユーザＸが入力部７ｃを
用いてその旨を入力し、再度、上記変形例２の動作を行
わせるようにしてもよい。そして、ユーザＸが満足する
新たな画像音声情報が得られるまで、上述の動作を繰り
返すようにしてもよい。 【０１９０】なお、変形例２では、合成編集機能はクラ
イアントサブシステム２に設けたが、サーバ装置４に設
け、サーバ装置４が、新たな画像音声情報を生成するよ
うにし、それを提示装置７の提示部７ａに提示させ、ユ
ーザが満足不満足を判断するようにしてもよい。 【０１９１】（変形例４）図１に示す情報検索システム
と同一構成、機能についてはその説明を省略する。 【０１９２】変形例４の画像認識部４ａは、シーンチェ
ンジ管理部（図示せず）を有する。シーンチェンジ管理
部は、抽出部により抽出された特徴情報を所定時間ごと
に監視し、特徴情報に変化があった場合には、変化する
前後のタイミングで、シーンチェンジがあったとして、
シーンチェンジタイミング情報を生成する。 【０１９３】そして、サーバ装置４の制御部４ｆは、画
像情報とともにシーンチェンジタイミング情報をクライ
アントサブシステム２に送信する。 【０１９４】クライアントサブシステム２のサブシステ
ム管理装置６は、画像情報及びシーンチェンジタイミン
グ情報を提示装置７の提示部７ａに提示させる。この
際、画像情報はストリーム形式で提示される。 【０１９５】ユーザＸは、提示装置７の入力部７ｃを用
いて、シーンチェンジタイミングの採用、不採用の旨を
入力する。入力された採用不採用の旨は、サーバ装置４
の制御部４ｆへ送られる。 【０１９６】画像認識部４ａは、送られたシーンチェン
ジタイミングの採用、不採用に基づいて、画像音声情報
生成装置１で生成された画像情報を、複数の画像情報に
分ける。検索情報生成部４ｃは、分けられた画像情報ご
とに第１検索情報を生成する。 【０１９７】（動作）変形例４の情報検索システムの動
作について、図２，３、４に示すフローチャート図を用
いて説明する。 【０１９８】ステップＳ１００からステップＳ１３０の
処理の後、ステップＳ１４０で、画像認識部４ａは、以
下の処理を行う。即ち、画像ストリームに対して、抽出
部により抽出された特徴情報が、シーンチェンジ管理部
へ送られる。シーンチェンジ管理部が、特徴情報が変化
したと判断した場合には、変化する前後のタイミング
で、シーンチェンジがあったとして、シーンチェンジタ
イミング情報を生成する。 【０１９９】そして、シーンチェンジ管理部は、画像情
報及びこの画像情報の場面区切りのタイミングを示すシ
ーンチェンジタイミング情報をサーバ装置４の制御部４
ｆへ送る。 【０２００】サーバ装置４の制御部４ｆは、通信部４ｅ
等を介して、上記画像情報及びシーンチェンジタイミン
グ情報を提示装置７に送信する。 【０２０１】提示装置７の制御部７ｄは、提示部７ａに
上記画像情報及びシーンチェンジタイミング情報を提示
させる。 【０２０２】ユーザＸは、提示部７ａにより提示される
上記画像情報及びシーンチェンジタイミング情報を参照
して、入力部７ｃを用いて、シーンチェンジするタイミ
ングが適当と判断した場合には、シーンチェンジタイミ
ング情報に採用という情報を与え、シーンチェンジする
タイミングが不適当と判断した場合には、シーンチェン
ジタイミング情報に不採用という情報を与える。 【０２０３】ユーザＸにより入力された採用、不採用の
情報は、画像情報、シーンチェンジタイミング情報とと
もに、通信部７ｂ等を介して、サーバ装置４の制御部４
ｆへ送られる。 【０２０４】サーバ装置４の制御部４ｆは、上記採用不
採用等の情報を画像認識部４ａの特徴情報比較部及び検
索情報生成部４ｃへ送る。 【０２０５】画像認識部４ａの特徴情報比較部は、実施
の形態１で示したように、一定の場合には、画像認識情
報を検索情報生成部４ｃへ出力する。そして、画像認識
部４ａの特徴情報比較部による上記処理は、採用された
シーンチェンジタイミングの画像まで行われる。 【０２０６】そして、音声認識部４ｂにより出力された
音声認識情報、画像認識部４ａにより出力された画像認
識情報は、検索情報生成部４ｃへ送られる。検索情報生
成部４ｃは、出力された音声認識情報と、出力された画
像認識情報とに基づいて、第１検索情報を生成する。 【０２０７】同様にして、次に採用されたシーンチェン
ジタイミングの画像まで画像認識部４ａの特徴情報比較
部による上記処理が行われ、検索情報生成部４ｃにより
第１検索情報が生成される。以降、画像認識部４ａに画
像情報が入力されなくなるまで、上述の動作が行われ
る。 【０２０８】このようにして、画像音声情報生成装置１
で生成された画像情報が、シーンチェンジを考慮して、
複数の画像情報に分けられる。そして、画像情報及び音
声情報からなる画像音声情報に対して、第１検索情報が
生成される。 【０２０９】以降の処理は、ステップＳ１６０以降の処
理と同じである。 【０２１０】変形例４のシステムは、画像音声情報生成
装置１により生成された画像情報に対して、シーンチェ
ンジを考慮して複数の画像情報に分け、それぞれに対し
て第１検索情報が生成できる。このため、より一層ユー
ザの利便性を考慮することができる。 【０２１１】（変形例５）変形例５のシステムは、放送
信号受信装置（図示せず）を有する。 【０２１２】サーバ装置４は、放送信号として、画像情
報や音声情報のほか、文字情報（例えば、ＥＰＧ情報）
も受信する放送信号受信部（図示せず）を有する。 【０２１３】また、サーバ装置４は、文字情報を認識す
る文字情報認識部（図示せず）を有する。 【０２１４】文字認識部による文字認識処理は、例え
ば、以下のようにして行われる。文字認識部は、予め、
所定の複数のワード（名詞等）が記録されたテーブルを
保持している。そして、入力された文字情報に対して、
テーブルに記録されたワードと一致するワードを文字認
識情報として出力する。 【０２１５】（動作）先ず、放送信号受信部は、画像情
報、音声情報、文字情報を含む放送信号を受信する。こ
の放送信号は、サーバ装置４の制御部４ｆへ送られる。 【０２１６】サーバ装置４の制御部４ｆは、画像情報を
画像認識部４ａへ、音声情報を音声認識部４ｂへ、文字
情報を文字認識部へ送る。 【０２１７】画像認識部４ａにより認識処理されて出力
された画像認識情報、音声認識部４ｂにより認識処理さ
れて出力された音声認識情報、文字認識部により認識処
理されて出力された文字認識情報が検索情報生成部４ｃ
へ送られる。 【０２１８】検索情報生成部４ｃは、各認識情報に基づ
いて第１検索情報を生成する。 【０２１９】そして、サーバ装置４の制御部４ｆは、生
成した第１検索情報と、対応する画像音声情報を格納部
４ｄに格納する。 【０２２０】そして、サーバ装置４の制御部４ｆは、通
信部４ｅを介して、各クライアントサブシステム２に対
して、上記格納した画像音声情報に関する情報、画像音
声情報を特定する情報を送信する。そして、送信された
上記情報は、提示装置７の提示部７ａにて提示される。 【０２２１】ユーザＸが上記画像音声情報を取得したい
と判断した場合は、取得要求、画像音声情報を特定する
情報を入力部７ｃにより入力する。その取得要求等は、
通信部７ｂ、サブシステム管理装置６の制御部６ｅ等を
介して、サーバ装置４の制御部４ｆへ送られる。 【０２２２】サーバ装置４の制御部４ｆは、取得要求及
び画像音声情報を特定する情報に基づいて、格納部４ｄ
に格納されている画像音声情報を読み出し、通信部４ｅ
等を介して、ユーザＸのクライアントサブシステム２に
送信する。 【０２２３】クライアントサブシステム２のサブシステ
ム管理装置６の制御部６ｅは、第２通信部６ｄを介し
て、格納装置５の格納部５ａに格納させる。 【０２２４】これにより、ユーザが希望する放送信号の
画像や音声の情報をユーザのサブシステム２に格納する
ことができ、必要に応じて提示させることができる。 【０２２５】（変形例６）本システムは、また、以下の
ように変形することもできる。 【０２２６】サーバ装置４の制御部４ｆは、画像認識処
理や音声認識処理の変更、更新があった場合等、各ユー
ザに提供するサービス内容の変更があった場合、その変
更、更新内容を各クライアントサブシステム２に送る。 【０２２７】クライアントサブシステム２のサブシステ
ム管理装置６の制御部６ｅは、変更、更新内容を第２通
信部６ｄ等を介して、提示装置７の提示部７ａに提示さ
せる。 【０２２８】ユーザは、提示部７ａにより提示された変
更、更新内容に基づいて、サービスを継続して受けるか
否かを判断する。 【０２２９】現在受けているサービスを変更するような
場合には、その旨を入力部７ｃにより入力すると、通信
部７ｂ等を介して、サーバ装置４の制御部４ｆへ送られ
る。 【０２３０】サーバ装置４の制御部４ｆは、変更要求し
てきたユーザの画像音声情報生成装置１やサブシステム
からの情報に対しては、変更要求に基づいてサービスを
行うようにする。 【０２３１】また、現在受けているサービスを継続する
ような場合には、その旨を入力部７ｃにより入力する
と、通信部７ｂ等を介して、サーバ装置４の制御部４ｆ
へ送られる。 【０２３２】サーバ装置４の制御部４ｆは、上記ユーザ
の画像音声情報生成装置１やクライアントサブシステム
２からの情報に対しては、継続してきたサービスを行う
ようにする。 【０２３３】（変形例７）本システムは、また、以下の
ように変形することもできる。 【０２３４】サーバ装置４の画像認識処理や音声認識処
理に変更、更新があった場合（例えば、画像認識処理の
精度を上げたような場合）には、その旨が通信部４ｅ等
を介して、各ユーザのクライアントサブシステム２に送
られる。 【０２３５】提示装置７の提示部７ａにより提示された
変更、更新内容をユーザが見て、変更、更新後の認識処
理サービスを希望する旨を入力部７ｃにより入力した場
合、その旨は通信部７ｂ等を介して、サーバ装置４の制
御部４ｆへ送られる。 【０２３６】サーバ装置４の制御部４ｆは、送信された
希望する旨に基づいて、上記ユーザの画像音声情報に対
して、新たに第１検索情報を生成するように判断する。
そして、制御部４ｆは、画像情報音声情報の送信要求
を、クライアントサブシステム２に送信する。 【０２３７】サブシステム管理装置６の制御部６ｅは、
第２通信部６ｄ等を介して、格納装置５の格納部５ａか
ら全ての画像音声情報を読み出し、サーバ装置４へ送
る。 【０２３８】サーバ装置４の制御部４ｆは、送信された
画像音声情報のうち、画像情報を画像認識部４ａへ、音
声情報を音声認識部４ｂへ送り、検索情報生成部４ｃに
新たな第１検索情報を生成させる。 【０２３９】そして、制御部４ｆは、新たな第１検索情
報を画像音声情報と対応づけて、通信部４ｅ等を介し
て、クライアントサブシステム２に送る。 【０２４０】クライアントサブシステム２では、サブシ
ステム管理装置６を介して、画像音声情報が上記新たな
第１検索情報と対応づけられて格納装置５の格納部５ａ
に格納される。 【０２４１】本変形例によれば、サーバ装置４が、一元
的に、画像音声認識サービスを行っているので、画像音
声認識サービスの変更、更新があった場合でも、速やか
に、各ユーザが保有する画像音声情報に対する変更更新
後の画像音声認識処理を行い、新たな第１検索情報を生
成できる。 【０２４２】（変形例８）また、サーバ装置４の格納部
４ｄに、各ユーザに対して提供するための画像情報、音
声情報、検索情報が格納されるようにしてもよい。 【０２４３】この画像情報、音声情報としては、サーバ
装置４が管理する放送信号に関するものでもよいし、各
ユーザが他のユーザに対して、提供してもよいとして提
供した画像情報、音声情報（効果音や背景画像が合成編
集された画像情報も含む）でもよい。 【０２４４】そして、これらの提供用の画像情報、音声
情報に関する情報を各クライアントサブシステム２に送
信し、各ユーザのサブシステム２から所定の画像情報、
音声情報について送信要求があった場合には、サーバ装
置４は、上記送信要求があった画像情報、音声情報を上
記サブシステム２に提供するようにしてもよい。 【０２４５】例えば、Ｖｉｄｅｏ−ＣＤ、ＤＶＤ等の記
録メディア（パッケージメディア）に記録したいという
要求がユーザからあった場合等である。 【０２４６】（変形例９）サーバ装置４が各ユーザのク
ライアントサブシステム２に種々のサービスを提供する
場合、提供するサービスの内容に応じて、各ユーザから
徴収する料金を決め、サービスを提供する際、又は提供
後に、そのサービスの提供に必要な料金を各サブシステ
ム２から徴収することも可能である。 【０２４７】各クライアントサブシステム２に料金を請
求する方法には、種々の方法があり、ここでは、特に限
定しない。例えば、以下のような請求方法がある。即
ち、サーバ装置４の格納部４ｄは、各サービスと、サー
ビスの提供に必要な料金との対応テーブルを格納してい
る。そして、サーバ装置４の制御部４ｆは、所定のユー
ザに対して、サービスを提供する際に上記対応テーブル
を参照して、料金を示す情報を送信する。 【０２４８】なお、サービスの提供にあたって、サービ
スの回数によらず、受けるサービスの種類で料金を定め
ることもできる。また、同じサービスであっても、サー
ビスを受ける回数によって、料金を定めることもでき
る。 【０２４９】また、サーバ装置４の格納部４ｄに格納さ
れている画像情報、音声情報、素材画像情報、素材音声
情報が、所定のユーザから提供されたものであるとき、
サーバ装置４があるユーザのクライアントサブシステム
２に上記情報のいずれかを提供して、料金を徴収した場
合、上記所定のユーザに料金の一部を返金するようにし
てもよい。なお、返金する金額は、所定ユーザとサーバ
装置４の管理者との事前にやりとり等で決められる。 【０２５０】（適用例）本実施の形態における検索シス
テムは、以下のようなシステムに適用することも可能で
ある。 【０２５１】図７は、本実施の形態の情報検索システム
の適用例を示す構成図である。ここで、図１に示すシス
テムと同一構成、同一機能については、同一符号を付し
てその説明を簡略又は省略する。 【０２５２】適用例に係るシステムでは、クライアント
サブシステム２は、サブシステム管理装置６、テレビ受
像装置１２、格納装置５を有する。各部は、ローカルネ
ットワーク８で接続されている。また、サブシステム管
理装置６とテレビ受像装置１２との間、テレビ受像装置
１２と格納装置５との間、サブシステム管理装置６と格
納装置との間は、ＡＶケーブル９で接続されている。こ
のＡＶケーブル９は、画像情報や音声情報の送受信に使
う回線である。 【０２５３】サブシステム管理装置６は、以下に示す点
を除いて、図１に示すサブシステム管理装置６の構成、
機能と同じである。サブシステム管理装置６の格納部
（図示せず）には、格納装置５に記録されている画像音
声情報に対応する第１検索情報が格納されている。 【０２５４】また、サブシステム管理装置６は、テレビ
受像装置１２等との間で、画像情報、音声情報の通信を
行うＡＶ通信部（図示せず）を有する。 【０２５５】テレビ受像装置１２は、図１に示す提示装
置７に対応するものである。テレビ受像装置１２の構成
は以下の点を除いて、図１に示す構成と同じである。 【０２５６】テレビ受像装置１２は、サブシステム管理
装置６との間で、画像情報、音声情報の通信を行う第１
ＡＶ通信部（図示せず）と、格納装置５との間で、画像
情報、音声情報の通信を行う第２ＡＶ通信部（図示せ
ず）を有する。 【０２５７】格納装置５は、図１に示す格納装置に対応
するものである。格納装置の構成は以下の点を除いて、
図１に示す構成と同じである。格納装置５は、テレビ受
像装置１２等との間で、画像音声情報の通信を行うＡＶ
通信部（図示せず）を有する。 【０２５８】格納装置５は、例えば、ＤＶＤーＲＡＭデ
ィスク記録装置、ＶＩＤＥＯ−ＣＤ，ＤＶＤ等の記録メ
ディアで構成することが可能である。 【０２５９】（動作）図２，３，４に示すフローチャー
ト図を用いて適用例のシステムの動作について説明す
る。 【０２６０】ステップＳ１００〜Ｓ１６０の処理の後、
ステップＳ１７０では、以下の処理が行われる。 【０２６１】ステップＳ１７０では、クライアントサブ
システム２のサブシステム管理装置６の制御部６ｅは、
保持している格納装置５のアドレス情報に基づいて、Ａ
Ｖ通信部及びＡＶケーブル９等を介して、格納装置５へ
画像音声情報を送る。画像音声情報は、格納装置５の格
納部５ａに格納される。 【０２６２】一方、サブシステム管理装置６の制御部６
ｅは、格納装置５へ送った画像音声情報と対応づけて第
１検索情報を、サブシステム管理装置６の格納部６ａに
格納する。 【０２６３】サブシステム管理装置６の制御部６ｅは、
画像音声情報及びその第１検索情報が格納された旨を、
ローカルネットワーク８等を介して、テレビ受像装置１
２の表示部（図示せず）に送る。テレビ受像装置１２の
表示部にて、上記旨が表示される。 【０２６４】（２）ユーザＸが所望する画像音声情報の
提示動作については、図３，４のステップＳ２００から
Ｓ３１０の処理が行われる。この際、サブシステム管理
装置６の制御部６ｅは、第１検索情報を格納装置５では
なく、サブシステム管理装置６の格納部６ａから読み出
す。また、画像音声情報についての通信は、ＡＶケーブ
ル９やＡＶ通信部を介して行う。それ以外の点は、実施
の形態１のシステムの動作と同じである。 【０２６５】また、実施の形態１の変形例１から変形例
９については、適用例のシステムについても同様に適用
できる。図８は、適用例のシステムを実施の形態１の変
形例２のように変形した場合の構成を示す図である。 【０２６６】実施の形態２． （構成）図９は、本発明の実施の形態２である情報検索
システムの構成を示す図である。 【０２６７】実施の形態２のシステムにおいて、実施の
形態１の構成と同一構成については、同一符号を付して
その説明を省略する。情報検索システムにおいて、実施
の形態１のシステムと異なる点は、以下の点にある。 【０２６８】情報検索システムは、サーバ装置４等と公
衆ネットワーク３を介して接続された無線局２０を有す
る。無線局２０は、複数の携帯電話型画像音声情報生成
装置２１と無線ネットワーク２２を介して接続される。
この携帯電話型画像音声情報生成装置２１は、例えば、
携帯電話等で構成され、その構成は、実施の形態１の画
像音声情報生成装置１の構成と同じである。但し、通信
部１ｅは、無線局２０とデータ通信を行う。 【０２６９】本システムでは、クライアントサブシステ
ム２の代わりに、クライアントＰＣ端末装置３０が設け
られている。 【０２７０】クライアントＰＣ端末装置３０は、メモリ
部３０ａ（例えば、ハードディスク等）、提示部３０ｂ
（例えば、ＣＲＴ等）、入力部３０ｃ（例えば、キーボ
ード、マウス等）、通信部３０ｄ、ＣＰＵ３０ｅを有す
る。 【０２７１】メモリ部３０ａには、クライアントＰＣ端
末装置３０のユーザの識別情報や、ＣＰＵ３０ｅに各種
の動作を実行させるための実行プログラム、画像音声情
報、これらに対応する第１検索情報等各種のデータが格
納されている。 【０２７２】入力部３０ｃには、ユーザにより各種のデ
ータが入力される。通信部３０ｄは、サーバ装置４や無
線局２０と公衆ネットワーク３を介して、データ通信を
行う。 【０２７３】ＣＰＵ３０ｅは、メモリ部３０ａの実行プ
ログラムを解読して、後述する比較部４１等に比較動作
を行わせたり、制御部４２に各種の動作を行わせるよう
に命令する解読命令部４０と、解読命令部４０により命
令された指示に基づいて、ユーザにより入力された第２
検索情報と、メモリ部３０ａに格納されている第１検索
情報とを比較する比較部４１と、各部を制御する制御部
４２とを有する。 【０２７４】ここで、上記比較部４１は、第２検索情報
と各第１検索情報が一致しないと判定した場合、第２検
索情報が、第１検索情報と直接比較できる情報であるか
否かを判定する。 【０２７５】また、ＣＰＵ３０ｅは、第２検索情報と一
致した第１検索情報がないと判定された場合であって、
第２検索情報が、第１検索情報と直接比較できる情報で
ないと判定された場合、第２検索情報から、新たな第２
検索情報（第１検索情報と直接比較できる情報）を生成
する検索情報生成部４３を有する。 【０２７６】（動作）実施の形態２の情報検索システム
の動作について、図２，３，４に示すフローチャート図
を用いて説明する。実施の形態１に示す動作と同一動作
については、その説明を省略する。 【０２７７】ここで、クライアントＰＣ端末装置３０
は、電源がオンされると、ＣＰＵ３０ｅがメモリ部３０
ａから実行プログラムを読み出し、解読命令部４０が解
読して、各部に対して、それぞれ、各種の動作を実行で
きるように命令する。すると、ＣＰＵ３０ｅ内の各部
は、各種の動作が実行できるように設定される。 【０２７８】ステップＳ１００、Ｓ１１０の処理におい
て、携帯電話型画像音声情報生成装置２１とサーバ装置
４との間の通信は、無線局２０を介して行われる。 【０２７９】ステップＳ１２０では、サーバ装置４は、
ユーザＸのクライアントＰＣ端末装置３０に対する認証
処理を行う。 【０２８０】サーバ装置４の制御部４ｆは、ユーザＸの
クライアントＰＣ端末装置３０に対して、識別情報を送
信する旨の情報を通信部４ｅ等を介して、ＰＣ端末装置
３０のＣＰＵ３０ｅの制御部４２へ送る。制御部４２
は、メモリ部３０ａから識別情報を読み出し、通信部３
０ｄ等を介して、サーバ装置４の制御部４ｆへ送信す
る。制御部４ｆは、送られてきた識別情報と、格納部４
ｄに格納されているユーザＸのＰＣ端末装置３０の識別
情報とを比較し、一致する場合には、ユーザＸのＰＣ端
末装置３０は正当なものと判断する。 【０２８１】この後、ステップＳ１３０、Ｓ１４０、Ｓ
１５０の処理が行われる。この際、携帯電話型画像音声
情報生成装置２１とサーバ装置４との間の通信は、無線
局２０を介して行われる。 【０２８２】ステップＳ１６０では、検索情報生成部４
ｃから生成された第１検索情報が送られたサーバ装置４
の制御部４ｆは、保持していた画像音声情報を、上記第
１検索情報及びユーザＸの識別情報と対応づけて、通信
部４ｅ等を介して、ユーザＸのＰＣ端末装置３０へ送
る。 【０２８３】ステップＳ１７０では、ＰＣ端末装置３０
のＣＰＵ３０ｅの制御部４２は、メモリ部３０ａに画像
音声情報及びこれに対応する第１検索情報を送り、格納
させる。制御部４２は、画像音声情報及びその第１検索
情報がメモリ部３０ａに格納された旨を提示部３０ｂに
提示させる。 【０２８４】次に、ユーザＸが所望する画像音声情報の
提示動作について、図３，４を用いて、説明する。 【０２８５】ステップＳ２００では、ユーザＸは、ＰＣ
端末装置３０の入力部３０ｃから、所望の音声画像情報
を検索を行うのに必要な情報である第２検索情報を入力
する。 【０２８６】ステップＳ２１０では、ＰＣ端末装置３０
の入力部３０ｃにより入力された第２検索情報は、制御
部４２へ送られる。 【０２８７】ステップＳ２２０、Ｓ２３０では、ＰＣ端
末装置３０の制御部４２は、メモリ部３０ａから第１検
索情報を読み出す。 【０２８８】ステップＳ２４０では、ＰＣ端末装置３０
の制御部４２は、第１検索情報及び第２検索情報を比較
部４１へ送る。 【０２８９】ステップＳ２５０では、比較部４１は、第
２検索情報と、各第１検索情報とを比較し、一致するか
否かを判定する。 【０２９０】一致する第１検索情報がある場合には、ス
テップＳＳ２８０へ移行する。一致する第１検索情報が
ない場合には、ステップＳ２５５へ移行する。 【０２９１】ステップＳ２５５では、比較部４１は、第
２検索情報が、格納されている第１検索情報と直接比較
できる情報であるか否かを判定する。 【０２９２】直接比較できない情報である場合には、ス
テップＳ２６０へ移行する。直接比較できる情報である
場合には、ステップＳ２５７へ移行する。 【０２９３】ステップＳ２５７では、ＰＣ端末装置３０
の制御部４２は、ユーザＸが入力した第２検索情報に対
応する画像映像情報はない旨を提示するように、提示部
３０ｂに指示する。提示部３０ｂは、その旨を提示す
る。 【０２９４】ステップＳ２６０では、第２検索情報が、
比較部４１から制御部４２を介して、検索情報生成部４
３へ送られる。検索情報生成部４３は、第２検索情報か
ら新たな第２検索情報を生成する。検索情報生成部４３
により生成された新たな第２検索情報は、再び、比較部
４１に送られる。 【０２９５】ステップＳ２７０では、比較部４１は、生
成された新たな第２検索情報と、メモリ部３０ａから読
み出された各第１検索情報とを比較し、生成された新た
な第２検索情報と一致する第１検索情報があるか否かを
判定する。 【０２９６】ある場合には、ステップＳ２８０へ移行す
る。ない場合には、ステップＳ２５７へ移行する。 【０２９７】ステップＳ２８０、Ｓ２９０では、ＣＰＵ
３０ｅの制御部４２は、第２検索情報又は，検索情報生
成部４３により生成された新たな第２検索情報と一致す
る第１検索情報に対応する画像音声情報をメモリ部３０
ａから読み出す。 【０２９８】ステップＳ３００では、ＣＰＵ３０ｅの制
御部４２は、読み出した画像音声情報を、提示部３０ｂ
に送る。 【０２９９】ステップＳ３１０では、提示部３０ｂは、
送信された画像音声情報を提示する。 【０３００】本実施の形態においても、実施の形態１の
効果が得られる。また、本実施の形態においても、実施
の形態１で示した変形例１から９までの変形が可能であ
る。この際、画像音声情報生成装置１を携帯画像音声情
報生成装置１に代え、提示装置７の通信部７ｂ、制御部
７ｄ、格納装置５の通信部５ｂ、制御部５ｃに関する動
作をなくし、提示装置７の提示部７ａを提示部３０ｂに
代え、提示装置７の入力部７ｃを入力部３０ｃに代え、
格納装置５の格納部５ａをメモリ部３０ａに代える。 【０３０１】また、クライアントサブシステム２、サブ
システム管理装置６をＰＣ端末装置３０に代え、サブシ
ステム管理装置６の第１通信部６ｃ，第２通信部６ｄに
関する動作をなくす。そして、サブシステム管理装置６
の格納部６ａは、メモリ部３０ａに代える。 【０３０２】実施の形態２において、実施の形態１で示
した変形例１を適用した情報検索システムの構成を図１
０に示す。実施の形態１で示した情報量決定部４３は、
ＣＰＵ３０ｅ内に設けられている。 【０３０３】そして、通信部３０ｄ（送信部）は、情報
量決定部４３により決定された必要情報量で、携帯電話
型画像音声情報生成装置２１により生成された画像音声
情報をサーバ装置４に送信する。 【０３０４】 【発明の効果】本発明によれば、各ユーザのコスト負担
を軽減するとともに、各ユーザが自由に生成した画像音
声情報に対しても、十分な画像音声認識処理を行い、こ
の処理結果を利用して迅速かつ正確に所望の情報を検索
できる検索情報を自動的に生成することができる。従っ
て、本システムによれば、ユーザの利便性を一層考慮し
て、ユーザが所望する画像音声情報を高度に検索して提
示することが可能となる。 【０３０５】また、本システムの情報量決定手段は、所
定の解像度で、画像認識及び音声認識を行うのに必要な
情報量を決定できる。このため、送信手段が、画像音声
情報生成装置で生成された全ての情報量ではなく、画像
認識や音声認識を所定の解像度で行うのに必要な情報量
だけ、画像音声情報を検索情報生成装置に送信すれば、
検索情報生成装置は、所定の解像度で、画像認識及び音
声認識処理を行える。この結果、画像認識や音声認識に
影響を与えることなく、回線の混雑緩和や転送時間の短
縮化を図れることができる。
画像情報や音声情報を検索することできる情報検索シス
テムに関するものである。 【０００２】 【従来の技術】近年、撮影機材の変化により、デジタル
画像情報や音声情報が、撮影装置自体にセットされた格
納装置に格納されるだけでなく、ネットワークを通じ
て、該ネットワークに接続されたデータベース等の格納
装置に格納されるようになってきている。例えば、ある
携帯電話で撮影された静止画像情報、動画像情報が、ネ
ットワーク等を介して上記格納装置に格納されるように
なっている。 【０００３】このように撮影機材が変化するに従い、例
えば、家庭用ビデオで撮影した画像情報や音声情報だけ
でなく、デジタルカメラのスチル画像情報、テレビ放送
の録画画像情報等の種々の画像情報、音声情報を上記格
納装置に格納することが可能となる。このような種々の
画像情報や音声情報を上記格納装置に格納するには、上
記格納装置の容量を大きくする必要がある。 【０００４】このように格納装置の大容量化を図れば、
格納装置に格納される画像情報・音声情報の量を多くす
ることができる。しかし、格納装置に格納される情報量
が多くなると、ユーザが所望する画像情報や音声情報を
迅速に取得することが困難となる。このため、せっかく
撮影したユーザの家族に関する画像情報等が上記格納装
置に格納されても、必要に応じて迅速に取得することが
できなくなってしまう。近年のテレビ放送の多チャンネ
ル化やインターネットに代表されるコンピュータネット
ワークの急速な普及に伴い膨大な画像情報や音声情報が
家庭を含めた社会に流通し、上記格納装置に格納される
情報量は増加する傾向にある。 【０００５】このため、格納装置に格納された大量の画
像情報、音声情報の中からユーザーが所望する画像情
報、音声情報を迅速かつ正確に取り出すためのシステム
が必要になる。このようなシステムの実現のためには、
複数の情報のうちから、所望の情報を検索することがで
きる検索情報の生成機能が必要となる。 【０００６】そこで、従来では、画像情報、音声情報を
検索するための検索情報を生成し、検索情報も画像情
報、音声情報とともに格納装置に格納し、ユーザにより
入力された検索情報と、格納された検索情報とを比較し
て、一致した検索情報に対応する画像情報、音声情報を
ユーザに提示するという技術がある。 【０００７】ここで、検索情報の生成の方法として、ユ
ーザが入力した情報に基づいて生成するという方法（特
開平１０−１７１７３９号公報及び特開平１１−５５６
４５号公報等）がある。 【０００８】しかし、このような検索情報の生成の仕方
には、以下のような問題があった。 【０００９】ユーザ又はユーザの家族に関する１つ１つ
の画像情報、音声情報に対して、それぞれ、ユーザが検
索情報の生成に必要な情報を入力していくことは、ユー
ザにとって、入力作業の負担が大きくなってしまう。 【００１０】このようなユーザの負担を低減するには、
検索情報を自動で生成することが必要となる。検索情報
を自動で生成する方法としては、従来、以下のような技
術があった。 【００１１】先ず、画像認識技術（例えば、特開２００
０−１１３０９７号公報で示されている画像認識技術
等）を用い、画像の特徴抽出を行い、抽出された特徴量
を用いて、検索情報を自動的に生成する方法がある。ま
た、音声認識技術を用い、検索情報を自動的に生成する
方法がある。また、出演者、監督、作曲者、歌手、題名
などの著作物等を示す文字情報から、検索情報を自動的
に生成する方法がある。 【００１２】ここで、文字情報から検索情報を自動的に
生成する方法については、例えば、テレビ放送の信号に
は、放送番組に関する情報（ＥＰＧ等）が含まれ、これ
を利用して、検索情報を自動で生成するという方法があ
る。しかし、上記放送番組に関する情報に、ある場面の
雰囲気など、細やかな情報が含まれていることは考えに
くい。このため、放送番組に関する情報に関する文字情
報を利用して、検索情報を自動で生成し、この検索情報
を用いて検索を行ったとしても、十分な検索ができない
可能性がある。例えば、２つの似た画像情報がある場
合、細やかな情報まで、検索情報に含まれていないと、
上記２つの画像情報の区別ができなくなってしまう。 【００１３】一方、画像認識技術や音声認識技術を用い
て検索情報を自動で生成するという方法については以下
のとおりである。即ち、近年、人工知能等を応用した高
度なシステムの開発等が盛んに行われ、非常に高度な音
声認識や画像認識が可能となってきている。このため、
上記音声認識や画像認識を行って、画像や音声に関する
細やかな情報を抽出し、これを検索情報に含めることが
可能となっている。 【００１４】このため、格納装置に格納された複数の画
像情報、音声情報のうち、ユーザが所望する情報を迅速
かつ正確に検索するためには、画像認識技術や音声認識
技術を用いて、検索情報を自動的に生成する必要があ
る。 【００１５】従来において、画像認識技術を用いて、検
索情報を自動的に生成する技術には、種々の技術（特開
平１０−２４０７７４号公報等）があるが、ユーザ個人
やユーザの家族に関する画像情報、音声情報の検索情報
を自動生成するシステムとして、以下のような従来技術
がある。 【００１６】図１１は、ユーザが所望する画像情報、音
声情報を検索するための検索情報を自動生成するための
第１の従来技術を示す構成図である。システムは、複数
の画像音声情報生成装置５０と、インターネット５１を
介して接続された複数のクライアントサブシステム５２
とを有する。クライアントサブシステム５２は、サブシ
ステム管理装置５２ａ、提示装置５２ｂ、格納装置５２
ｃ、画像音声認識装置５２ｄとを有する。 【００１７】このように構成されたシステムの動作を以
下に説明する。あるユーザの画像音声情報生成装置５０
により、ある画像が撮影されるとともに、音声も入力さ
れて画像情報及び音声情報からなる画像音声情報が生成
される。この画像音声情報がインターネット５１を介し
て、上記ユーザが保有するクライアントサブシステム５
２に送られる。 【００１８】クライアントサブシステム５２のサブシス
テム管理装置５２ａは、上記画像音声情報を画像音声認
識装置５２ｄに送る。画像音声認識装置５２ｄは、送ら
れた画像音声情報に対して、画像認識処理及び音声認識
処理を行い、検索情報（以下、第１検索情報という）を
生成する。生成された検索情報は、サブシステム管理装
置５２ａに送られる。サブシステム管理装置５２ａは、
生成された第１検索情報を上記画像音声情報と対応づけ
る。そして、サブシステム管理装置５２ａは、画像音声
情報及び第１検索情報を格納装置５２ｃに送り、格納さ
せる。 【００１９】そして、ユーザが所望する画像音声情報を
提示したいと考えた場合、提示装置５２ｂの入力部（図
示せず）から、上記所望する画像音声情報を検索するた
めに必要な情報である第２検索情報を入力すると、その
第２検索情報は、サブシステム管理装置５２ａへ送られ
る。 【００２０】サブシステム管理装置５２ａは、格納装置
５２ｃから、ローカルネットワーク５３を介して、第１
検索情報を読み出す。そして、サブシステム管理装置５
２ａは、入力された第２検索情報と、各第１検索情報を
比較し、入力された第２検索情報に対応する画像音声情
報を格納装置５２ｃから読み出す。そして、サブシステ
ム管理装置５２ａは、読み出した画像音声情報を提示装
置５２ｂへ送り、提示させる。 【００２１】また、第２の従来技術として、特開平２０
００−２３６４９４号公報に記載された技術がある。こ
の従来技術では、音声認識技術を利用することにより検
索情報を自動生成し、ユーザーが所望する画像・音声シ
ーンを高速に検索できるシステムが示されている。この
従来技術では、サーバ装置に格納された画像音声情報に
ついて、音声認識処理及び画像認識処理をサーバ装置で
行い、検索情報を自動生成している。そして、各ユーザ
の所望に応じて、画像音声情報及び検索情報を各ユーザ
端末装置に提供している。 【００２２】 【発明が解決しようとする課題】しかしながら、上述し
た従来技術には、以下のような問題点があった。先ず、
図１１に示す第１の従来技術では、音声認識処理及び画
像認識機能をユーザの保有するサブシステムで行わせて
いるので、ユーザが負担するコストが大きくなってしま
う。 【００２３】上述したように、近年、非常に高度な音声
認識、画像認識を行うことも可能となっているが、この
ような認識を行うためには、十分な処理能力を持つＣＰ
Ｕ等が必要である。このようなＣＰＵ等を上記サブシス
テムに設けると、そのコスト負担は大きくなる。 【００２４】一方、画像認識処理や音声認識処理をユー
ザが保有するサブシステムで頻繁に行う必要があれば、
コストが高くても、その分の代償があるといえる。しか
し、ユーザによっては、必ずしも、頻繁に行う必要があ
るとは限らないし、むしろ、ユーザ個人や家族に関する
画像情報や音声情報に対して、検索情報を生成する機会
は、通常、多くて週に数回といえる。 【００２５】従って、第１の従来技術によれば、各ユー
ザの保有するクライアント装置やクライアントサブシス
テムに細やかな情報を含む検索情報が生成できるような
画像認識機能や音声認識機能を設けることは、一般のユ
ーザにとってコスト負担が大きくなってしまうという問
題がある。 【００２６】これに対して、特開２０００−２３６４９
４号公報の技術によれば、音声認識処理、画像認識処理
は、サーバ装置が行うため、上述のような問題はない。 【００２７】しかし、この従来技術では、以下のような
問題点がある。即ち、サーバ装置が音声認識、画像認識
を行うのは、予め、サーバ装置に保存された画像情報、
音声情報に限られている。このため、各ユーザが自由に
生成した画像情報、音声情報に対して、サーバ装置が音
声認識、画像認識を行い、検索情報を自動的に生成する
ことができなかった。 【００２８】従って、従来においては、各ユーザのコス
ト負担を軽減するとともに、各ユーザが自由に生成した
画像音声情報に対しても、十分な画像認識処理及び音声
認識処理を行い、この処理結果を利用して迅速かつ正確
に所望の画像音声情報を検索できる検索情報を自動的に
生成することができるシステムの開発が望まれていた。 【００２９】また、検索情報の生成に必要な画像認識や
音声認識に必要なデータ量は、画像音声情報の全てのデ
ータ量が必要とは限らない。このため、全てのデータ量
が装置間でやりとりされると、装置間の通信回線の混雑
を招くという問題もある。 【００３０】本発明は、上記問題点を解決するためにな
されたものであり、各ユーザのコスト負担を軽減するこ
と、各ユーザが自由に生成した画像音声情報に対して
も、十分な画像音声認識処理を行い、この処理結果を利
用して迅速かつ正確に所望の情報を検索できる検索情報
を自動的に生成すること、通信回線の混雑を防止するこ
とができる情報検索システムの提供を目的とする。 【００３１】 【課題を解決するための手段】上記課題を解決するため
に、本発明に係る情報検索システムは、画像情報及び該
画像情報に対応する音声情報からなる画像音声情報に対
して、所定の解像度で、画像認識処理及び音声認識処理
を行い、認識結果に基づいて前記画像音声情報を検索す
るための第１検索情報を生成し、該第１検索情報を用い
て、ユーザが所望する画像音声情報を検索するシステム
であって、各ユーザの操作に基づいて、それぞれ、画像
音声情報を生成する各画像音声情報生成装置１と、所定
量の画像音声情報に対して、前記所定の解像度で、画像
認識処理及び音声認識処理を行うのに必要な画像音声情
報の情報量である第１情報量と、前記各画像音声情報生
成装置により生成された画像音声情報の情報量である第
２情報量とに基づいて、前記第２情報量の画像音声情報
に対して、前記所定の解像度で、画像認識処理及び音声
認識処理を行うのに必要な画像音声情報の情報量である
必要情報量を決定する情報量決定手段６ｇと、前記情報
量決定手段により決定された必要情報量で、前記各画像
音声情報生成装置により生成された画像音声情報を送信
する送信手段６ｃと、前記送信手段により送信された各
画像音声情報に対して、前記所定の解像度で、画像認識
処理及び音声認識処理を行い、認識結果に基づいて、前
記第１検索情報を、前記各画像音声情報に対応づけて生
成する検索情報生成装置４と、前記検索情報生成装置に
より生成された各第１検索情報と、前記送信手段により
送信された各画像音声情報とをそれぞれ対応づけて、格
納する格納手段５と、ユーザが所望の画像音声情報を検
索するための第２検索情報を入力する入力手段７ｃと、
前記入力手段７ｃにより入力された第２検索情報と、前
記格納手段５に格納された各第１検索情報とを比較する
比較手段６ｂと、前記比較手段６ｂによる比較結果に基
づいて、前記格納手段５から前記第２検索情報に対応す
る画像音声情報を読み出し、その読み出した画像音声情
報を、前記ユーザに提示する提示手段７ａとを有するこ
とを特徴とするものである。 【００３２】 【発明の実施の形態】実施の形態１． （情報検索システムの構成）図１は、本実施の形態であ
る情報検索システムの構成を示すブロック図である。情
報検索システムは、複数の画像音声情報生成装置１と、
複数のクライアントサブシステム２と、公衆ネットワー
ク（例えば、インターネット）３を介して、上記複数の
画像音声情報生成装置１や複数のクライアントサブシス
テム２と接続されているサーバ装置（検索情報生成装
置）４とを有する。 【００３３】各画像音声情報生成装置１は、それぞれ、
各ユーザの入力操作や撮影操作に基づいて、画像音声情
報を生成する。画像音声情報生成装置１は、各種の画像
を撮影する撮影部１ａと、ユーザにより各種の音声を入
力するための音声入力部１ｂと、撮影部１ａにより撮影
された画像及び音声入力部１ｂにより入力された音声に
基づいて、画像情報及びこれに対応する音声情報からな
る画像音声情報を生成する画像音声情報生成部１ｃと、
画像音声情報生成装置１を保有するユーザの識別情報
等、各種のデータを格納する格納部１ｄと、公衆ネット
ワーク３を介して、サーバ装置４やクライアントサブシ
ステム２との通信を行う通信部１ｅと、各種情報を表示
する表示部（図示せず）と、ユーザにより各種情報を入
力するための入力部（図示せず）と、各部を制御する制
御部１ｆとを有する。 【００３４】サーバ装置４は、画像認識部４ａと音声認
識部４ｂと検索情報生成部４ｃを有する。画像認識部４
ａは、画像音声情報生成装置１から送信された画像音声
情報の画像情報に対して、画像認識処理を行い、画像認
識情報を出力する。 【００３５】画像認識部４ａには、画像情報がストリー
ムの形で送信されるとともに、上記画像情報に対応する
ユーザの識別情報（ユーザが保有する画像音声情報生成
装置１の識別情報）も送られる。 【００３６】画像認識部４ａは、送信された画像ストリ
ームに対して、所定時間ごとに画像の特徴情報（例え
ば、位置に対する輝度値）を抽出する抽出部（図示せ
ず）と、各基準画像（例えば、ユーザの父親の画像）の
特徴情報及びこの基準画像を識別する基準画像識別情報
（例えば、ユーザの父親の名前）が格納された特徴情報
格納部（図示せず）とを有する。 【００３７】ここで、特徴情報格納部に格納された基準
画像の特徴情報及び基準画像識別情報は、ユーザの識別
情報（ユーザの画像音声情報生成装置１の識別情報及び
上記ユーザのクライアントサブシステム２の識別情報）
と対応づけられている。 【００３８】画像認識部４ａは、抽出部により抽出され
た特徴情報と、特徴情報格納部により格納された各特徴
情報（送信されたユーザの識別情報に対応する各特徴情
報）と、比較して、抽出された特徴情報との差分情報が
一定値以内の特徴情報（送信されたユーザの識別情報に
対応する特徴情報）が特徴情報格納部に格納されている
か否かを判定する特徴情報比較部（図示せず）と、差分
情報が一定値以内の特徴情報が格納されていると判定さ
れた場合には、上記特徴情報に対応する基準画像識別情
報を画像認識情報として出力する出力部（図示せず）と
を有する。 【００３９】音声認識部４ｂは、画像音声情報生成装置
１から送信された音声情報に対して、音声認識処理を行
い、音声認識情報を出力する。音声認識部４ｂには、音
声情報がストリームの形で送信されるとともに、上記音
声情報に対応するユーザの識別情報（ユーザが保有する
画像音声情報生成装置１の識別情報）も送られる。 【００４０】音声認識部４ｂは、送信された音声ストリ
ームに対して、ワードを抽出する抽出部（図示せず）
と、予め決められた複数のワード（例えば、名詞、形容
詞及び名詞等）群からなるテーブルが格納されているテ
ーブル格納部（図示せず）とを有する。ここで、上記テ
ーブルは、複数格納されている。そして、各テーブル
は、それぞれ、ユーザの識別情報（ユーザの画像音声情
報生成装置１の識別情報及び上記ユーザのクライアント
サブシステム２の識別情報）と対応づけられている。 【００４１】また、音声認識部４ｂは、抽出部により抽
出されたワードと、送信されたユーザ識別情報に対応す
るテーブルに含まれているワードを比較して、一致する
か否かを判定するワード比較部（図示せず）と、ワード
比較部により一致すると判定された場合、テーブルに記
録されているワード及びその類似ワードを音声認識情報
として出力する出力部（図示せず）とを有する。 【００４２】検索情報生成部４ｃは、画像認識部４ａに
より出力された画像認識情報と、音声認識部４ｂにより
認識された音声認識情報とに基づいて、検索情報（以
下、第１検索情報という）を生成する。この際、検索情
報生成部４ｃは、第１検索情報を画像音声情報及びユー
ザの識別情報と対応づける。 【００４３】また、サーバ装置４は、各種のデータが格
納された格納部４ｄと、公衆ネットワーク３を介して、
各画像音声情報生成装置１や各クライアントサブシステ
ム２と通信を行う通信部４ｅと各部を制御する制御部４
ｆとを有する。 【００４４】クライアントサブシステム２は、格納装置
５と、サブシステム管理装置６と、提示装置７とを有す
る。 【００４５】格納装置５は、各種の画像音声情報や、こ
れと対応づけられた第１検索情報を格納する格納部５ａ
と、ローカルネットワーク８を介して提示装置７やサブ
システム管理装置６と通信を行う通信部５ｂと、各部を
制御する制御部５ｃとを有する。 【００４６】サブシステム管理装置６は、公衆ネットワ
ーク３とクライアントサブシステム２内の各装置とのゲ
ートウェイ的役割を果たす。サブシステム管理装置６
は、クライアントサブシステム２を保有するユーザの識
別情報等各種のデータを格納する格納部６ａと、ユーザ
が提示装置の入力部７ｃを用いて入力した所望の画像音
声情報を検索するための情報（以下、第２検索情報とい
う）と、格納装置５に格納されている第１検索情報とを
比較し、一致するか否かを判定する比較部６ｂと、サー
バ装置４等と公衆ネットワーク３を介して通信を行う第
１通信部６ｃと、提示装置７や格納装置５とローカルネ
ットワーク８を介して通信を行う第２通信部６ｄと、各
部を制御する制御部６ｅとを有する。 【００４７】ここで、制御部６ｅは、比較部６ｂにより
第２検索情報と一致した第１検索情報があったと判定さ
れた場合、その第１検索情報に対応する画像音声情報を
送信するように格納装置５に指示する。そして、格納装
置５から画像音声情報が送信されると、制御部６ｅは、
提示装置７に上記画像音声情報を送信する。 【００４８】また、比較部６ｂは、第２検索情報と各第
１検索情報が一致しないと判定した場合、第２検索情報
が、第１検索情報と直接比較できる情報であるか否かを
判定する。比較部６ｂは、名詞テーブル及び形容詞テー
ブルを保持し、第２検索情報が、格納装置５に格納され
ている第１検索情報と比較できる情報であるか否かを判
定する。 【００４９】また、サブシステム管理装置６は、第２検
索情報と一致した第１検索情報がないと判定された場合
であって、第２検索情報が、第１検索情報と直接比較で
きる情報でないと判定された場合、新たな第２検索情報
を生成するサブシステム検索情報生成部６ｆを有する。 【００５０】サブシステム検索情報生成部６ｆは、第２
検索情報から名詞となるワードを抽出する名詞抽出部
（図示せず）と、第２検索情報から形容詞となるワード
を抽出する形容詞抽出部（図示せず）と、名詞抽出部及
び形容詞抽出部から抽出されたワードに対して、順番デ
ータを生成する順番データ生成部（図示せず）と、生成
された順番データと、抽出されたワードに基づいて、格
納されている第１検索情報と直接比較できる新たな第２
検索情報を生成する検索情報生成部（図示せず）とを有
する。 【００５１】ここで、名詞抽出部は、複数の名詞ワー
ド、これに類似するワードが記録されたテーブルを有す
る。名詞抽出部は、このテーブルを参照して、第２検索
情報から名詞ワードを抽出する。同じく、形容詞抽出部
は、複数の形容詞ワード、これに類似するワードが記録
されたテーブルを有する。形容詞抽出部は、このテーブ
ルを参照して、第２検索情報から形容詞ワードを抽出す
る。 【００５２】サブシステム検索情報生成部６ｆの具体的
な動作は後述する。 【００５３】提示装置７は、サブシステム管理装置６か
ら送信された画像音声情報を提示する提示部７ａと、ロ
ーカルネットワーク８を介して格納装置５やサブシステ
ム管理装置６と通信を行う通信部７ｂと、ユーザが各種
のデータを入力するための入力部７ｃと、各部を制御す
る制御部７ｄとを有する。 【００５４】（情報検索システムの動作） （１）検索情報の生成、格納動作について 図２は、本実施の形態である情報検索システムにおける
第１検索情報の生成、格納動作を示すフローチャート図
である。 【００５５】先ず、サーバ装置４の管理者は、各ユーザ
の画像音声情報生成装置１の識別情報（例えば、パスワ
ード情報等）及びクライアントサブシステム２の識別情
報をサーバ装置４の格納部４ｄに格納しておく。この識
別情報としては、画像音声情報生成装置１やクライアン
トサブシステム２のサブシステム管理装置６の識別番号
（装置番号）を用いてもよい。 【００５６】また、各ユーザは、サブシステム管理装置
６の格納部６ａにクライアントサブシステム２の識別情
報を格納しておく。 【００５７】また、サーバ装置４の管理者は、サーバ装
置４の画像認識部４ａの特徴情報格納部に格納されてい
る各基準画像や基準画像識別情報に対して、それぞれ、
各ユーザの識別情報と対応させておく。また、サーバ装
置４の管理者は、音声認識部４ｂのテーブル格納部に格
納された各テーブルに対して、それぞれ各ユーザの識別
情報と対応させておく。 【００５８】また、サーバ装置４の制御部４ｆは、公衆
ネットワーク３に接続された各画像音声情報生成装置１
やクライアントサブシステム２のアドレス情報を保持し
ている。画像音声情報生成装置１の制御部１ｆは、公衆
ネットワーク３に接続されたサーバ装置４やクライアン
トサブシステム２のアドレス情報を保持している。 【００５９】同じく、クライアントサブシステム２のサ
ブシステム管理装置６の制御部６ｅは、公衆ネットワー
ク３に接続された画像音声情報生成装置１やサーバ装置
４のアドレス情報を保持している。 【００６０】また、サブシステム管理装置６の制御部６
ｅや格納装置５の制御部５ｃは、ローカルネットワーク
８上の自装置以外の装置のアドレス情報を保持してい
る。 【００６１】ステップＳ１００では、例えば、ユーザＸ
が自分の画像音声情報生成装置１を用いて、画像の撮
影、音声の入力処理を行い、画像音声情報生成部２を用
いて画像音声情報を生成する。 【００６２】ここで、ユーザＸは、撮影部１ａを用いて
所定の画像の撮影処理を行いながら、音声入力部１ｂを
用いて、音声も入力する。すると、撮影部１ａにより撮
影された画像及び音声入力部１ｂにより入力された音声
は、画像音声情報生成部１ｃに送られる。画像音声情報
生成部１ｃは、送られた画像及び音声に基づいて、画像
音声情報を生成する。生成された画像音声情報は、制御
部１ｆを介して、いったん、格納部１ｄに格納される。
この際、画像音声情報には、ユーザＸの画像音声情報の
識別情報が対応づけられる。また、画像情報には、画像
情報である旨の情報が、音声情報には、音声情報である
旨の情報が与えられる。 【００６３】そして、画像音声情報生成装置１の制御部
１ｆは、上記画像音声情報の第１検索情報の生成要求を
通信部１ｅ、公衆ネットワーク３等を介して、サーバ装
置４の制御部４ｆへ送る。 【００６４】この際、ユーザＸは、入力部を用いて、画
像音声情報及び第１検索情報は、上記ユーザのクライア
ントサブシステム２に送信し格納するように指示する旨
を入力する。すると、上記指示は、通信部１ｅ、公衆ネ
ットワーク３等を介して、サーバ装置４の制御部４ｆへ
送られる。上記指示を受けたサーバ装置４の制御部４ｆ
は、ステップＳ１１０やＳ１２０の認証処理が正当な
ら、検索情報生成部４ｃにより第１検索情報が生成され
た場合には、画像音声情報及び第１検索情報を上記ユー
ザのクライアントサブシステム２に送信する。 【００６５】ステップＳ１１０では、サーバ装置４は、
ユーザＸの画像音声情報生成装置１に対する認証処理を
行う。 【００６６】サーバ装置４の制御部４ｆは、ユーザＸの
画像音声情報生成装置１に対して、識別情報を送信する
旨の要求を通信部４ｅ等を介して、画像音声情報生成装
置１の制御部１ｆへ送る。画像音声情報生成装置１の制
御部１ｆは、図示しない表示部に識別情報を入力するよ
うに指示する旨（ログイン処理を行うように指示する
旨）を表示させる。 【００６７】ユーザＸが図示しない入力部を用いて、ロ
グイン処理を実行し、パスワード等の識別情報を入力す
ると、上記識別情報は、制御部１ｆ等を介して、サーバ
装置４の制御部４ｆへ送られる。 【００６８】サーバ装置４の制御部４ｆは、送られてき
たユーザＸの画像音声情報生成装置１の識別情報と、格
納部４ｄに格納されているユーザＸの画像音声情報生成
装置１の識別情報とを比較し、一致する場合には、ユー
ザＸの画像音声情報生成装置１は正当なものと判断す
る。一致しない場合には、ユーザＸの画像音声情報生成
装置１は不当なものと判断し、その後の処理を行わな
い。 【００６９】ステップＳ１２０では、サーバ装置４は、
ユーザＸのクライアントサブシステム２に対する認証処
理を行う。 【００７０】サーバ装置４の制御部４ｆは、ユーザＸの
クライアントサブシステム２に対して、識別情報を送信
する旨の情報を通信部４ｅ等を介して、サブシステム管
理装置６の制御部６ｅへ送る。サブシステム管理装置６
の制御部６ｅは、格納部６ａから、クライアントサブシ
ステム２の識別情報を読み出し、第１通信部６ｃ等を介
して、サーバ装置４へ送る。 【００７１】サーバ装置４の制御部４ｆは、送られてき
たユーザＸのクライアントサブシステム２の識別情報
と、格納部４ｄに格納されているユーザＸのクライアン
トサブシステム２の識別情報とを比較し、一致する場合
には、ユーザＸのクライアントサブシステム２は正当な
ものと判断する。一致しない場合には、ユーザＸのクラ
イアントサブシステム２は不当なものと判断し、その後
の処理を行わない。 【００７２】ステップＳ１３０では、サーバ装置４の制
御部４ｆは、ユーザＸの画像音声情報を送信するように
指示する。そして、サーバ装置４の制御部４ｆは、画像
音声情報のうち、画像情報を画像認識部４ａへ、音声情
報を音声認識部４ｂへ送る。なお、制御部４ｆは、画像
音声情報を保持している。 【００７３】この処理を具体的に説明する。即ち、サー
バ装置４の制御部４ｆは、ユーザＸの画像音声情報送信
の要求を通信部４ｅ等を介して、ユーザＸの画像音声情
報生成装置１の制御部１ｆへ送る。 【００７４】ユーザＸの画像音声情報生成装置１の制御
部１ｆは、上記要求に基づいて、格納部１ｄから、画像
音声情報を読み出し、通信部１ｅ等を介して、サーバ装
置４の制御部４ｆへ送る。 【００７５】サーバ装置４の制御部４ｆは、画像音声情
報のうち、音声情報である旨の情報に基づいて、音声情
報を音声認識部４ｂへ送るとともに、画像情報である旨
の情報に基づいて、画像情報を画像認識部４ａへ送る。
なお、サーバ装置４の制御部４ｆは、ユーザＸの識別情
報、ユーザＸのクライアントサブシステム２のアドレス
情報を保持する。 【００７６】ステップＳ１４０では、音声認識部４ｂは
音声認識処理を行い、音声認識情報を検索情報生成部４
ｃに出力する。また、画像認識部４ａは、画像認識処理
を行い、画像認識情報を検索情報生成部４ｃへ出力す
る。この動作について以下に具体的に説明する。 【００７７】先ず、ユーザＸの識別情報がサーバ装置４
の制御部４ｆから、画像認識部４ａ及び音声認識部４ｂ
に送られる。画像認識部４ａの特徴情報比較部は、ユー
ザＸの識別情報に対応する各基準画像の特徴情報及び基
準画像識別情報を読み出す。また、音声認識部４ｂのワ
ード比較部は、ユーザＸの識別情報に対応するテーブル
をテーブル格納部から読み出す。 【００７８】先ず、音声認識について説明する。 【００７９】制御部４ｆから、音声ストリームが音声認
識部４ｂの抽出部へ送られると、抽出部は、ワードを抽
出する。抽出部は、音声情報から、５０音の各母音や子
音、濁音等を判断することができる。そして、抽出部
は、判断した母音や子音等から、ワードを抽出する。例
えば、抽出部は、２文字以上のワードを抽出する。 【００８０】そして、抽出部は、抽出した各抽出ワード
をワード比較部へ送る。ワード比較部は、ユーザＸの識
別情報に対応するテーブルに記録されているワードと一
致するワードを出力部へ送る。 【００８１】ここで、テーブルには、名詞ワード、この
名詞ワードに類似するワード、形容詞及び名詞からなる
ワード、このワードに類似するワードが複数記録されて
いる。 【００８２】例えば、抽出部からワード（きょう）、ワ
ード（いい）、ワード（てんき）が送られた場合であっ
て、テーブルに、名詞ワード（きょう）、類似名詞ワー
ド（ほんじつ、．．）、形容詞及び名詞からなるワード
（よいてんき）、類似ワード（いいてんき．．．）が記
録されている場合、ワード比較部は、抽出したワード
（きょう）は、記録されている名詞ワード（きょう）に
一致し、抽出したワード（いいてんき）は、記録されて
いる類似ワード（いいてんき）に一致すると判定し、ワ
ード（きょう）及びワード（いいてんき）を音声認識情
報として出力する。 【００８３】この際、テーブルに記録された類似ワード
も、音声認識情報に含めておく。例えば、ワード（きょ
う）に対して、テーブルに記録されている類似ワード
（ほんじつ．．）を対応づけておく。これは、ユーザが
検索情報と似た情報を入力した場合でも、ユーザが所望
する画像音声情報を検索できるようにするためである。 【００８４】なお、音声認識方法には、種々の公知の方
法があり、上述の例は、その一例を示すものであり、本
実施の形態では、特に限定しない。 【００８５】次に、画像認識について説明する。制御部
４ｆから画像ストリームが画像認識部４ａの抽出部に送
られると、抽出部は、画像の特徴情報を抽出し、抽出し
た特徴情報を特徴情報比較部へ送る。特徴情報比較部
は、ユーザＸの識別情報に対応する各基準画像の特徴情
報と、抽出した特徴情報と、を所定時間ごとに比較す
る。特徴情報比較部は、抽出された特徴情報との差分情
報が一定値以内の特徴情報（送信されたユーザの識別情
報に対応する特徴情報）が特徴情報格納部に存在するか
否かを判定し、一定値以内の特徴情報が存在すると判定
した場合には、上記特徴情報に対応する基準画像識別情
報を画像認識情報として出力部に送る。 【００８６】例えば、抽出された画像情報がある人の上
半身部分を示す画像情報であって、特徴情報比較部は、
上記画像情報の特徴情報と、ユーザＸの識別情報に対応
するある基準画像（ユーザＸの父親の画像）の特徴情報
とを比較し、上記画像情報の特徴情報と、上記基準画像
の特徴情報との差分情報が一定値内の場合には、画像認
識部４ａにより与えられる画像認識情報は、ユーザＸの
父親という情報となる。 【００８７】なお、画像認識方法の仕方は、種々の公知
の方法があり、上述の例は、その一例を示すものであ
り、本実施の形態では、特に限定しない。 【００８８】ステップＳ１５０では、音声認識部４ｂに
より出力された音声認識情報、画像認識部４ａにより出
力された画像認識情報は、検索情報生成部４ｃへ送られ
る。検索情報生成部４ｃは、出力された音声認識情報
と、出力された画像認識情報とに基づいて、検索情報を
生成する。 【００８９】具体的には、音声認識情報として、きょ
う、いいてんきが出力され、画像認識情報として、ユー
ザＸの父親が出力された場合、検索情報生成部４ｃは、
きょう、いいてんき、父親を組み合わせて第１検索情報
を生成する。この際、検索情報生成部４ｃは、きょうの
類似ワード、いいてんきの類似ワードも第１検索情報に
含める。 【００９０】なお、公知である人工知能等を応用した高
度なシステムを用いれば、例えば、大勢の人と△○さん
が写っている場面、山と湖が写っている写真、○○への
家族旅行のビデオ等のような感性的なワードを用いた検
索情報の生成も可能である。 【００９１】ステップＳ１６０では、検索情報生成部４
ｃから生成された第１検索情報が送られたサーバ装置４
の制御部４ｆは、保持していた画像音声情報を、上記第
１検索情報及びユーザＸの識別情報と対応づける。そし
て、制御部４ｆは、通信部４ｅ等を介して、ユーザＸの
識別情報に対応するクライアントサブシステム２のアド
レス情報に基づいて、ユーザＸのクライアントサブシス
テム２のサブシステム管理装置６へ送る。 【００９２】ステップＳ１７０では、クライアントサブ
システム２のサブシステム管理装置６の制御部６ｅは、
保持している格納装置５のアドレス情報に基づいて、第
２通信部６ｄ及びローカルネットワーク８等を介して、
格納装置５へ画像音声情報及びこれに対応する第１検索
情報を送る。すると、格納装置５の制御部５ｃは、送ら
れてきた画像音声情報及びこれに対応する第１検索情報
を格納部５ａに格納する。 【００９３】格納装置５の制御部５ｃは、画像音声情報
及びその第１検索情報が格納部５ａに格納された旨を、
サブシステム管理装置６、公衆ネットワーク３等を介し
て、画像音声情報生成装置１の表示部に送る。画像音声
情報生成装置１の表示部にて、その旨が表示される。 【００９４】（２）ユーザＸが所望する画像音声情報の
提示動作 図３，図４は、本実施の形態である情報検索システムに
おけるユーザＸが所望する画像音声情報の提示動作を示
すフローチャート図である。 【００９５】ステップＳ２００では、ユーザＸは、クラ
イアントサブシステム２の提示装置７の入力部７ｃか
ら、所望の音声画像情報を検索を行うのに必要な情報を
入力する。以下、この情報を第２検索情報という。 【００９６】ここで、入力にあたっては、格納部５ａに
格納されている検索情報に対応する情報を入力すること
もできるし、より感性的な情報を入力することもでき
る。例えば、ユーザＸが、以前撮影した公園に関する画
像音声情報を所望する場合、春の、のどかな、明るい公
園と入力部７ｃを用いて入力できる。入力部７ｃにより
入力される情報は、文字情報として、本実施の形態では
説明する。 【００９７】ステップＳ２１０では、提示装置７の入力
部７ｃにより入力された第２検索情報は、制御部７ｄ、
通信部７ｂ等を介して、サブシステム管理装置６へ送ら
れる。 【００９８】ステップＳ２２０では、サブシステム管理
装置６の制御部６ｅは、保持している格納装置５のアド
レス情報に基づいて、第１検索情報を送信する旨の指示
を第２通信部６ｄ等を介して、格納装置５へ送る。 【００９９】ステップＳ２３０では、格納装置５の制御
部５ｃは、上記指示に基づいて、格納部５ａから第１検
索情報を読み出し、通信部５ｂ等を介して、サブシステ
ム管理装置６の制御部６ｅへ送る。 【０１００】ステップＳ２４０では、サブシステム管理
装置６の制御部６ｅは、第１検索情報及び第２検索情報
を比較部６ｂへ送る。 【０１０１】ステップＳ２５０では、比較部６ｂは、入
力部７ｃにより入力された第２検索情報と、格納部５ａ
に格納されていた各第１検索情報とを比較し、一致する
第１検索情報があるか否かを判定する。この際の判定に
おいて、第２検索情報（よいてんき）と比較する対象
は、各第１検索情報に含まれる類似ワードも含まれる。
例えば、第２検索情報（よいてんき）が第１検索情報
（いいてんき）と一致していなくとも、第１検索情報に
含まれる類似ワード（よいてんき）と一致していれば、
比較部６ｂは、一致する第１検索情報があると判定す
る。 【０１０２】一致する第１検索情報がある場合には、ス
テップＳＳ２８０へ移行する。一致する第１検索情報が
ない場合には、ステップＳ２５５へ移行する。 【０１０３】ステップＳ２５５では、比較部６ｂは、第
２検索情報が、格納されている第１検索情報と直接比較
できる情報であるか否かを判定する。この判定の仕方の
一例を以下に示す。 【０１０４】比較部６ｂは、保持している名詞テーブル
及び形容詞テーブルに基づいて、第２検索情報が、格納
部５ａに格納されている第１検索情報と比較できる情報
であるか否かを判定する。例えば、格納部５ａに格納さ
れている第１検索情報が名詞ワード、形容詞及び名詞ワ
ードの場合には、比較部６ｂは、第２検索情報が名詞ワ
ード、形容詞及び名詞ワードであるか否かを判定する。 【０１０５】直接比較できない情報である場合には、ス
テップＳ２６０へ移行する。直接比較できる情報である
場合には、ステップＳ２５７へ移行する。 【０１０６】ステップＳ２５７では、サブシステム管理
装置６の制御部６ｅは、ユーザＸが入力した第２検索情
報に対応する画像映像情報はない旨を提示するように、
第２通信部６ｄ等を介して、提示装置７に指示する。提
示装置７の制御部７ｄは、その旨を提示部７ａに提示さ
せる。 【０１０７】ステップＳ２６０では、第２検索情報が、
比較部６ｂから制御部６ｅを介して、サブシステム検索
情報生成部６ｆへ送られる。サブシステム検索情報生成
部６ｆは、第２検索情報から新たな第２検索情報（第１
検索情報と直接比較できる情報）を生成する。 【０１０８】この動作について以下に具体的に説明す
る。サブシステム検索情報生成部６ｆの名詞抽出部は、
第２検索情報から、名詞ワードを抽出する。この際、名
詞抽出部は、保持している名詞ワードテーブルを参照し
て、名詞ワードを抽出する。また、形容詞抽出部は、第
２検索情報から形容詞ワードを抽出する。この際、形容
詞抽出部は、保持している形容詞ワードテーブルを参照
して、形容詞ワードを抽出する。 【０１０９】ここで、名詞抽出部及び形容詞抽出部は、
並行して抽出処理を行う。そして、各抽出部は、抽出動
作を行った場合、その抽出時刻を、名詞ワードや形容詞
ワードに与える。その抽出時刻は、名詞ワードや形容詞
ワードに対応づけられて、順番データ生成部へ送られ
る。順番データ生成部は、送られた抽出時刻に基づい
て、名詞ワードや形容詞ワードに対して、順番データを
生成する。 【０１１０】例えば、第２検索情報が、春の、のどか
な、明るい公園である場合を考える。名詞抽出部は、名
詞ワードテーブルを参照して春、公園を抽出する。そし
て、名詞抽出部は、抽出した時刻を抽出した名詞ワード
と対応づけて、順番データ生成部へ送る。同じく、形容
詞抽出部は、形容詞ワードテーブルを参照してのどか
な、明るいを抽出する。そして、形容詞抽出部は、抽出
した時刻を抽出した形容詞ワードと対応づけて、順番デ
ータ生成部へ送る。 【０１１１】順番データ生成部は、送られてきた各時刻
に基づいて、抽出した各ワードに対して、順番データを
生成する。例えば、順番データ生成部は、上記第２検索
情報の場合には、春、のどかな、明るい、公園の順で、
各抽出部により抽出されるので、春に対しては、順番デ
ータＮｏ１，のどかなに対しては、順番データＮｏ２、
明るいに対しては、順番データＮｏ３、公園に対して
は、順番データＮｏ４のように、順番データを生成して
いく。 【０１１２】そして、名詞抽出部により抽出された各名
詞ワード、形容詞抽出部により抽出された各形容詞ワー
ド、これらの対応する順番データが、検索情報生成部へ
送られる。検索情報生成部は、各名詞ワードや各形容詞
ワード、順番データに基づいて、検索情報を生成する。 【０１１３】例えば、上述の第２検索情報の場合、検索
情報生成部は、名詞ワードの順番の前の順番に形容詞ワ
ードが有る場合、形容詞ワードを後に続く名詞ワードに
修飾させて、形容詞及び名詞ワードを生成する。 【０１１４】上述の例の場合には、新たな第２検索情報
１（春、のどかな公園）、新たな第２検索情報２（春、
明るい公園）が生成される。 【０１１５】このようにして、第２検索情報から、格納
装置５に格納されている第１検索情報と直接比較できる
新たな第２検索情報が生成される。サブシステム検索情
報生成部６ｆにより生成された新たな第２検索情報は、
再び、比較部６ｂに送られる。 【０１１６】ステップＳ２７０では、比較部６ｂは、生
成された新たな第２検索情報と、格納部５ａから読み出
された各第１検索情報とを比較し、新たな第２検索情報
と一致する第１検索情報があるか否かを判定する。 【０１１７】ある場合には、ステップＳ２８０へ移行す
る。ない場合には、ステップＳ２５７へ移行する。 【０１１８】ステップＳ２８０では、サブシステム管理
装置６の制御部６ｅは、第２検索情報又はサブシステム
検索情報生成部６ｆにより生成された新たな第２検索情
報と一致する第１検索情報に対応する画像音声情報を送
信するように要求する旨を第２通信部６ｄ等を介して、
格納装置５に送る。 【０１１９】ステップＳ２９０では、格納装置５の制御
部５ｃは、送信された第１検索情報と対応する画像音声
情報を読み出し、通信部５ｂ等を介して、サブシステム
管理装置６の制御部６ｅへ送る。 【０１２０】ステップＳ３００では、サブシステム管理
装置６の制御部６ｅは、送信された画像音声情報を、第
２通信部６ｄ等を介して、提示装置７のアドレス情報に
基づいて、提示装置７に送る。 【０１２１】ステップＳ３１０では、提示装置７の制御
部７ｄは、送信された画像音声情報を提示部７ａに提示
させる。 【０１２２】なお、ステップＳ２９０で、送信された第
１検索情報に対応する画像音声情報が複数存在する場合
には、提示装置７の提示部７ａに、各画像音声情報を特
定する情報を提示させ、ユーザＸに入力部７ｃにより選
択させるようにしてもよい。 【０１２３】（作用効果）本実施の形態によれば、各ユ
ーザが所有するクライアントサブシステム２ではなく、
サーバ装置４（検索情報生成装置）が、各ユーザの操作
により生成された画像音声情報に対して、画像認識処理
及び音声認識処理を行い、第１検索情報を自動的に生成
する。このため、各ユーザが保有するクライアントサブ
システム２が画像認識処理、音声認識処理を行う機能を
有する必要はない。従って、クライアントサブシステム
２から画像認識処理や音声認識処理に関する機能を省略
することができる。そして、本システムでは、ユーザの
操作に基づいて、画像音声情報生成装置１により画像音
声情報を生成した場合に、サーバ装置４が、画像認識処
理等を行うようにしている。このため、高度な検索を行
うために必要な画像認識等に関する各ユーザによるコス
トの負担は、例えば、サーバ装置４が画像認識処理を行
った分だけのコストを負担すればよいので、画像認識処
理機能及び音声認識処理に関するユーザのコスト負担の
軽減を図ることができる。 【０１２４】また、本システムによれば、生成された画
像音声情報、第１検索情報、をクライアントサブシステ
ム２の格納装置５が格納する。そして、ユーザが所望の
画像音声情報を検索するための情報である第２検索情報
を入力部７ｃにより、入力すると、比較部６ｂは、入力
された第２検索情報と、格納された各第１検索情報とを
比較する。そして、比較結果に基づいて、入力された第
２検索情報に対応する画像音声情報が、前記ユーザに提
示部７ａを介して提示される。 【０１２５】このため、本実施の形態によれば、各ユー
ザのコスト負担を軽減するとともに、各ユーザが自由に
生成した画像音声情報に対しても、十分な画像音声認識
処理を行い、この処理結果を利用して迅速かつ正確に所
望の情報を検索できる検索情報を自動的に生成すること
ができる。 【０１２６】従って、本システムによれば、ユーザの利
便性を一層考慮して、ユーザが所望する画像音声情報を
高度に検索して提示することが可能となる。 【０１２７】また、画像認識機能等をサーバ装置４で一
元管理することが出来るため、画像認識等のバージョン
アップ作業においても、各ユーザの負担は軽くなる。 【０１２８】さらに、サーバ装置４に対して、認識能力
を高めるためにスーパーコンピュータ、多ＣＰＵを有す
るコンピュータなどの高性能コンピュータなどを導入す
ることにより、ユーザーにとって、より高度な画像認識
機能及び音声認識処理の利用が可能となる。 【０１２９】なお、本実施の形態では、画像音声情報
は、クライアントサブシステム２の格納装置５に格納す
るようにしたが、これに限定されるわけでなく、必要に
応じて、サーバ装置４の格納部４ｄに格納するようにし
てもよい。例えば、クライアントサブシステム２の格納
装置５に格納されている情報量が多いため、容量に余裕
がないときや、クライアントサブシステム２の格納装置
５に故障があったような場合には、サーバ装置４の格納
部４ｄに一時的にユーザの画像音声情報を格納するよう
にしてもよい。 【０１３０】この場合、サブシステム管理装置６の制御
部６ｅは、サーバ装置４の格納部４ｄに格納されている
画像音声情報の格納位置情報を保持する必要がある。そ
して、制御部４ｆは、提示装置７に提示する画像音声情
報を、格納装置５の格納部５ａ及びサーバ装置４の格納
部４ｄのいずれからも読みだせるようにする必要があ
る。 【０１３１】また、本実施の形態では、画像音声情報生
成装置１は、画像情報と、これに対応する音声情報とか
らなる画像音声情報に対して、第１検索情報を生成する
ようにしたが、これに限定されるわけでない。例えば、
画像音声情報生成装置１は、画像情報に対して、第１検
索情報を生成し、音声情報に対して上記第１検索情報と
は別の第１検索情報を生成するようにしてもよい。 【０１３２】また、本実施の形態の情報検索システム
は、以下のように変形することもできる。 【０１３３】（変形例１） （構成）図５は、変形例１の情報検索システムの構成を
示す図である。図において、図１に示す情報検索システ
ムと同一構成については同一符号を付してその説明を省
略する。 【０１３４】サーバ装置４の画像認識部４ａは、画像音
声情報のうち、画像情報について、第１の所定の解像度
で、画像認識処理を行う。サーバ装置４の音声認識部４
ｂは、画像音声情報のうち、音声情報について、第２の
所定の解像度で、音声認識処理を行う。 【０１３５】ここでいう解像度は、例えば、画像認識や
音声認識を行うのに必要な単位時間当たりの情報量で表
すものとする。但し、解像度の定義の仕方はほかにも種
々の仕方があり、ここでいう解像度は、その一例を示し
たものである。 【０１３６】そして、変形例１のクライアントサブシス
テム２は、情報量決定部６ｇを有する。情報量決定部６
ｇは、画像認識処理の各解像度と、所定量の画像情報に
対して上記各解像度で画像認識処理を行うのに必要な画
像情報の情報量とが対応づけられた第１テーブルを保持
している。 【０１３７】そして、情報量決定部６ｇは、サーバ装置
から送られてきた第１の所定の解像度と、保持している
第１テーブルを参照して、所定量の画像情報に対して、
上記第１の所定の解像度で、画像認識処理を行うのに必
要な画像情報の情報量である第１画像情報量を決定す
る。 【０１３８】情報量決定部６ｇは、音声認識処理の各解
像度と、所定量の音声情報に対して上記各解像度で音声
認識処理を行うのに必要な音声情報の情報量とが対応づ
けられた第２テーブルを保持している。 【０１３９】そして、情報量決定部は、サーバ装置から
送られてきた第２の所定の解像度と、保持している第２
テーブルを参照して、所定量の音声情報に対して、上記
第２の所定の解像度で、音声認識処理を行うのに必要な
音声情報の情報量である第１音声情報量を決定する。 【０１４０】そして、情報量決定部６ｇは、画像音声情
報生成装置１により生成された画像音声情報のうち、画
像情報の情報量である第２画像情報量と、上記決定した
第１画像情報量とを参照する。そして、情報量決定部６
ｇは、参照結果に基づいて、画像音声情報生成装置１に
より生成された第２画像情報量の画像情報に対して、第
１の所定の解像度で、画像認識処理を行うのに必要な画
像情報の情報量である必要画像情報量を決定する。詳し
い動作は、後述する。 【０１４１】また、情報量決定部６ｇは、画像音声情報
生成装置１により生成された画像音声情報のうち、音声
情報の情報量である第２音声情報量と、上記決定した第
１音声情報量とを参照する。そして、情報量決定部６ｇ
は、参照結果に基づいて、画像音声情報生成装置１によ
り生成された第２音声情報量の音声情報に対して、第２
の所定の解像度で、音声認識処理を行うのに必要な音声
情報の情報量である必要音声情報量を決定する。 【０１４２】制御部６ｅは、画像音声情報生成装置１に
より生成された画像音声情報のうち、画像情報について
は、第２画像情報量より少ない情報量である上記必要画
像情報量の画像情報にする。 【０１４３】同じく、制御部６ｅは、画像音声情報生成
装置１により生成された画像音声情報のうち、音声情報
については、第２音声情報量より少ない情報量である必
要音声情報量の音声情報にする。 【０１４４】ここで、制御部６ｅは、例えば、ＭＰＥＧ
等の画像圧縮を行ったり、画像情報中の画素データを間
引くことで、画像情報量を少なくする。また、制御部
は、例えば、音声圧縮を行ったりすることで、音声情報
量を少なくする。 【０１４５】第１通信部（送信部）は、制御部６ｅから
送られた画像情報及び音声情報をサーバ装置４に送信す
る。 【０１４６】サーバ装置４の制御部４ｆは、送信された
画像音声情報のうち、画像情報、音声情報をそれぞれ、
画像認識部４ａ、音声認識部４ｂへ送る。 【０１４７】（動作）変形例１の情報検索システムの動
作について、図２，３、４に示すフローチャート図を用
いて説明する。 【０１４８】ステップＳ１００で、ユーザＸが自分の画
像音声情報生成装置１を用いて、画像音声情報の生成を
行った後、以下の処理が行われる。 【０１４９】画像音声情報生成装置１の制御部１ｆは、
通信部１ｅ等を介して、サブシステム管理装置６のアド
レス情報に基づいて、生成された画像音声情報を送信す
る。 【０１５０】サブシステム管理装置６の制御部６ｅは、
第２通信部６ｄ等を介して、格納装置５に上記画像音声
情報を送信する。この際、サブシステム管理装置６の制
御部６ｅは、一時的に、画像音声情報を保持する。 【０１５１】格納装置５の制御部５ｃは、画像音声情報
を格納部５ａに格納させる。制御部５ｃは、画像音声情
報が格納される前の空き容量と、格納された後の空き容
量に基づいて、画像情報の情報量、音声情報の情報量を
算出する。そして、格納装置５の制御部５ｃは、上記画
像音声情報が格納された旨及び画像情報の情報量、音声
情報量を通信部５ｂ等を介して、サブシステム管理装置
６の制御部６ｅへ送る。制御部６ｅは、画像情報の情報
量及び音声情報の情報量を保持する。そして、制御部６
ｅは、上記画像音声情報に対して、画像認識及び音声認
識を行う要求を第１通信部６ｃ等を介して、サーバ装置
４へ送る。 【０１５２】サーバ装置４の制御部４ｆは、ユーザＸの
クライアントサブシステム２に対する認証処理を行う。
この処理は、ステップＳ１２０と同じである。 【０１５３】サーバ装置４の制御部４ｆは、ユーザＸの
クライアントサブシステム２の正当性を判断した場合、
画像認識部４ａ及び音声認識部４ｂからそれぞれ、第１
の所定の解像度を示す情報、第２の所定の解像度を示す
情報を取得する。 【０１５４】そして、第１の所定の解像度を示す情報及
び第２の所定の解像度を示す情報は、通信部４ｅ等を介
して、クライアントサブシステムの制御部６ｅへ送られ
る。 【０１５５】制御部６ｅは、第１の所定の解像度を示す
情報及び第２の所定の解像度を示す情報、保持している
画像情報の情報量、音声情報の情報量を情報量決定部６
ｇへ送る。 【０１５６】情報量決定部６ｇは、サーバ装置４から送
られてきた第１の所定の解像度と、保持している第１テ
ーブルを参照して、所定量の画像情報に対して、上記第
１の所定の解像度で、画像認識処理を行うのに必要な画
像情報の情報量である第１画像情報量を決定する。 【０１５７】そして、情報量決定部６ｇは、サーバ装置
４から送られてきた第２の所定の解像度と、保持してい
る第２テーブルを参照して、所定量の音声情報に対し
て、上記第２の所定の解像度で、音声認識処理を行うの
に必要な音声情報の情報量である第１音声情報量を決定
する。 【０１５８】そして、情報量決定部６ｇは、画像音声情
報生成装置１により生成された画像音声情報のうち、画
像情報の情報量である第２画像情報量と、上記決定した
第１画像情報量とを参照する。そして、情報量決定部６
ｇは、参照結果に基づいて、画像音声情報生成装置１に
より生成された第２画像情報量の画像情報に対して、第
１の所定の解像度で、画像認識処理を行うのに必要な画
像情報の情報量である必要画像情報量を決定する。 【０１５９】例えば、必要画像情報量は、第２画像情報
量＊（第１画像情報量／所定量）で算出される。 【０１６０】また、情報量決定部６ｇは、画像音声情報
生成装置１により生成された画像音声情報のうち、音声
情報の情報量である第２音声情報量と、上記決定した第
１音声情報量とを参照する。そして、情報量決定部６ｇ
は、参照結果に基づいて、画像音声情報生成装置１によ
り生成された第２音声情報量の音声情報に対して、第２
の所定の解像度で、音声認識処理を行うのに必要な音声
情報の情報量である必要音声情報量を決定する。 【０１６１】例えば、必要音声情報量は、第２音声情報
量＊（第１音声情報量／所定量）で算出される。 【０１６２】情報量決定部６ｇは、決定した必要画像情
報量及び必要音声情報量を制御部６ｅへ送る。 【０１６３】制御部６ｅは、保持している画像音声情報
のうち、画像情報については、画像情報量を上記決定さ
れた必要画像情報量にする。制御部６ｅは、保持してい
る画像音声情報のうち、音声情報については、音声情報
量を上記決定された必要音声情報量にする。 【０１６４】制御部６ｅは、必要画像情報量の画像情
報、必要音声情報量の音声情報を第１通信部（送信部）
６ｃ等を介して、サーバ装置４へ送る。 【０１６５】その後、ステップＳ１３０以降の処理が行
われる。 【０１６６】変形例１においても、実施の形態１の効果
が得られる。また、本変形例では、情報量決定部６ｇ
は、所定の解像度で、画像認識及び音声認識を行うのに
必要な情報量を決定できる。このため、送信部６ｃが、
サーバ装置４に対して、画像音声情報生成装置１で生成
された全ての情報量ではなく、画像認識や音声認識を所
定の解像度で行うのに必要な情報量だけ画像音声情報を
サーバ装置４に送信すれば、サーバ装置４は、所定の解
像度で、画像認識及び音声認識処理を行える。この結
果、画像認識や音声認識に影響を与えることなく、公衆
ネットワーク３の回線の混雑緩和や転送時間の短縮化を
図れることができる。 【０１６７】（変形例２）図１に示す情報検索システム
の同一構成、機能についてはその説明を省略する。 【０１６８】（構成）変形例２に係るサーバ装置４で
は、格納部４ｄに、各種の素材画像情報（例えば、背景
画像）や素材音声情報（例えば、効果音）が格納されて
いる。 【０１６９】クライアントサブシステム２は、図６に示
すように、格納装置５に格納された画像音声情報に対し
て、上記素材画像情報や素材音声情報を合成する合成編
集装置１０を有する。 【０１７０】（動作）変形例２のシステムでは、ステッ
プＳ３１０やＳ２５７の処理の後、または、しばらくし
てから、以下の動作を行うこともできる。 【０１７１】ユーザＸは、提示装置７の入力部７ｃによ
り、各素材画像情報、素材音声情報の一覧を示す情報を
送る要求を入力する。 【０１７２】上記要求は、提示装置７の制御部７ｄ等を
介して、サーバ装置４の制御部４ｆへ送られる。 【０１７３】サーバ装置４の制御部４ｆは、保持してい
る上記一覧情報を通信部４ｅ等を介して、提示装置７の
提示部７ａに提示させる。 【０１７４】ユーザＸは、一覧情報に基づいて、提示装
置７の入力部７ｃにより所望の素材画像情報、素材音声
情報を特定する情報、これらの画像情報、素材画像情報
の配置情報、素材音声情報を挿入するタイミング情報等
のコマンド列情報を入力する。 【０１７５】上記コマンド列情報のうち、素材画像情報
や素材音声情報を特定する情報は、提示装置７の制御部
７ｄ等を介して、サーバ装置４の制御部４ｆへ送られ
る。画像情報の配置情報やタイミング情報は、合成編集
装置１０へ送られる。 【０１７６】サーバ装置４の制御部４ｆは、送信された
上記特定する情報に基づいて、素材画像情報、素材音声
情報を格納部４ｄから読み出し、通信部４ｅ等を介し
て、サブシステム管理装置６の制御部６ｅへ送る。制御
部６ｅは、いったん、素材画像情報、素材音声情報を保
持する。 【０１７７】サブシステム管理装置６の制御部６ｅは、
第２通信部６ｄ等を介して、提示装置７の提示部７ａ
に、合成編集を行う対象の画像音声情報を検索するため
の第２検索情報を入力するように提示させる。 【０１７８】その後、ステップＳ２００からステップＳ
２９０の動作が行われる。 【０１７９】サブシステム管理装置６の制御部６ｅは、
送信された画像音声情報、いったん保持していた素材音
声情報、素材画像情報を合成編集装置１０へ送る。 【０１８０】合成編集装置１０は、画像音声情報に対し
て、保持している配置情報やタイミング情報に基づい
て、素材画像情報や素材音声情報を合成編集して、新た
な画像音声情報を生成する。 【０１８１】新たな画像音声情報は、サブシステム管理
装置６の制御部６ｅを介して、格納装置５の格納部５ａ
に格納される。この際、新たな画像音声情報は、編集前
の画像音声情報に対応づけられていた第１検索情報と対
応づけられる。 【０１８２】変形例２によれば、既に生成された画像音
声情報に対して、効果音や背景画像を付け加えるような
合成編集ができ、より一層ユーザの利便性を考慮するこ
とができる。また、サーバ装置４の格納部４ｄに格納さ
れている素材画像情報や素材音声情報をすべてクライア
ントサブシステム２に送信する必要がなくなる。 【０１８３】なお、素材画像情報や素材音声情報に文字
情報等が対応づけられている場合には、サブシステム管
理装置６の検索情報生成部６ｆは、編集前の画像音声情
報に対応づけられていた第１検索情報と、上記文字情報
等を考慮して、新たな第１検索情報を生成するようにし
てもよい。そして、検索情報生成部６ｆは、この新たな
第１検索情報を合成編集後の画像音声情報と対応づける
ようにしてもよい。 【０１８４】（変形例３）変形例２のシステムをさらに
以下のように変形することもできる。 【０１８５】合成編集装置１０が、合成編集処理をし
て、新たな画像音声情報を生成した後、以下のようにす
ることも可能である。 【０１８６】生成された新たな画像音声情報がサブシス
テム管理装置６の制御部６ｅを介して、提示装置７の提
示部７ａにて提示される。 【０１８７】ユーザＸは、提示された新たな画像音声情
報に満足する場合には、その旨を入力部７ｃにより入力
する。 【０１８８】この場合には、新たな画像音声情報は、サ
ブシステム管理装置６の制御部６ｅを介して、格納装置
５の格納部５ａに格納される。この際、新たな画像音声
情報は、例えば、編集前の画像音声情報に対応づけられ
ていた第１検索情報と対応づけられる。 【０１８９】一方、ユーザＸが提示された新たな画像音
声情報に満足しない場合には、ユーザＸが入力部７ｃを
用いてその旨を入力し、再度、上記変形例２の動作を行
わせるようにしてもよい。そして、ユーザＸが満足する
新たな画像音声情報が得られるまで、上述の動作を繰り
返すようにしてもよい。 【０１９０】なお、変形例２では、合成編集機能はクラ
イアントサブシステム２に設けたが、サーバ装置４に設
け、サーバ装置４が、新たな画像音声情報を生成するよ
うにし、それを提示装置７の提示部７ａに提示させ、ユ
ーザが満足不満足を判断するようにしてもよい。 【０１９１】（変形例４）図１に示す情報検索システム
と同一構成、機能についてはその説明を省略する。 【０１９２】変形例４の画像認識部４ａは、シーンチェ
ンジ管理部（図示せず）を有する。シーンチェンジ管理
部は、抽出部により抽出された特徴情報を所定時間ごと
に監視し、特徴情報に変化があった場合には、変化する
前後のタイミングで、シーンチェンジがあったとして、
シーンチェンジタイミング情報を生成する。 【０１９３】そして、サーバ装置４の制御部４ｆは、画
像情報とともにシーンチェンジタイミング情報をクライ
アントサブシステム２に送信する。 【０１９４】クライアントサブシステム２のサブシステ
ム管理装置６は、画像情報及びシーンチェンジタイミン
グ情報を提示装置７の提示部７ａに提示させる。この
際、画像情報はストリーム形式で提示される。 【０１９５】ユーザＸは、提示装置７の入力部７ｃを用
いて、シーンチェンジタイミングの採用、不採用の旨を
入力する。入力された採用不採用の旨は、サーバ装置４
の制御部４ｆへ送られる。 【０１９６】画像認識部４ａは、送られたシーンチェン
ジタイミングの採用、不採用に基づいて、画像音声情報
生成装置１で生成された画像情報を、複数の画像情報に
分ける。検索情報生成部４ｃは、分けられた画像情報ご
とに第１検索情報を生成する。 【０１９７】（動作）変形例４の情報検索システムの動
作について、図２，３、４に示すフローチャート図を用
いて説明する。 【０１９８】ステップＳ１００からステップＳ１３０の
処理の後、ステップＳ１４０で、画像認識部４ａは、以
下の処理を行う。即ち、画像ストリームに対して、抽出
部により抽出された特徴情報が、シーンチェンジ管理部
へ送られる。シーンチェンジ管理部が、特徴情報が変化
したと判断した場合には、変化する前後のタイミング
で、シーンチェンジがあったとして、シーンチェンジタ
イミング情報を生成する。 【０１９９】そして、シーンチェンジ管理部は、画像情
報及びこの画像情報の場面区切りのタイミングを示すシ
ーンチェンジタイミング情報をサーバ装置４の制御部４
ｆへ送る。 【０２００】サーバ装置４の制御部４ｆは、通信部４ｅ
等を介して、上記画像情報及びシーンチェンジタイミン
グ情報を提示装置７に送信する。 【０２０１】提示装置７の制御部７ｄは、提示部７ａに
上記画像情報及びシーンチェンジタイミング情報を提示
させる。 【０２０２】ユーザＸは、提示部７ａにより提示される
上記画像情報及びシーンチェンジタイミング情報を参照
して、入力部７ｃを用いて、シーンチェンジするタイミ
ングが適当と判断した場合には、シーンチェンジタイミ
ング情報に採用という情報を与え、シーンチェンジする
タイミングが不適当と判断した場合には、シーンチェン
ジタイミング情報に不採用という情報を与える。 【０２０３】ユーザＸにより入力された採用、不採用の
情報は、画像情報、シーンチェンジタイミング情報とと
もに、通信部７ｂ等を介して、サーバ装置４の制御部４
ｆへ送られる。 【０２０４】サーバ装置４の制御部４ｆは、上記採用不
採用等の情報を画像認識部４ａの特徴情報比較部及び検
索情報生成部４ｃへ送る。 【０２０５】画像認識部４ａの特徴情報比較部は、実施
の形態１で示したように、一定の場合には、画像認識情
報を検索情報生成部４ｃへ出力する。そして、画像認識
部４ａの特徴情報比較部による上記処理は、採用された
シーンチェンジタイミングの画像まで行われる。 【０２０６】そして、音声認識部４ｂにより出力された
音声認識情報、画像認識部４ａにより出力された画像認
識情報は、検索情報生成部４ｃへ送られる。検索情報生
成部４ｃは、出力された音声認識情報と、出力された画
像認識情報とに基づいて、第１検索情報を生成する。 【０２０７】同様にして、次に採用されたシーンチェン
ジタイミングの画像まで画像認識部４ａの特徴情報比較
部による上記処理が行われ、検索情報生成部４ｃにより
第１検索情報が生成される。以降、画像認識部４ａに画
像情報が入力されなくなるまで、上述の動作が行われ
る。 【０２０８】このようにして、画像音声情報生成装置１
で生成された画像情報が、シーンチェンジを考慮して、
複数の画像情報に分けられる。そして、画像情報及び音
声情報からなる画像音声情報に対して、第１検索情報が
生成される。 【０２０９】以降の処理は、ステップＳ１６０以降の処
理と同じである。 【０２１０】変形例４のシステムは、画像音声情報生成
装置１により生成された画像情報に対して、シーンチェ
ンジを考慮して複数の画像情報に分け、それぞれに対し
て第１検索情報が生成できる。このため、より一層ユー
ザの利便性を考慮することができる。 【０２１１】（変形例５）変形例５のシステムは、放送
信号受信装置（図示せず）を有する。 【０２１２】サーバ装置４は、放送信号として、画像情
報や音声情報のほか、文字情報（例えば、ＥＰＧ情報）
も受信する放送信号受信部（図示せず）を有する。 【０２１３】また、サーバ装置４は、文字情報を認識す
る文字情報認識部（図示せず）を有する。 【０２１４】文字認識部による文字認識処理は、例え
ば、以下のようにして行われる。文字認識部は、予め、
所定の複数のワード（名詞等）が記録されたテーブルを
保持している。そして、入力された文字情報に対して、
テーブルに記録されたワードと一致するワードを文字認
識情報として出力する。 【０２１５】（動作）先ず、放送信号受信部は、画像情
報、音声情報、文字情報を含む放送信号を受信する。こ
の放送信号は、サーバ装置４の制御部４ｆへ送られる。 【０２１６】サーバ装置４の制御部４ｆは、画像情報を
画像認識部４ａへ、音声情報を音声認識部４ｂへ、文字
情報を文字認識部へ送る。 【０２１７】画像認識部４ａにより認識処理されて出力
された画像認識情報、音声認識部４ｂにより認識処理さ
れて出力された音声認識情報、文字認識部により認識処
理されて出力された文字認識情報が検索情報生成部４ｃ
へ送られる。 【０２１８】検索情報生成部４ｃは、各認識情報に基づ
いて第１検索情報を生成する。 【０２１９】そして、サーバ装置４の制御部４ｆは、生
成した第１検索情報と、対応する画像音声情報を格納部
４ｄに格納する。 【０２２０】そして、サーバ装置４の制御部４ｆは、通
信部４ｅを介して、各クライアントサブシステム２に対
して、上記格納した画像音声情報に関する情報、画像音
声情報を特定する情報を送信する。そして、送信された
上記情報は、提示装置７の提示部７ａにて提示される。 【０２２１】ユーザＸが上記画像音声情報を取得したい
と判断した場合は、取得要求、画像音声情報を特定する
情報を入力部７ｃにより入力する。その取得要求等は、
通信部７ｂ、サブシステム管理装置６の制御部６ｅ等を
介して、サーバ装置４の制御部４ｆへ送られる。 【０２２２】サーバ装置４の制御部４ｆは、取得要求及
び画像音声情報を特定する情報に基づいて、格納部４ｄ
に格納されている画像音声情報を読み出し、通信部４ｅ
等を介して、ユーザＸのクライアントサブシステム２に
送信する。 【０２２３】クライアントサブシステム２のサブシステ
ム管理装置６の制御部６ｅは、第２通信部６ｄを介し
て、格納装置５の格納部５ａに格納させる。 【０２２４】これにより、ユーザが希望する放送信号の
画像や音声の情報をユーザのサブシステム２に格納する
ことができ、必要に応じて提示させることができる。 【０２２５】（変形例６）本システムは、また、以下の
ように変形することもできる。 【０２２６】サーバ装置４の制御部４ｆは、画像認識処
理や音声認識処理の変更、更新があった場合等、各ユー
ザに提供するサービス内容の変更があった場合、その変
更、更新内容を各クライアントサブシステム２に送る。 【０２２７】クライアントサブシステム２のサブシステ
ム管理装置６の制御部６ｅは、変更、更新内容を第２通
信部６ｄ等を介して、提示装置７の提示部７ａに提示さ
せる。 【０２２８】ユーザは、提示部７ａにより提示された変
更、更新内容に基づいて、サービスを継続して受けるか
否かを判断する。 【０２２９】現在受けているサービスを変更するような
場合には、その旨を入力部７ｃにより入力すると、通信
部７ｂ等を介して、サーバ装置４の制御部４ｆへ送られ
る。 【０２３０】サーバ装置４の制御部４ｆは、変更要求し
てきたユーザの画像音声情報生成装置１やサブシステム
からの情報に対しては、変更要求に基づいてサービスを
行うようにする。 【０２３１】また、現在受けているサービスを継続する
ような場合には、その旨を入力部７ｃにより入力する
と、通信部７ｂ等を介して、サーバ装置４の制御部４ｆ
へ送られる。 【０２３２】サーバ装置４の制御部４ｆは、上記ユーザ
の画像音声情報生成装置１やクライアントサブシステム
２からの情報に対しては、継続してきたサービスを行う
ようにする。 【０２３３】（変形例７）本システムは、また、以下の
ように変形することもできる。 【０２３４】サーバ装置４の画像認識処理や音声認識処
理に変更、更新があった場合（例えば、画像認識処理の
精度を上げたような場合）には、その旨が通信部４ｅ等
を介して、各ユーザのクライアントサブシステム２に送
られる。 【０２３５】提示装置７の提示部７ａにより提示された
変更、更新内容をユーザが見て、変更、更新後の認識処
理サービスを希望する旨を入力部７ｃにより入力した場
合、その旨は通信部７ｂ等を介して、サーバ装置４の制
御部４ｆへ送られる。 【０２３６】サーバ装置４の制御部４ｆは、送信された
希望する旨に基づいて、上記ユーザの画像音声情報に対
して、新たに第１検索情報を生成するように判断する。
そして、制御部４ｆは、画像情報音声情報の送信要求
を、クライアントサブシステム２に送信する。 【０２３７】サブシステム管理装置６の制御部６ｅは、
第２通信部６ｄ等を介して、格納装置５の格納部５ａか
ら全ての画像音声情報を読み出し、サーバ装置４へ送
る。 【０２３８】サーバ装置４の制御部４ｆは、送信された
画像音声情報のうち、画像情報を画像認識部４ａへ、音
声情報を音声認識部４ｂへ送り、検索情報生成部４ｃに
新たな第１検索情報を生成させる。 【０２３９】そして、制御部４ｆは、新たな第１検索情
報を画像音声情報と対応づけて、通信部４ｅ等を介し
て、クライアントサブシステム２に送る。 【０２４０】クライアントサブシステム２では、サブシ
ステム管理装置６を介して、画像音声情報が上記新たな
第１検索情報と対応づけられて格納装置５の格納部５ａ
に格納される。 【０２４１】本変形例によれば、サーバ装置４が、一元
的に、画像音声認識サービスを行っているので、画像音
声認識サービスの変更、更新があった場合でも、速やか
に、各ユーザが保有する画像音声情報に対する変更更新
後の画像音声認識処理を行い、新たな第１検索情報を生
成できる。 【０２４２】（変形例８）また、サーバ装置４の格納部
４ｄに、各ユーザに対して提供するための画像情報、音
声情報、検索情報が格納されるようにしてもよい。 【０２４３】この画像情報、音声情報としては、サーバ
装置４が管理する放送信号に関するものでもよいし、各
ユーザが他のユーザに対して、提供してもよいとして提
供した画像情報、音声情報（効果音や背景画像が合成編
集された画像情報も含む）でもよい。 【０２４４】そして、これらの提供用の画像情報、音声
情報に関する情報を各クライアントサブシステム２に送
信し、各ユーザのサブシステム２から所定の画像情報、
音声情報について送信要求があった場合には、サーバ装
置４は、上記送信要求があった画像情報、音声情報を上
記サブシステム２に提供するようにしてもよい。 【０２４５】例えば、Ｖｉｄｅｏ−ＣＤ、ＤＶＤ等の記
録メディア（パッケージメディア）に記録したいという
要求がユーザからあった場合等である。 【０２４６】（変形例９）サーバ装置４が各ユーザのク
ライアントサブシステム２に種々のサービスを提供する
場合、提供するサービスの内容に応じて、各ユーザから
徴収する料金を決め、サービスを提供する際、又は提供
後に、そのサービスの提供に必要な料金を各サブシステ
ム２から徴収することも可能である。 【０２４７】各クライアントサブシステム２に料金を請
求する方法には、種々の方法があり、ここでは、特に限
定しない。例えば、以下のような請求方法がある。即
ち、サーバ装置４の格納部４ｄは、各サービスと、サー
ビスの提供に必要な料金との対応テーブルを格納してい
る。そして、サーバ装置４の制御部４ｆは、所定のユー
ザに対して、サービスを提供する際に上記対応テーブル
を参照して、料金を示す情報を送信する。 【０２４８】なお、サービスの提供にあたって、サービ
スの回数によらず、受けるサービスの種類で料金を定め
ることもできる。また、同じサービスであっても、サー
ビスを受ける回数によって、料金を定めることもでき
る。 【０２４９】また、サーバ装置４の格納部４ｄに格納さ
れている画像情報、音声情報、素材画像情報、素材音声
情報が、所定のユーザから提供されたものであるとき、
サーバ装置４があるユーザのクライアントサブシステム
２に上記情報のいずれかを提供して、料金を徴収した場
合、上記所定のユーザに料金の一部を返金するようにし
てもよい。なお、返金する金額は、所定ユーザとサーバ
装置４の管理者との事前にやりとり等で決められる。 【０２５０】（適用例）本実施の形態における検索シス
テムは、以下のようなシステムに適用することも可能で
ある。 【０２５１】図７は、本実施の形態の情報検索システム
の適用例を示す構成図である。ここで、図１に示すシス
テムと同一構成、同一機能については、同一符号を付し
てその説明を簡略又は省略する。 【０２５２】適用例に係るシステムでは、クライアント
サブシステム２は、サブシステム管理装置６、テレビ受
像装置１２、格納装置５を有する。各部は、ローカルネ
ットワーク８で接続されている。また、サブシステム管
理装置６とテレビ受像装置１２との間、テレビ受像装置
１２と格納装置５との間、サブシステム管理装置６と格
納装置との間は、ＡＶケーブル９で接続されている。こ
のＡＶケーブル９は、画像情報や音声情報の送受信に使
う回線である。 【０２５３】サブシステム管理装置６は、以下に示す点
を除いて、図１に示すサブシステム管理装置６の構成、
機能と同じである。サブシステム管理装置６の格納部
（図示せず）には、格納装置５に記録されている画像音
声情報に対応する第１検索情報が格納されている。 【０２５４】また、サブシステム管理装置６は、テレビ
受像装置１２等との間で、画像情報、音声情報の通信を
行うＡＶ通信部（図示せず）を有する。 【０２５５】テレビ受像装置１２は、図１に示す提示装
置７に対応するものである。テレビ受像装置１２の構成
は以下の点を除いて、図１に示す構成と同じである。 【０２５６】テレビ受像装置１２は、サブシステム管理
装置６との間で、画像情報、音声情報の通信を行う第１
ＡＶ通信部（図示せず）と、格納装置５との間で、画像
情報、音声情報の通信を行う第２ＡＶ通信部（図示せ
ず）を有する。 【０２５７】格納装置５は、図１に示す格納装置に対応
するものである。格納装置の構成は以下の点を除いて、
図１に示す構成と同じである。格納装置５は、テレビ受
像装置１２等との間で、画像音声情報の通信を行うＡＶ
通信部（図示せず）を有する。 【０２５８】格納装置５は、例えば、ＤＶＤーＲＡＭデ
ィスク記録装置、ＶＩＤＥＯ−ＣＤ，ＤＶＤ等の記録メ
ディアで構成することが可能である。 【０２５９】（動作）図２，３，４に示すフローチャー
ト図を用いて適用例のシステムの動作について説明す
る。 【０２６０】ステップＳ１００〜Ｓ１６０の処理の後、
ステップＳ１７０では、以下の処理が行われる。 【０２６１】ステップＳ１７０では、クライアントサブ
システム２のサブシステム管理装置６の制御部６ｅは、
保持している格納装置５のアドレス情報に基づいて、Ａ
Ｖ通信部及びＡＶケーブル９等を介して、格納装置５へ
画像音声情報を送る。画像音声情報は、格納装置５の格
納部５ａに格納される。 【０２６２】一方、サブシステム管理装置６の制御部６
ｅは、格納装置５へ送った画像音声情報と対応づけて第
１検索情報を、サブシステム管理装置６の格納部６ａに
格納する。 【０２６３】サブシステム管理装置６の制御部６ｅは、
画像音声情報及びその第１検索情報が格納された旨を、
ローカルネットワーク８等を介して、テレビ受像装置１
２の表示部（図示せず）に送る。テレビ受像装置１２の
表示部にて、上記旨が表示される。 【０２６４】（２）ユーザＸが所望する画像音声情報の
提示動作については、図３，４のステップＳ２００から
Ｓ３１０の処理が行われる。この際、サブシステム管理
装置６の制御部６ｅは、第１検索情報を格納装置５では
なく、サブシステム管理装置６の格納部６ａから読み出
す。また、画像音声情報についての通信は、ＡＶケーブ
ル９やＡＶ通信部を介して行う。それ以外の点は、実施
の形態１のシステムの動作と同じである。 【０２６５】また、実施の形態１の変形例１から変形例
９については、適用例のシステムについても同様に適用
できる。図８は、適用例のシステムを実施の形態１の変
形例２のように変形した場合の構成を示す図である。 【０２６６】実施の形態２． （構成）図９は、本発明の実施の形態２である情報検索
システムの構成を示す図である。 【０２６７】実施の形態２のシステムにおいて、実施の
形態１の構成と同一構成については、同一符号を付して
その説明を省略する。情報検索システムにおいて、実施
の形態１のシステムと異なる点は、以下の点にある。 【０２６８】情報検索システムは、サーバ装置４等と公
衆ネットワーク３を介して接続された無線局２０を有す
る。無線局２０は、複数の携帯電話型画像音声情報生成
装置２１と無線ネットワーク２２を介して接続される。
この携帯電話型画像音声情報生成装置２１は、例えば、
携帯電話等で構成され、その構成は、実施の形態１の画
像音声情報生成装置１の構成と同じである。但し、通信
部１ｅは、無線局２０とデータ通信を行う。 【０２６９】本システムでは、クライアントサブシステ
ム２の代わりに、クライアントＰＣ端末装置３０が設け
られている。 【０２７０】クライアントＰＣ端末装置３０は、メモリ
部３０ａ（例えば、ハードディスク等）、提示部３０ｂ
（例えば、ＣＲＴ等）、入力部３０ｃ（例えば、キーボ
ード、マウス等）、通信部３０ｄ、ＣＰＵ３０ｅを有す
る。 【０２７１】メモリ部３０ａには、クライアントＰＣ端
末装置３０のユーザの識別情報や、ＣＰＵ３０ｅに各種
の動作を実行させるための実行プログラム、画像音声情
報、これらに対応する第１検索情報等各種のデータが格
納されている。 【０２７２】入力部３０ｃには、ユーザにより各種のデ
ータが入力される。通信部３０ｄは、サーバ装置４や無
線局２０と公衆ネットワーク３を介して、データ通信を
行う。 【０２７３】ＣＰＵ３０ｅは、メモリ部３０ａの実行プ
ログラムを解読して、後述する比較部４１等に比較動作
を行わせたり、制御部４２に各種の動作を行わせるよう
に命令する解読命令部４０と、解読命令部４０により命
令された指示に基づいて、ユーザにより入力された第２
検索情報と、メモリ部３０ａに格納されている第１検索
情報とを比較する比較部４１と、各部を制御する制御部
４２とを有する。 【０２７４】ここで、上記比較部４１は、第２検索情報
と各第１検索情報が一致しないと判定した場合、第２検
索情報が、第１検索情報と直接比較できる情報であるか
否かを判定する。 【０２７５】また、ＣＰＵ３０ｅは、第２検索情報と一
致した第１検索情報がないと判定された場合であって、
第２検索情報が、第１検索情報と直接比較できる情報で
ないと判定された場合、第２検索情報から、新たな第２
検索情報（第１検索情報と直接比較できる情報）を生成
する検索情報生成部４３を有する。 【０２７６】（動作）実施の形態２の情報検索システム
の動作について、図２，３，４に示すフローチャート図
を用いて説明する。実施の形態１に示す動作と同一動作
については、その説明を省略する。 【０２７７】ここで、クライアントＰＣ端末装置３０
は、電源がオンされると、ＣＰＵ３０ｅがメモリ部３０
ａから実行プログラムを読み出し、解読命令部４０が解
読して、各部に対して、それぞれ、各種の動作を実行で
きるように命令する。すると、ＣＰＵ３０ｅ内の各部
は、各種の動作が実行できるように設定される。 【０２７８】ステップＳ１００、Ｓ１１０の処理におい
て、携帯電話型画像音声情報生成装置２１とサーバ装置
４との間の通信は、無線局２０を介して行われる。 【０２７９】ステップＳ１２０では、サーバ装置４は、
ユーザＸのクライアントＰＣ端末装置３０に対する認証
処理を行う。 【０２８０】サーバ装置４の制御部４ｆは、ユーザＸの
クライアントＰＣ端末装置３０に対して、識別情報を送
信する旨の情報を通信部４ｅ等を介して、ＰＣ端末装置
３０のＣＰＵ３０ｅの制御部４２へ送る。制御部４２
は、メモリ部３０ａから識別情報を読み出し、通信部３
０ｄ等を介して、サーバ装置４の制御部４ｆへ送信す
る。制御部４ｆは、送られてきた識別情報と、格納部４
ｄに格納されているユーザＸのＰＣ端末装置３０の識別
情報とを比較し、一致する場合には、ユーザＸのＰＣ端
末装置３０は正当なものと判断する。 【０２８１】この後、ステップＳ１３０、Ｓ１４０、Ｓ
１５０の処理が行われる。この際、携帯電話型画像音声
情報生成装置２１とサーバ装置４との間の通信は、無線
局２０を介して行われる。 【０２８２】ステップＳ１６０では、検索情報生成部４
ｃから生成された第１検索情報が送られたサーバ装置４
の制御部４ｆは、保持していた画像音声情報を、上記第
１検索情報及びユーザＸの識別情報と対応づけて、通信
部４ｅ等を介して、ユーザＸのＰＣ端末装置３０へ送
る。 【０２８３】ステップＳ１７０では、ＰＣ端末装置３０
のＣＰＵ３０ｅの制御部４２は、メモリ部３０ａに画像
音声情報及びこれに対応する第１検索情報を送り、格納
させる。制御部４２は、画像音声情報及びその第１検索
情報がメモリ部３０ａに格納された旨を提示部３０ｂに
提示させる。 【０２８４】次に、ユーザＸが所望する画像音声情報の
提示動作について、図３，４を用いて、説明する。 【０２８５】ステップＳ２００では、ユーザＸは、ＰＣ
端末装置３０の入力部３０ｃから、所望の音声画像情報
を検索を行うのに必要な情報である第２検索情報を入力
する。 【０２８６】ステップＳ２１０では、ＰＣ端末装置３０
の入力部３０ｃにより入力された第２検索情報は、制御
部４２へ送られる。 【０２８７】ステップＳ２２０、Ｓ２３０では、ＰＣ端
末装置３０の制御部４２は、メモリ部３０ａから第１検
索情報を読み出す。 【０２８８】ステップＳ２４０では、ＰＣ端末装置３０
の制御部４２は、第１検索情報及び第２検索情報を比較
部４１へ送る。 【０２８９】ステップＳ２５０では、比較部４１は、第
２検索情報と、各第１検索情報とを比較し、一致するか
否かを判定する。 【０２９０】一致する第１検索情報がある場合には、ス
テップＳＳ２８０へ移行する。一致する第１検索情報が
ない場合には、ステップＳ２５５へ移行する。 【０２９１】ステップＳ２５５では、比較部４１は、第
２検索情報が、格納されている第１検索情報と直接比較
できる情報であるか否かを判定する。 【０２９２】直接比較できない情報である場合には、ス
テップＳ２６０へ移行する。直接比較できる情報である
場合には、ステップＳ２５７へ移行する。 【０２９３】ステップＳ２５７では、ＰＣ端末装置３０
の制御部４２は、ユーザＸが入力した第２検索情報に対
応する画像映像情報はない旨を提示するように、提示部
３０ｂに指示する。提示部３０ｂは、その旨を提示す
る。 【０２９４】ステップＳ２６０では、第２検索情報が、
比較部４１から制御部４２を介して、検索情報生成部４
３へ送られる。検索情報生成部４３は、第２検索情報か
ら新たな第２検索情報を生成する。検索情報生成部４３
により生成された新たな第２検索情報は、再び、比較部
４１に送られる。 【０２９５】ステップＳ２７０では、比較部４１は、生
成された新たな第２検索情報と、メモリ部３０ａから読
み出された各第１検索情報とを比較し、生成された新た
な第２検索情報と一致する第１検索情報があるか否かを
判定する。 【０２９６】ある場合には、ステップＳ２８０へ移行す
る。ない場合には、ステップＳ２５７へ移行する。 【０２９７】ステップＳ２８０、Ｓ２９０では、ＣＰＵ
３０ｅの制御部４２は、第２検索情報又は，検索情報生
成部４３により生成された新たな第２検索情報と一致す
る第１検索情報に対応する画像音声情報をメモリ部３０
ａから読み出す。 【０２９８】ステップＳ３００では、ＣＰＵ３０ｅの制
御部４２は、読み出した画像音声情報を、提示部３０ｂ
に送る。 【０２９９】ステップＳ３１０では、提示部３０ｂは、
送信された画像音声情報を提示する。 【０３００】本実施の形態においても、実施の形態１の
効果が得られる。また、本実施の形態においても、実施
の形態１で示した変形例１から９までの変形が可能であ
る。この際、画像音声情報生成装置１を携帯画像音声情
報生成装置１に代え、提示装置７の通信部７ｂ、制御部
７ｄ、格納装置５の通信部５ｂ、制御部５ｃに関する動
作をなくし、提示装置７の提示部７ａを提示部３０ｂに
代え、提示装置７の入力部７ｃを入力部３０ｃに代え、
格納装置５の格納部５ａをメモリ部３０ａに代える。 【０３０１】また、クライアントサブシステム２、サブ
システム管理装置６をＰＣ端末装置３０に代え、サブシ
ステム管理装置６の第１通信部６ｃ，第２通信部６ｄに
関する動作をなくす。そして、サブシステム管理装置６
の格納部６ａは、メモリ部３０ａに代える。 【０３０２】実施の形態２において、実施の形態１で示
した変形例１を適用した情報検索システムの構成を図１
０に示す。実施の形態１で示した情報量決定部４３は、
ＣＰＵ３０ｅ内に設けられている。 【０３０３】そして、通信部３０ｄ（送信部）は、情報
量決定部４３により決定された必要情報量で、携帯電話
型画像音声情報生成装置２１により生成された画像音声
情報をサーバ装置４に送信する。 【０３０４】 【発明の効果】本発明によれば、各ユーザのコスト負担
を軽減するとともに、各ユーザが自由に生成した画像音
声情報に対しても、十分な画像音声認識処理を行い、こ
の処理結果を利用して迅速かつ正確に所望の情報を検索
できる検索情報を自動的に生成することができる。従っ
て、本システムによれば、ユーザの利便性を一層考慮し
て、ユーザが所望する画像音声情報を高度に検索して提
示することが可能となる。 【０３０５】また、本システムの情報量決定手段は、所
定の解像度で、画像認識及び音声認識を行うのに必要な
情報量を決定できる。このため、送信手段が、画像音声
情報生成装置で生成された全ての情報量ではなく、画像
認識や音声認識を所定の解像度で行うのに必要な情報量
だけ、画像音声情報を検索情報生成装置に送信すれば、
検索情報生成装置は、所定の解像度で、画像認識及び音
声認識処理を行える。この結果、画像認識や音声認識に
影響を与えることなく、回線の混雑緩和や転送時間の短
縮化を図れることができる。
【図面の簡単な説明】
【図１】実施の形態１である情報検索システムの構成を
示す図である。 【図２】実施の形態１である情報検索システムの動作の
一部を示すフローチャート図である。 【図３】実施の形態１である情報検索システムの動作の
一部を示すフローチャート図である。 【図４】実施の形態１である情報検索システムの動作の
一部を示すフローチャート図である。 【図５】実施の形態１の変形例１の情報検索システムの
構成を示す図である。 【図６】実施の形態１の変形例２の情報検索システムの
構成を示す図である。 【図７】実施の形態１の適用例の情報検索システムの構
成を示す図である。 【図８】実施の形態１の適用例を変形した情報検索シス
テムの構成を示す図である。 【図９】実施の形態２である情報検索システムの構成を
示す図である。 【図１０】実施の形態２の変形例１の情報検索システム
の構成を示す図である。 【図１１】従来の情報検索システムの構成を示す図であ
る。 【符号の説明】 １、５０ 画像音声情報生成装置、１ａ 撮影部、１ｂ
音声入力部、１ｃ 画像音声情報生成部、１ｄ，４
ｄ，５ａ，６ａ 格納部、１ｅ、４ｅ，５ｂ，７ｂ，３
０ｄ 通信部，１ｆ，４ｆ，５ｃ，６ｅ、７ｄ，４２
制御部、２ クライアントサブシステム、３、５１ 公
衆ネットワーク、４ サーバ装置、４ａ 画像認識部、
４ｂ 音声認識部、４ｃ，４３ 検索情報生成部、５，
５２ｃ 格納装置、６、５２ａ サブシステム管理装
置、６ｂ，４１ 比較部、６ｃ 第１通信部、６ｄ 第
２通信部、６ｆ サブシステム検索情報生成部、６ｇ、
４３ 情報量決定部、７，５２ｂ 提示装置、７ａ，３
０ｂ 提示部、７ｃ，３０ｃ 入力部、８ ローカルネ
ットワーク、９ ＡＶケーブル、１０ 合成編集装置、
２０ 無線局、２１ 携帯電話型画像音声情報生成装
置、３０ クライアントＰＣ端末装置、３０ａ メモリ
部、３０ｅ ＣＰＵ、４０ 解読命令部、５２ｄ 画像
音声認識装置
示す図である。 【図２】実施の形態１である情報検索システムの動作の
一部を示すフローチャート図である。 【図３】実施の形態１である情報検索システムの動作の
一部を示すフローチャート図である。 【図４】実施の形態１である情報検索システムの動作の
一部を示すフローチャート図である。 【図５】実施の形態１の変形例１の情報検索システムの
構成を示す図である。 【図６】実施の形態１の変形例２の情報検索システムの
構成を示す図である。 【図７】実施の形態１の適用例の情報検索システムの構
成を示す図である。 【図８】実施の形態１の適用例を変形した情報検索シス
テムの構成を示す図である。 【図９】実施の形態２である情報検索システムの構成を
示す図である。 【図１０】実施の形態２の変形例１の情報検索システム
の構成を示す図である。 【図１１】従来の情報検索システムの構成を示す図であ
る。 【符号の説明】 １、５０ 画像音声情報生成装置、１ａ 撮影部、１ｂ
音声入力部、１ｃ 画像音声情報生成部、１ｄ，４
ｄ，５ａ，６ａ 格納部、１ｅ、４ｅ，５ｂ，７ｂ，３
０ｄ 通信部，１ｆ，４ｆ，５ｃ，６ｅ、７ｄ，４２
制御部、２ クライアントサブシステム、３、５１ 公
衆ネットワーク、４ サーバ装置、４ａ 画像認識部、
４ｂ 音声認識部、４ｃ，４３ 検索情報生成部、５，
５２ｃ 格納装置、６、５２ａ サブシステム管理装
置、６ｂ，４１ 比較部、６ｃ 第１通信部、６ｄ 第
２通信部、６ｆ サブシステム検索情報生成部、６ｇ、
４３ 情報量決定部、７，５２ｂ 提示装置、７ａ，３
０ｂ 提示部、７ｃ，３０ｃ 入力部、８ ローカルネ
ットワーク、９ ＡＶケーブル、１０ 合成編集装置、
２０ 無線局、２１ 携帯電話型画像音声情報生成装
置、３０ クライアントＰＣ端末装置、３０ａ メモリ
部、３０ｅ ＣＰＵ、４０ 解読命令部、５２ｄ 画像
音声認識装置
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ１０Ｌ 15/00 Ｇ１０Ｌ 3/00 ５５１Ｇ
５５１Ａ
Ｆターム(参考） 5B050 AA08 CA07 CA08 EA04 EA18
FA02 FA10 FA13 GA08
5B075 KK07 ND06 ND14 NK02 NK07
NK10 NK25 NK39 PP22 PP24
PQ02
5D015 KK01
Claims (1)
- 【特許請求の範囲】 【請求項１】 画像情報及び該画像情報に対応する音声
情報からなる画像音声情報に対して、所定の解像度で、
画像認識処理及び音声認識処理を行い、認識結果に基づ
いて前記画像音声情報を検索するための第１検索情報を
生成し、該第１検索情報を用いて、ユーザが所望する画
像音声情報を検索するシステムであって、 各ユーザの操作に基づいて、それぞれ、画像音声情報を
生成する各画像音声情報生成装置と、 所定量の画像音声情報に対して、前記所定の解像度で、
画像認識処理及び音声認識処理を行うのに必要な画像音
声情報の情報量である第１情報量と、前記各画像音声情
報生成装置により生成された画像音声情報の情報量であ
る第２情報量とに基づいて、前記第２情報量の画像音声
情報に対して、前記所定の解像度で、画像認識処理及び
音声認識処理を行うのに必要な画像音声情報の情報量で
ある必要情報量を決定する情報量決定手段と、 前記情報量決定手段により決定された必要情報量で、前
記各画像音声情報生成装置により生成された画像音声情
報を送信する送信手段と、 前記送信手段により送信された各画像音声情報に対し
て、前記所定の解像度で、画像認識処理及び音声認識処
理を行い、認識結果に基づいて、前記第１検索情報を、
前記各画像音声情報に対応づけて生成する検索情報生成
装置と、 前記検索情報生成装置により生成された各第１検索情報
と、前記送信手段により送信された各画像音声情報とを
それぞれ対応づけて、格納する格納手段と、 ユーザが所望の画像音声情報を検索するための第２検索
情報を入力する入力手段と、 前記入力手段により入力された第２検索情報と、前記格
納手段に格納された各第１検索情報とを比較する比較手
段と、 前記比較手段による比較結果に基づいて、前記格納手段
から前記第２検索情報に対応する画像音声情報を読み出
し、その読み出した画像音声情報を、前記ユーザに提示
する提示手段とを有することを特徴とする情報検索シス
テム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002045333A JP2003248685A (ja) | 2002-02-21 | 2002-02-21 | 情報検索システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002045333A JP2003248685A (ja) | 2002-02-21 | 2002-02-21 | 情報検索システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003248685A true JP2003248685A (ja) | 2003-09-05 |
Family
ID=28659268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002045333A Pending JP2003248685A (ja) | 2002-02-21 | 2002-02-21 | 情報検索システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003248685A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013225319A (ja) * | 2006-06-28 | 2013-10-31 | Microsoft Corp | 視覚的な多次元の検索 |
-
2002
- 2002-02-21 JP JP2002045333A patent/JP2003248685A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013225319A (ja) * | 2006-06-28 | 2013-10-31 | Microsoft Corp | 視覚的な多次元の検索 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11356714B2 (en) | Apparatus, systems and methods for a content commentary community | |
| US7616840B2 (en) | Techniques for using an image for the retrieval of television program information | |
| US7181757B1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
| US20030014758A1 (en) | System and method for providing summary video information of video data | |
| US20050165613A1 (en) | Methods for constructing multimedia database and providing mutimedia-search service and apparatus therefor | |
| KR101123370B1 (ko) | 휴대단말용 객체기반 콘텐츠 제공방법 및 장치 | |
| JP2002108892A (ja) | データ管理システム、データ管理方法、及び、記録媒体 | |
| US20040192382A1 (en) | Personal digest delivery system and method | |
| KR101850501B1 (ko) | 역사 컨텐츠 제공 시스템 | |
| JP5306550B2 (ja) | 映像解析情報送信装置、映像解析情報配信システム及び配信方法、映像視聴システム及び映像視聴方法 | |
| US20080065695A1 (en) | System and method for nondeterministic media playback selected from a plurality of distributed media libraries | |
| JP5198643B1 (ja) | 映像解析情報アップロード装置及び映像視聴システム及び方法 | |
| JP4506270B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| JP2003248685A (ja) | 情報検索システム | |
| JP2021005390A (ja) | コンテンツ管理機器、および、制御方法 | |
| JP2002304420A (ja) | 視聴覚コンテンツ配信システム | |
| KR100944958B1 (ko) | 특정 구간의 멀티미디어 데이터 및 캡션 데이터를 제공하는장치 및 서버 | |
| KR100671147B1 (ko) | 명장면 체험 서비스 장치 및 그 방법 | |
| JP2007104326A (ja) | コンテンツ作成装置及びコンテンツ作成方法 | |
| JP2010283707A (ja) | 車載用電子装置および車載用電子装置の画像更新システム | |
| JP2002175298A (ja) | データ管理システム、データ管理方法、及び、プログラム | |
| JP2005328218A (ja) | 録画処理装置、録画予約処理システム、記事管理システム、および録画処理方法、並びにコンピュータ・プログラム | |
| KR100507028B1 (ko) | 멀티미디어 콘텐츠에 관한 자막 파일 등의 보조 콘텐츠 관리 시스템 및 그 방법 | |
| KR20060102641A (ko) | 연기자의 대본 연습을 위한 전자 대본 제공 시스템 및 방법 | |
| JP2007048334A (ja) | データ記録システム、端末装置、データ記録装置、データ記録方法、制御プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体 |