JP2006228087A - マルチメディアデータ検索システム、マルチメディアデータ検索方法および携帯端末装置 - Google Patents

Abstract

【課題】携帯端末装置によって複数のユーザーと交信中に、交信内容に関連するマルチメディアデータを交信中のメンバーとリアルタイムに共有することができるマルチメディアデータ検索システム、マルチメディアデータ検索方法および携帯端末装置を提供する。
【解決手段】サーバーと複数の携帯端末装置をＩＰネットワークで接続してマルチメディアデータを検索ときに、サーバーを経由した携帯端末装置間のリアルタイム通信中に、サーバーが携帯端末装置から受信したデータをもとに、関連するマルチメディアデータを検索し、検索結果のマルチメディアデータと、携帯端末装置で閲覧するためのレイアウトデータとを作成して、通信中のすべての携帯端末装置に配信し、携帯端末装置では、配信されたレイアウトデータに基づいて検索結果のマルチメディアデータを再生、表示する。
【選択図】図１

Description

本発明は、マルチメディアデータ検索システム、マルチメディアデータ検索方法および携帯端末装置に関し、複数のクライアント（携帯端末装置）が通信中に要求したマルチメディアデータを検索して、通信中のクライアント（携帯端末装置）へリアルタイムで配信するマルチメディアデータ検索処理の方式に関する。

従来から、ユーザーが所有している端末からサーバーに要求を出すことにより、ユーザーの所望する情報を検索する手法についての提案がなされている。
例えば、特許文献１には、携帯電話とサーバーを利用してユーザーの必要な情報を検索し、通知する方法が提案されている。

図１０を用いて、特許文献１の携帯電話用インターネット情報・音声検索システムについて説明する。
この携帯電話用インターネット情報・音声検索システム１０６は、携帯電話回線網１０３とインターネット網１０４に接続されており、インターネット機能を備えた携帯電話端末１０１は、携帯電話用基地局１０２を介して携帯電話回線網１０３と接続され、携帯電話回線網１０３は、インターネットセンター１０５を介してインターネット網１０４と接続されている。

また、携帯電話用インターネット情報・音声検索システム１０６は、携帯電話受信部１０７と、音声応答装置１０８と、音声認識装置１０９と、検索情報データベース１１０と、情報検索処理部１１１と、検索情報送信用サーバー１１２とからなっている。
ユーザーは、携帯電話端末１０１から、携帯電話用インターネット情報・音声検索システム１０６に割り当てられた電話番号に電話をかける。
携帯電話用インターネット情報・音声検索システム１０６の携帯電話受信部１０７は、ユーザーからの電話を受けるとともに、ユーザーの携帯電話端末１０１の電話番号を取得し、ユーザーの携帯電話用メールアドレスを作成する。

次に、携帯電話用インターネット情報・音声検索システム１０６は、音声応答装置１０８により、案内メッセージを順次流しながら、ユーザーから情報検索に必要な情報を音声によって収集する。
ユーザーからの音声は、音声認識装置１０９でデータ化し、情報検索処理部１１１が順次データベース等の記憶手段に記憶する。
ユーザーから一通り必要な情報を収集した後、音声応答装置１０８は、一旦通話を終了することを促す音声メッセージをユーザーに送り、ユーザーは通話を切断して待機する。

通話終了後、情報検索処理部１１１は、検索情報データベース１１０にアクセスし、先に案内メッセージに従って順次収集した検索条件を満たす情報を検索する。
情報検索処理部１１１は、検索結果として抽出した情報を検索情報送信用サーバー１１２に送る。
検索情報送信用サーバー１１２は、この検索結果に基づいて、メール文を作成し、ユーザーの携帯電話用メールアドレスに向けて、インターネット網１０４を通じて電子メールで送信する。
インターネット網１０４に送り出された電子メールは、メールアドレスに従ってインターネットセンター１０５に送られ、携帯電話回線網１０３、携帯電話用基地局１０２を介して携帯電話端末１０１に送られる。
特開２００２−４４２５６号公報

しかしながら、特許文献１の方法は、ネットワーク経由でホテル予約等の手間を簡略化するのが目的であり、サーバーとの通話により検索条件を伝えた後、一旦通話を切断する必要がある。即ち、検索結果の取得に関してリアルタイム性がなく、メールに書かれた情報によりホテル予約等を行う場合、別途ブラウザ等のアプリケーションをユーザーが自ら起動して行う必要がある。

また、特許文献１のような従来の情報検索では、ユーザー自身が必要とする情報を検索するためのものであり、その情報を他のユーザーと共有するためのものではない。したがって、他のユーザーと情報を共有するためには、改めてユーザーから他のユーザーへ共有する情報をメール等で送信しなければならない。

本発明は、上述のような実情を考慮してなされたものであって、携帯端末装置によって複数のユーザーと交信中に、交信内容に関連するマルチメディアデータを交信中のメンバーとリアルタイムに共有することができるマルチメディアデータ検索システム、マルチメディアデータ検索方法および携帯端末装置を提供することを目的とする。

上記の課題を解決するために、本発明は、ＩＰネットワーク上のサーバーと複数のクライアント（携帯端末装置）からなる通信システムであって、サーバーを経由したクライアント間のリアルタイム通信中に、サーバーがクライアントから受信したデータをもとにして、関連するマルチメディアデータ（ビデオ、オーディオ、イメージ、テキスト等）を検索し、クライアントに配信するようにした。

このクライアントは、少なくともビデオ、オーディオ、イメージ、テキスト等のマルチメディアデータを扱い、サーバーを経由して他のクライアントと通信するアプリケーションと、サーバーが検索したマルチメディアデータを扱う非リアルタイム通信系アプリケーションと、各非リアルタイム通信系アプリケーションの状態を管理し、かつサーバーから受信したレイアウトデータおよび検索結果のマルチメディアデータを判別し、再生に適した非リアルタイム通信系アプリケーションに振り分けて検索結果を再生、表示させる連携管理アプリケーションとを有する。

また、サーバーには、複数のクライアント間のリアルタイム通信を行うためのセッション制御部と、クライアントとのデータの受け渡しを行うデータ送受信部と、検索用メディアデータを検索キーワードに変換する検索キーワード変換部と、検索キーワードをもとに関連するマルチメディアデータを検索する検索エンジン部と、検索により抽出したマルチメディアデータをクライアントで閲覧するためのレイアウトデータを作成するレイアウトデータ作成部と、各部の制御を行う動作管理部とを有する。

本発明によれば、複数のクライアント（携帯端末装置）間の通話中に、ユーザーの「知りたい情報」をリアルタイムにサーバーから引き出し、通話中のメンバーと情報共有することができる。
これにより、会話の内容に関連するマルチメディアデータ（ビデオ、オーディオ、イメージ、テキスト等）を、その場で取得し、会話を補完できることにより、精度の高い情報共有を実現することが可能となる。

以下、図面を参照して、本発明のマルチメディアデータ検索システムに係る好適な実施形態について説明する。

＜システムの概略＞
図１は、本発明の実施形態に係るマルチメディアデータ検索システムの概略構成図である。このマルチメディア検索システムは、複数のクライアント２０１と、サーバー２０２と、必要に応じてファイルサーバー２１４をＩＰ（Internet Protocol）ネットワーク２１５で接続して構成されている。

クライアント２０１は、他のクライアント２０１と交信可能な電話機能やインターネット機能を備えた端末装置であって、同様な機能を備えた携帯端末装置（例えば、携帯電話装置やＰＤＡ（Personal Digital Assistant））やパーソナルコンピュータ等のいずれであってもよい。
本実施形態では、クライアント２０１を携帯端末装置（携帯電話装置）とした場合について説明する。また、複数のクライアント間での標準プロトコルには、ＩＴＵ−Ｔ Ｈ.３２３、ＳＩＰ（Session Initiation Protocol）、ＭＧＣＰ（ＩＴＵ−Ｔ Ｈ.２４８）などがあり、いずれも本発明に適用可能であるが、本実施形態ではプロトコルとしてＳＩＰを用いる。

サーバー２０２は、ユーザーに関する情報を登録するデータベース、クライアント２０１の電話番号とＩＰアドレスとの対応を登録したデータベース、現在利用可能なクライアント２０１の対応を管理するサーバーコンピュータであって、クライアント２０１からの要求に応じて、これらのデータベースを参照して、電話番号に対応するＩＰアドレスを要求元のクライアント２０１に通知したり、電話番号に対応するＩＰアドレスが割り当てられたクライアント２０１を呼び出したりする。
また、ビデオ、オーディオ、イメージ、テキスト等からなるマルチメディアデータを保管管理し、ユーザーからの検索要求に応じて、要求したユーザーと交信中のすべてのユーザーに検索結果を閲覧可能な形式に変換して配信する。

ファイルサーバー２１４は、マルチメディアデータを保管管理し、サーバー２０２からの検索要求に応じて、検索した結果をサーバー２０２へ戻すファイルサーバーコンピュータである。このファイルサーバー２１４は、必須のものではなく、サーバー２０２にマルチメディアデータベースを保持していない場合には、少なくとも１つは存在するものである。

ＩＰネットワーク２１５は、クライアント２０１、サーバー２０２、ファイルサーバー２１４とを結合するための伝送路であって、一般には、ケーブルで実現されるが、ケーブルだけではなく、それらの間の通信プロトコルであるＴＣＰ（Transmission Control Protocol）／ＩＰ（Internet Protocol）によって無線通信するものであってもよい。
ここで、クライアントとクライアント間やクライアントとサーバー間のリアルタイム性が要求されるデータの送受信プロトコルとして、ＲＴＰ（Real-time Transport Protocol）を使用し、サーバーからクライアントへの検索結果の通知に使うリアルタイム性が要求されないデータの送受信プロトコルとしては、ＨＴＴＰ（HyperText Transfer Protocol）を使用する。

次に、本マルチメディアデータ検索システムの動作概要を、例えば、３台のクライアントＡ，Ｂ，Ｃとサーバー間で通話を行いながらマルチメディアデータの検索を行う場合について説明する。ここで、前提として、クライアントＡ，Ｂ，ＣとサーバーはＩＰネットワーク上にあり、ＴＣＰ／ＵＤＰで通信を行うため、ソケットをオープンしている状態とする。

クライアントＡ，Ｂ，Ｃは、サーバーを介して、接続シーケンスでネゴシエーションした結果により、ビデオ／音声等のメディアを使用して通話を行う。
この場合、クライアントＡは、カメラやマイク等の入力デバイスから取り込んだデータをリアルタイムで符号化し、ＩＰネットワークで通信するためパケット単位でメディアデータをサーバーに送信する。
サーバーは、受信した通話用パケットデータをクライアントＢ，Ｃに転送する。
そして、サーバーから通話用パケットデータを受信したクライアントＢ，Ｃは、パケットデータに含まれるメディアデータを復号してスピーカーや表示装置等によってユーザーに提示する。

さらに、通話中に、あるユーザーが「知りたい情報」を想起した場合、そのユーザーが音声等で検索キーワードを検索用のパケットデータとしてサーバーに送信する。
サーバーは、受信した検索用パケットデータを一時的に記憶部へ記憶するとともに、検索用のパケットを送信したユーザー以外のユーザーに、その検索用のパケットを転送し、検索用のパケットデータの送信が終了すると、記憶部に記憶した検索用データを音声認識して、検索キーワードを生成し、この検索キーワードによりサーバーが備えるデータベースやファイルサーバーから検索結果を取り寄せる。

さらに、サーバーは、検索結果（動画、音声、テキスト等のファイル）の各ファイルタイプやファイルの内容をもとに、それぞれのファイルを意図したタイミングや画面上の位置に再生/表示するためのレイアウトデータを作成して、検索結果のファイルとレイアウトデータは別々のファイルとしてクライアントＡ、Ｂ，Ｃへ配信する。
クライアントＡ，Ｂ，Ｃは、それぞれ受信した検索結果を、レイアウトデータ毎に適宜必要なアプリケーションによって再生を行う。ここで、これらのクライアントＡ，Ｂ，Ｃは、検索指示中、検索中および検索結果の閲覧中においても通話を継続することができる。

以上はクライアントＡからクライアントＢ，Ｃへのメディアデータ送信について説明したが、同様の手順によりクライアントＢからクライアントＡ，Ｃおよび、クライアントＣからクライアントＡ，Ｂへのメディア送信も可能である。さらに、サーバー−クライアント間の通話においては、任意の一クライアントがメディアを送信している間、他のクライアントからのメディア送信を禁止する片方向通信であっても、常にどのクライアントからもメディア送信を可能とする双方向通信のいずれであってもよい。

これにより、本マルチメディアデータ検索システムは、複数のクライアント間の通話中に、ユーザーの「知りたい情報」をリアルタイムにサーバーから引き出し、通話中のメンバーと情報共有することができる。
したがって、会話の内容に関連するマルチメディアデータ（ビデオ、オーディオ、イメージ、テキスト等）を、その場で取得し、会話を補完できることにより、精度の高い情報共有を実現することが可能となる。

次に、本マルチメディア検索システムの詳細な構成について説明する。

＜詳細の構成＞
（Ａ）データ構成：
まず、クライアント２０１とサーバー２０２間での通話用及び検索用に使われるパケットについて説明する。図２は、パケットデータの構成を示す図である。
パケットデータは、大きくヘッダ部とペイロード部に分かれており、ヘッダ部にはパケットデータの種別を示すパケットタイプ６１とサブタイプ６２を保持する領域がある。ペイロード部には、ビデオ、オーディオ等のメディアデータを格納する。
また、パケットタイプ６１は、通話用パケットデータか検索用パケットデータかを表すパケットデータの種別のコードが設定される。
サブタイプ６２は、パケットタイプ６１が検索用パケットデータの場合、接頭パケットデータあるいは接尾パケットデータかを表すコードが設定される。
この接頭パケットデータおよび接尾パケットデータは、通話用メディアデータと検索用メディアデータの境界を示すものであり、ペイロード部は空でよい。

次に、検索結果をサーバー２０２からクライアント２０１へ転送するときのレイアウトデータについて説明する。図３は、レイアウトデータの構成を示す図である。
レイアウトデータは、自身のファイル名７１に続いて、各マルチメディアデータの再生情報を格納する。各マルチメディアデータ１〜Ｎには、マルチメディアデータのファイル名７２と、データを表示するときの表示位置のＸ座標７３とＹ座標７４と、マルチメディアデータの再生を開始する時間７５と、再生をどれだけの時間行うかを示す再生期間７６とを少なくとも含んでいる。
このマルチメディアデータは、一つのレイアウトデータ内に、一つの検索キーワードに対する検索結果として抽出されたデータの数だけ繰り返される。

（Ｂ）クライアント：
図４は、クライアント２０１の機能構成を示すブロック図であり、同図において、クライアント２０１は、リアルタイム通信系アプリケーション２０３、非リアルタイム通信系アプリケーション２０４、連携管理アプリケーション２０５、非通信系アプリケーション２０６からなっている。

（Ｂ−１）リアルタイム通信系アプリケーション２０３：
リアルタイム通信系アプリケーション２０３は、マルチメディアデータ（ビデオ、オーディオ、イメージ、テキスト等）を扱えるリアルタイム通信が可能なアプリケーションプログラムであり、例えば、ＩＰネットワーク上でのマルチメディア通信手段として普及しているＳＩＰ電話アプリケーションを用いる。
また、リアルタイム通信系アプリケーション２０３は、非リアルタイム通信系アプリケーション２０４の動作中も継続して動作しており、通信中のクライアント２０１との交信（通話）が可能である。

（Ｂ−２）非リアルタイム通信系アプリケーション２０４：
非リアルタイム通信系アプリケーション２０４は、サーバー２０２から受信した検索結果の内容に応じて連携管理アプリケーション２０５から起動され、サーバー２０２から受信した非リアルタイム系のデータ、例えば、ビデオ、オーディオ、イメージやテキストを再生する。この非リアルタイム通信系アプリケーション２０４としては、レイアウトデータビューワ２０４１やメール２０４２がある。
このうちレイアウトデータビューワ２０４１は、ビデオ及びオーディオ再生用の非通信系アプリケーション２０６（動画プレーヤーや音声プレーヤー等）と連携してレイアウトデータの再生を行う。

（Ｂ−３）非通信系アプリケーション２０６：
非通信系アプリケーション２０６は、非リアルタイム通信系アプリケーション２０４から起動され、非リアルタイム通信系アプリケーション２０４と連携して、クライアント２０１内だけで動作して、マルチメディアデータの再生を行う。この非通信系アプリケーション２０６の例としては、動画プレーヤー２０６１や音声プレーヤー２０６２等がある。

（Ｂ−４）連携管理アプリケーション２０５：
連携管理アプリケーション２０５は、サーバー２０２から受信した検索結果に応じて、非リアルタイム通信系アプリケーション２０４を動作させる。
図５は、連携管理アプリケーション２０５の機能構成を示すブロック図であり、同図において、連携管理アプリケーション２０５は、検索結果データ受信部４０１、連携判定部４０２、状態判定部４０３、動作管理部４０４とからなっている。

検索結果データ受信部４０１は、サーバー２０２からのレイアウトデータ及び検索結果データを受信して、連携判定部４０２へ受信したデータを渡す。
連携判定部４０２は、受信したデータファイルの拡張子やデータヘッダを解析してデータの種類を判別し、自装置が持つ非リアルタイム通信系アプリケーションの中で、受信したレイアウトデータの再生に最も適したアプリケーションを選定し、選定したアプリケーション名と受信したレイアウトデータ及び検索結果データとを動作管理部４０４へ渡す。

例えば、クライアントがレイアウトデータビューワを有しており、このビューワではイメージとテキストデータの表示が可能であり、ビデオ及びオーディオの再生には、別途動画及び音声のローカルプレーヤーと連携して再生するものとする。
この場合、受信したデータの種類がビデオデータであれば、レイアウトビューワ単体では動画再生ができないので、レイアウトデータビューワを再生するためのアプリケーションとして選定し、このビューワから動画のローカルプレーヤーに再生指示を出して、レイアウトビューワと動画プレーヤーとが連携して動画を再生することになる。
同様に、受信したデータの種類が音声データのときにも、レイアウトビューワから音声のローカルプレーヤーに再生指示を出して、レイアウトビューワと音声プレーヤーとが連携して音声を再生することになる。

動作管理部４０４は、連携判定部４０２から選定されたアプリケーション等のデータを受け取ると、状態判定部４０３を起動して、このアプリケーションの状態が既に起動されているか、あるいは未だ起動されていないかを判断させる。
次に、動作管理部４０４は、状態判定部４０３からアプリケーションの状態の判定結果を受け取ると、アプリケーションが起動していない場合には、そのアプリケーションの起動を指示すると同時に、起動したアプリケーションにレイアウトデータの再生を要求する。
また、既にアプリケーションが起動している場合には、アプリケーションに対してレイアウトデータの再生のみを要求する。

（Ｃ）サーバー２０２：
図６は、サーバー２０２の機能構成を示すブロック図であり、同図において、サーバー２０２は、セッション制御部２０７、データ送受信部２０８、検索キーワード変換部２０９、検索エンジン部２１０、レイアウトデータ作成部２１１、記憶部２１２、動作管理部２１３とからなる。

（Ｃ−１）データ送受信部２０８：
データ送受信部２０８は、クライアント２０１とのデータの受け渡しを行う。図７は、データ送受信部２０８の機能構成を示すブロック図であり、同図において、データ送受信部２０８は、受信部３０１、パケットデータ判定部３０２、通話用パケットデータ分配部３０３、検索結果データ配信部３０４からなっている。

受信部３０１は、クライアント２０１からのデータを受信し、そのデータがセッションに関するものであるときには、セッション制御部２０７へ受信したデータを渡す。また、受信したデータが通話用あるいは検索用のパケットデータの場合には、パケットデータ判定部３０２へ受信したデータを渡す。

パケットデータ判定部３０２は、受信部３０１で受信したパケットデータのパケットタイプのコードが、通話用パケットデータか検索用パケットデータかを判別する。
ここで、通話用パケットデータと判定された場合、この通話用パケットデータを通話用パケットデータ分配部３０３へ渡して、交信中の他のクライアント２０１に転送する。

一方、パケットデータ判定部３０２は、検索用メディアのパケットデータと判定された場合、サブタイプのコードが接頭パケットデータであるとき、以降の受信パケットデータに含まれるメディアデータを結合して、検索用メディアデータとして記憶部２１２へ蓄積するとともに、この検索用パケットデータを通話用パケットデータ分配部３０３へ渡して、交信中の他のクライアント２０１に転送する。
ここで、サブタイプが接尾パケットデータであるときは、記憶部２１２に蓄積した検索用メディアデータを完了通知とともに動作管理部２１３に渡し、これ以降のパケットデータは通話用のパケットとみなされる。

通話用パケットデータ分配部３０３は、パケットデータ判定部３０２で判定された通話用パケットデータおよび検索用パケットデータを、発信元以外の交信中のすべてのクライアント２０１に分配する。
検索結果データ配信部３０４は、動作管理部２１３から渡された検索結果のファイル名を用いて、記憶部２１２から検索結果であるレイアウトデータとマルチメディアデータを読み込み、交信中のすべてのクライアント２０１に配信する。

（Ｃ−２）セッション制御部２０７：
セッション制御部２０７は、データ送受信部２０８から渡された、クライアント２０１からの接続メッセージを、他の交信中のクライアント２０１に転送し、以降の各クライアント間の応答を中継して接続シーケンスを完了させる。
また、セッション制御部２０７は、クライアント２０１から受信した切断メッセージを他の交信中のクライアント２０１に転送し、各クライアント間の接続シーケンスを完了させる。

（Ｃ−３）動作管理部２１３：
動作管理部２１３は、検索用パケットデータの完了通知を受けた場合、検索キーワード変換部２０９に対して、記憶部２１２に記憶した検索用のデータのファイル名を通知し、検索用キーワードに変換させる。
また、動作管理部２１３は、検索用キーワードへの変換が終了すると、検索エンジン部２１０に対して検索の指示を出す。
また、動作管理部２１３は、検索エンジン部２１０が終了すると、レイアウトデータ作成部２１１に対して、記憶部２１２に蓄積したマルチメディアデータのファイル名を通知し、レイアウトデータの作成を指示する。
さらに、動作管理部２１３は、データ送受信部２０８に対して、レイアウトデータ作成部２１１から渡されたレイアウトデータと検索結果であるマルチメディアデータのファイル名を通知し、各クライアントへの配信を指示する。

（Ｃ−４）検索キーワード変換部２０９：
検索キーワード変換部２０９は、記憶部２１２から検索用メディアデータを読み込み、検索用メディアデータを検索キーワードに変換し、記憶部２１２へ記憶する。
検索用メディアとして音声を使用しているときには、例えば、音声データの各単語（観たい映画のタイトル、観たい場所、観たい時間等）を音声認識により、音声データをテキストに変換し、ファイルとして記憶部２１２に蓄積する。

（Ｃ−５）検索エンジン部２１０：
検索エンジン部２１０は、通知されたファイル名で記憶部２１２から検索キーワードを読み込み、サーバー２０２に保持されたデータベースあるいはＩＰネットワーク２１５上のファイルサーバー２１４にこの検索キーワードを通知して、関連するマルチメディアデータの検索を行い、該当したマルチメディアデータをファイルとして記憶部２１２に蓄積し、蓄積したマルチメディアデータのファイル名を動作管理部２１３に通知する。

（Ｃ−６）レイアウトデータ作成部２１１：
レイアウトデータ作成部２１１は、通知されたファイル名でマルチメディアデータを記憶部２１２から読み出し、各データの種別判定、ヘッダ解析等を行いレイアウトデータ作成に必要な情報を取得した上で、クライアントで閲覧するためのレイアウトデータを作成し記憶部２１２へ蓄積した後、動作管理部２１３に作成したレイアウトデータのファイル名と作成完了の通知を出す。この場合、クライアント２０１が扱えるデータを考慮して、レイアウトデータを作成する。

例えば、検索した結果、下記３種のファイルが抽出され、クライアントがこれらの種類のデータを扱えるとものとする。

この場合、レイアウトデータ作成部２１１は、各ファイルの拡張子から、データの種別を判別し、画面表示の有無、音声再生の有無を特定する。さらに、各データのヘッダ部解析により表示に必要な表示領域の確認および再生期間の確認を行う。
例えば、ヘッダ部解析により次の情報を得たとする。

レイアウトデータ作成部２１１は、以上の情報をもとに表示位置のＸ座標、Ｙ座標等のレイアウトを作成し、レイアウトデータ自身のファイル名を「映画情報レイアウト」として、記憶部２１２へ記憶する。

上記の場合には、図８（Ａ）に示すようなレイアウトデータが作成される。この図８（Ａ）では、（Ｂ）に示すように、クライアント２０１の画面左上を原点とし、（１００ドット,−５０ドット）座標の位置に「予告ムービー.3gp」の表示領域の左上隅がくるように再生を行う。再生契機はレイアウトデータの再生開始時点からであり、再生期間は３０秒間である。

また、「予告ムービー.3gp」の下には、「映画館マップ.jpg」の表示を行う。表示位置は、（１００ドット,−２００ドット）座標の位置であり、表示はレイアウトデータの再生開始時点から行う。静止画であるため、再生期間の指定はせず、レイアウトデータの再生中は常に表示を行う。

「予告ムービー.3gp」の再生終了後、「上映時間案内.mp3」の再生を行う。再生期間は６０秒間であり、音声のみのデータであるため、画面表示に関する指定はない。

（Ｄ）クライアント２０１間の通信：
次に、クライアント２０１間での通話の開始と終了、および検索の指示について説明する。

（Ｄ−１）クライアント間の通話の開始：
クライアント２０１と他のクライアント２０１と通話を行うため、例えば、ＳＩＰ電話アプリケーションでは、接続（ＩＮＶＩＴＥ）メッセージをサーバー２０２へ送信する。
この接続（ＩＮＶＩＴＥ）メッセージには、発信元のクライアントのＩＰアドレス等を含む発信者情報と、発信先のサーバー、交信先のクライアントのＩＰアドレス等を含む発信先情報および、通話に使用するメディア種別などを含んでいる。

サーバー２０２は、接続（ＩＮＶＩＴＥ）メッセージを受信すると、交信先のクライアント２０１へ配信する。
配信された接続（ＩＮＶＩＴＥ）メッセージを受信したクライアント２０１は、接続メッセージ中のメディア種別と、自分が使用可能なメディア種別に一致するものがある場合、接続を了承するＯＫメッセージを、送信したクライアント２０１へ返信する。このＯＫメッセージには、自分が使用可能なメディア種別を含んでいる。
ＯＫメッセージを受信した、発信元のクライアント２０１は、受信したことを示すＡｃｋメッセージを返信し、この時点で接続シーケンスを完了する。

（Ｄ−２）クライアント間の通話：
交信相手のクライアント２０１は、接続シーケンスでネゴシエーションした結果により、ビデオ／音声等のメディアを使用して通話を行う。
例えば、各クライアント２０１は、カメラやマイク等の入力デバイスから取り込んだデータをリアルタイムで符号化し、ＩＰネットワーク２１５で通信するためパケット単位でメディアデータをサーバー２０２に送信する。サーバー２０２は、受信した通話用のパケットデータを他の交信先のクライアント２０１に転送する。
サーバー２０２からデータを受信したクライアント２０１は、データに含まれるメディアデータを復号して再生等を行う。
これにより、クライアント間でビデオや音声を使ったメディアデータの送受信が行われる。

（Ｄ−３）マルチメディアデータ検索の指示：
クライアント２０１のリアルタイム通信系アプリケーション２０３（ＳＩＰ電話アプリケーション）において、通話中にユーザーが、ＧＵＩ操作またはハードウェア的なボタン操作などいずれかの方法で、マルチメディアデータ検索の開始をサーバー２０２に要求する。この検索要求時点で、リアルタイム通信系アプリケーション２０３からサーバー２０２に対して接頭パケットデータが送信される。

次に、リアルタイム通信系アプリケーション２０３から検索用のメディアデータを含むパケットデータ送信する。ここで、検索用メディアデータは、サーバー２０２のマルチメディア検索のキーワードになる情報である。

例えば、メディアとして音声を使用し、映画関連の情報をサーバーに与える場合について説明する。
ユーザーは、接頭パケットデータの送信後、リアルタイム通信系アプリケーション２０３を使用し、３つの単語（観たい映画のタイトル、観たい場所、観たい時間）をこの順序で音声入力する。この入力した各単語は、メディアデータとして符号化されて、パケット単位でサーバー２０２へ送信される。

最後に、検索用メディアデータの送信後、ユーザーがＧＵＩ操作またはハードウェア的なボタン操作などいずれかの方法で、検索用メディアデータの送信終了指示をサーバー２０２へ送信する。この終了時点で、リアルタイム通信系アプリケーション２０３からサーバー２０２に対して接尾パケットデータを送信する。

（Ｄ−４）クライアントにおける検索結果の再生：
レイアウトデータと検索結果のマルチメディアデータを受信したクライアント２０１は、連携管理アプリケーション２０５によって起動された再生用のアプリケーション（非リアルタイム通信系アプリケーション）によって、検索結果を再生する。

例えば、図８（Ａ）のレイアウトデータを受信したクライアントは、レイアウトデータビューワ２０４１を起動後、まず、マルチメディアデータ１（予告ムービー.3gp）の再生を開始する。このとき、レイアウトデータビューワ２０４１から動画プレーヤー２０６１に対してマルチメディアデータ１（予告ムービー.3gp）のインライン再生指示を出し、ビューワの動画表示領域で再生する（図８（Ｂ））。

再生終了後、続けて、マルチメディアデータ３（上映時間案内.mp3）の再生を音声プレーヤー２０６２に指示する。
この間、レイアウトデータビューワ２０４１の静止画表示領域では、レイアウトデータの再生開始時点からマルチメディアデータ２（映画館マップ.jpg）の静止画を表示し続ける（図８（Ｂ））。
最後に、マルチメディアデータ３（上映時間案内.mp3）の再生が終了した時点で、レイアウトデータビューワ２０４１はユーザーの次の操作待ち状態となる。

（Ｄ−５）クライアント間の通話の終了：
交信中のいずれかのクライアント２０１が他のクライアント２０１との通話を終了するためには、例えば、ＳＩＰ電話アプリケーションでは、切断（ＢＹＥ）メッセージをサーバー２０２へ送信する。この切断（ＢＹＥ）メッセージには、切断発信元のクライアントのＩＰアドレス等を含む発信者情報、発信先のサーバー、クライアントのＩＰアドレス等を含む交信先情報などを含んでいる。

サーバー２０２は、切断要求元のクライアント２０１との間で切断に関する応答を行った後、通話から離脱したことを他の交信先のクライアント２０１に通知する。
次に、残りのクライアント２０１のいずれかがサーバー２０２に切断メッセージを送信すると、サーバー２０２は、このクライアント２０１と切断に関する応答を行い、最低限二つのクライアントによる通話が成立している間は接続セッションを維持する。
しかし、最低限二つのクライアントによる通話が成立しなくなったときは、サーバー２０２は、残ったクライアント２０１に対して、切断メッセージを送信し、サーバー２０２とクライアント２０１間の切断に関する応答が終了した時点で、通話および本システムのすべての処理を終了する。

次に、図９のフローチャートを用いて、マルチメディアデータ検索システムの全体の処理の流れを説明する。この説明では、３台のクライアントＡ，Ｂ，Ｃとサーバー間で通話を行いながらマルチメディアデータの検索を行うときの処理の流れを例にして説明する。

クライアントＡのリアルタイム通信系アプリケーション２０３は、クライアントＢおよびクライアントＣと通話を行うため、接続（ＩＮＶＩＴＥ）メッセージをサーバー２０２に送信する（ステップＳ５０１）。この接続メッセージは、クライアントＡのＩＰアドレス等を含む発信者情報と、発信先のサーバー，クライアント（Ｂ，Ｃ）のＩＰアドレス等を含む発信先情報および、通話に使用するメディア種別などを記述する。

サーバー２０２のセッション制御部２０７は、クライアントＡから受信した接続メッセージをクライアントＢ，Ｃに転送し、以降の各クライアント間の応答を中継して接続シーケンスを完了させる（ステップＳ５０２）。
接続メッセージを受信したクライアントＢ，Ｃは、接続メッセージ中に記述されたメディア種別と、自装置が使用可能なメディア種別に一致するものがある場合、接続を了承するＯＫメッセージを返信する。このＯＫメッセージ中には、自装置が使用可能なメディア種別を記述する。また、ＯＫメッセージを受信したクライアントは、受信したことを示すＡｃｋメッセージを送信し、この時点で接続シーケンスは完了する。

クライアントＡ，Ｂ，Ｃは、接続シーケンスでネゴシエーションした結果により、ビデオ／音声等のメディアを使用して通話を行う（ステップＳ５０３）。
ここで、メディアとしてビデオと音声を使った場合の、メディアデータの送受信について説明する。
各クライアント内のリアルタイム通信系アプリケーション２０３は、カメラ，マイク等の入力デバイスから取り込んだデータをリアルタイムで符号化し、ＩＰネットワーク２１５で通信するためパケット単位でメディアデータをサーバー２０２に送信する。サーバー２０２は、受信した通話用パケットデータを通話用パケットデータ分配部３０３にて、クライアントＢ，Ｃに転送する。
そして、サーバー２０２から通信用パケットデータを受信したクライアントＢ，Ｃのリアルタイム通信系アプリケーション２０３は、パケットデータに含まれるメディアデータの復号を行って、非リアルタイム通信系アプリケーション２０４で再生する。

検索をしたいクライアントＡのリアルタイム通信系アプリケーション２０３からサーバー２０２に対して、接頭パケットデータを送信する（ステップＳ５０４）。接頭パケットデータを送信する契機は、通話中にクライアントＡのユーザーが、マルチメディアデータの検索をサーバー２０２に要求開始する時点であり、ＧＵＩ操作またはハードウェア的なボタン操作などいずれの方法操作でアプリケーションに指示を出してもよい。

クライアントＡのリアルタイム通信系アプリケーション２０３から検索用のメディアデータを含むパケットデータ送信する（ステップＳ５０５）。
この検索用メディアデータは、マルチメディアデータ検索のキーワードであり、例えば、映画関連の情報を検索する場合には、単語（観たい映画のタイトル、観たい場所、観たい時間等）を音声入力する。この入力した音声は、メディアデータとして符号化されて、パケット単位でサーバー２０２へ送信され、サーバー２０２の記憶部２１２に蓄積されるとともに、この検索用メディアデータを通話用パケットデータ分配部３０３にて、クライアントＢ，Ｃに対して転送する。

クライアントＡのリアルタイム通信系アプリケーション２０３からサーバー２０２に対して接尾パケットデータを送信する（ステップＳ５０６）。接尾パケットデータを送信する契機は、検索用メディアデータの送信後であり、クライアントＡのユーザーはＧＵＩ操作またはハードウェア的なボタン操作などいずれの方法操作でアプリケーションに指示を出す。

サーバー２０２のパケットデータ判定部３０２でパケットデータが接尾パケットデータと判断されれば、記憶部２１２へ蓄積しておいたメディアデータを検索キーワード変換部２０９で、例えば、検索用メディアに音声を使用していれば音声認識によりテキストの検索キーワードに変換する（ステップＳ５０７）。

サーバー２０２の検索エンジン部２１０で検索キーワードによって、サーバー２０２におけるデータベースまたはファイルサーバー２１４を利用して関連するマルチメディアデータを検索して、検索結果を取得する（ステップＳ５０８）。

サーバー２０２のレイアウトデータ作成部２１１は、検索結果の各データの種別判定やヘッダ解析等を行ってレイアウトデータ作成に必要な情報を取得した上で、画面表示の有無、音声再生の有無を特定し、レイアウトデータ（マルチメディアデータのファイル名、表示位置のＸ座標７３とＹ座標、マルチメディアデータの再生を開始する時間、再生をどれだけの時間行うかを示す再生期間等）を作成する（ステップＳ５０９）。

サーバー２０２は、データ送受信部２０８の検索結果データ配信部３０４に対して、レイアウトデータと検索結果であるマルチメディアデータを通知し、各クライアントＡ，Ｂ，Ｃへ配信を行う（ステップＳ５１０）。

クライアント２０１の連携管理アプリケーション２０５は、サーバー２０２からレイアウトデータ及び検索結果データを受信した場合、自分が持つ非リアルタイム通信系アプリケーション２０４の中でレイアウトデータの再生に最も適したアプリケーションを選定する（ステップＳ５１１）。

連携管理アプリケーション２０５は、選定した非リアルタイム通信系アプリケーションが起動していない場合、その非リアルタイム通信系アプリケーションの起動を要求すると同時にレイアウトデータの再生を要求し、また、既に非リアルタイム通信系アプリケーションが起動していると判明した場合は、その非リアルタイム通信系アプリケーションに対してレイアウトデータの再生のみを要求する（ステップＳ５１２）。

クライアント２０１の非リアルタイム通信系アプリケーション２０４は、動画及び音声再生用の非通信系アプリケーションと連携してレイアウトデータの再生を行う（ステップＳ５１３）。

いずれかのクライアント２０１（今、クライアントＡとする）は、他のクライアント２０１（Ｂ，Ｃ）との通話を終了するため、切断（ＢＹＥ）メッセージをサーバー２０２に送信する（ステップＳ５１４）。

サーバー２０２は、クライアントＡとの間で切断に関する応答を行った後、クライアントＢ，ＣにクライアントＡが通話から離脱したことを通知する（ステップＳ５１５）。
次に、クライアントＢがサーバー２０２に切断（ＢＹＥ）メッセージを送信する（ステップＳ５１６）。
サーバー２０２は、クライアントＢと切断に関する応答を行ことにより、クライアントＢが通話から離脱して、最低限二つのクライアントによる通話が成立しなくなるため、残ったクライアントＣに対して切断メッセージを送信し、サーバー２０２とクライアントＣ間の切断に関する応答が終了した時点で、通話およびマルチメディアデータ検索のすべての処理が終了する（ステップＳ５１７）。

本発明は、種々の多重化データの連続再生に適用可能である。

本発明の実施形態に係るマルチメディアデータ検索システムの概略構成図である。 クライアント−サーバー間で送受信するパケットデータの構成を示す図である。 レイアウトデータの構成を示す図である。 本発明の実施形態によるクライアントの機能構成を示すブロック図である。 本発明の実施形態によるクライアント内の連携管理アプリケーションの機能構成を示すブロック図である。 本発明の実施形態によるサーバーの機能構成を示すブロック図である。 本発明の実施形態によるサーバー内のデータ送受信部の機能構成を示すブロック図である。 レイアウトデータの具体例を示す図である。 本発明の実施形態におけるマルチメディアデータ検索システムの全体の処理の流れを示すフローチャート図である。 従来の携帯電話用インターネット情報・音声検索システムの構成を示すブロック図である。

符号の説明

１０１…携帯電話端末、１０２…携帯電話用基地局、１０３…携帯電話回線網、１０４…インターネット網、１０５…インターネットセンター、１０６…携帯電話用インターネット情報・音声検索システム、１０７…携帯電話受信部、１０８…音声応答装置、１０９…音声認識装置、１１０…検索情報データベース、１１１…情報検索処理部、１１２…検索情報送信用サーバー、２０１…クライアント、２０２…サーバー、２０３…リアルタイム通信系アプリケーション、２０４…非リアルタイム通信系アプリケーション、２０４１…非リアルタイム通信系アプリケーションＡ（レイアウトデータビューワ）、２０４２…非リアルタイム通信系アプリケーションＢ（メール）、２０５…連携管理アプリケーション、２０６…非通信系アプリケーション、２０６１…非通信系アプリケーションＡ（動画プレーヤー）、２０６２…非通信系アプリケーションＢ（音声プレーヤー）、２０７…セッション制御部、２０８…データ送受信部、２０９…検索キーワード変換部、２１０…検索エンジン部、２１１…レイアウトデータ作成部、２１２…記憶部、２１３…動作管理部、２１４…ファイルサーバー、２１５…ＩＰネットワーク、３０１…受信部、３０２…パケットデータ判定部、３０３…通話用パケットデータ分配部、３０４…検索結果データ配信部、４０１…検索結果データ受信部、４０２…連携判定部、４０３…状態判定部、４０４…動作管理部、６１…パケットタイプ、６２…サブタイプ、６３…ペイロード（メディアデータ）、７１…レイアウトデータファイル名、７２…マルチメディアデータのファイル名、７３…表示位置のＸ座標、７４…表示位置のＹ座標、７５…再生開始時間、７６…再生期間。

Claims (13)

1. サーバーと複数のクライアントとをＩＰネットワークで接続したマルチメディアデータ検索システムにおいて、前記サーバーを経由した前記クライアント間のリアルタイム通信中に、該サーバーが前記クライアントから受信したデータをもとに、関連するマルチメディアデータを検索し、すべての前記クライアントに配信することを特徴とするマルチメディアデータ検索システム。
2. 請求項１に記載のマルチメディアデータ検索システムにおいて、前記クライアントは、マルチメディアデータを扱い、他のクライアントと通話を行うリアルタイム通信系アプリケーションと、前記サーバーから受信したマルチメディアデータの再生、表示を行う非リアルタイム通信系アプリケーションと、各非リアルタイム通信系アプリケーションの状態を管理し、かつ前記サーバーから受信したデータを判別し、該データを再生、表示する適切な前記非リアルタイム通信系アプリケーションに振り分ける連携管理アプリケーションとを有することを特徴とするマルチメディアデータ検索システム。
3. 請求項１に記載のマルチメディアデータ検索システムにおいて、前記サーバーは、複数のクライアント間のリアルタイム通信を行うためのセッション制御部と、前記クライアントとのデータの受け渡しを行うデータ送受信部と、前記クライアントからの検索用メディアデータを検索キーワードに変換する検索キーワード変換部と、該検索キーワードをもとに関連するマルチメディアデータを検索する検索エンジン部と、前記検索結果のマルチメディアデータをクライアントで閲覧するためのレイアウトデータを作成するレイアウトデータ作成部と、各部の制御を行う動作管理部とを有することを特徴とするマルチメディアデータ検索システム。
4. 請求項１に記載のマルチメディアデータ検索システムにおいて、前記クライアントからの検索用メディアデータの送信は、前記リアルタイム通信系アプリケーションによる通話中に行うことを特徴とするマルチメディアデータ検索システム。
5. 請求項２に記載のマルチメディアデータ検索システムにおいて、前記クライアント内のリアルタイム通信系アプリケーションは、通常の通話のための通話用メディアデータの送信と、マルチメディアデータ検索のための検索用メディアデータの送信を区別するために、検索キーワードのもとになるメディアデータの前後に接頭パケットデータと接尾パケットデータとを送信することを特徴とするマルチメディアデータ検索システム。
6. 請求項３に記載のマルチメディアデータ検索システムにおいて、前記サーバーのデータ送受信部は、前記クライアントのリアルタイム通信系アプリケーションからのメディアデータを受信する受信部と、該受信したメディアデータが通話用のメディアデータを含むパケットデータか、接頭パケットデータまたは接尾パケットデータ検索用のどちらであるかを判定するパケットデータ判定部と、前記パケットデータ判定部で通話用パケットデータと判別された場合、該通話用パケットデータを通話中の各クライアントに分配するための通話用パケットデータ分配部と、検索結果であるマルチメディアデータとレイアウトデータを各クライアントに配信するための検索結果データ配信部とを有することを特徴とするマルチメディアデータ検索システム。
7. 請求項６に記載のマルチメディアデータ検索システムにおいて、前記パケットデータ判定部は、接頭パケットデータの受信を認識した場合、接尾パケットデータを受信するまでの間のメディアデータをまとめて蓄積することを特徴とするマルチメディアデータ検索システム。
8. 請求項３に記載のマルチメディアデータ検索システムにおいて、前記検索結果であるレイアウトデータには、少なくとも検索結果である各マルチメディアデータを示す表示位置と、再生開始時間と、再生期間を含むことを特徴とするマルチメディアデータ検索システム。
9. 請求項２に記載のマルチメディアデータ検索システムにおいて、前記クライアントの連携管理アプリケーションは、前記サーバーからのレイアウトデータおよびマルチメディアデータを受信する検索結果データ受信部と、前記受信した検索結果データのファイルタイプを判定し、連携させるべき前記非リアルタイム通信系アプリケーションを判定する連携判定部と、連携させるべき前記非リアルタイム通信系アプリケーションの状態を判定する状態判定部と、各部の制御を行う動作管理部とを有することを特徴とするマルチメディアデータ検索システム。
10. 請求項９に記載のマルチメディアデータ検索システムにおいて、前記状態判定部は、連携させるべき非リアルタイム通信系アプリケーションが起動しているか否かを判定し、前記動作管理部は、当該非リアルタイム通信系アプリケーションが起動していない場合には、当該非リアルタイム通信系アプリケーションの起動を行うことを特徴とするマルチメディアデータ検索システム。
11. 請求項１に記載のマルチメディアデータ検索システムにおいて、前記クライアントでは、レイアウトデータに記述したマルチメディアデータ毎に、適宜前記非リアルタイム通信系アプリケーションにより再生を行い、検索結果の閲覧中においても、前記リアルタイム通信系アプリケーションによる通話は継続するようにしたことを特徴とするマルチメディアデータ検索システム。
12. サーバーと複数のクライアントとをＩＰネットワークで接続してマルチメディアデータを検索するマルチメディアデータ検索方法において、前記サーバーを経由した前記クライアント間のリアルタイム通信中に、該サーバーが前記クライアントから受信したデータをもとに、関連するマルチメディアデータを検索し、前記検索結果のマルチメディアデータと、前記クライアントで閲覧するためのレイアウトデータとを作成して、通信中のすべての前記クライアントに配信し、前記クライアントでは、配信されたレイアウトデータに基づいて検索結果のマルチメディアデータを再生、表示することを特徴とするマルチメディアデータ検索方法。
13. サーバーと複数の携帯端末装置とをＩＰネットワークで接続して、マルチメディアデータの検索要求と再生を行う携帯端末装置において、前記サーバーを経由した前記携帯端末装置間のリアルタイム通信中に、検索用メディアデータを前記サーバーに送信するリアルタイム通信系アプリケーションと、前記サーバーから受信したマルチメディアデータの再生、表示を行う非リアルタイム通信系アプリケーションと、前記サーバーで前記検索用メディアデータをもとに検索されたマルチメディアデータと、該マルチメディアデータを閲覧するためのレイアウトデータとを受信し、前記受信したデータを判別し、該データを再生、表示する適切な前記非リアルタイム通信系アプリケーションに振り分ける連携管理アプリケーションとを有することを特徴とする携帯端末装置。

Images