JP2001229203A

JP2001229203A - マルチメディア検索サーバーおよび画像音声混合文章生成装置

Info

Publication number: JP2001229203A
Application number: JP2000265190A
Authority: JP
Inventors: Shigeaki Matsumoto; 繁明松元; Kazutoki Yoshizaka; 主旬吉坂
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1999-12-07
Filing date: 2000-09-01
Publication date: 2001-08-24

Abstract

(57)【要約】【課題】入力したかな漢字文章に対して、サーバー側
で自動的にキーワード抽出とマルチメディアデータ検索
をおこなうことで、効率よく最新の画像や音楽を用いた
マルチメディアデータ混合文章を出力する。【解決手段】入力装置101とかな漢字文章を入力し、
入力したデータをマルチメディア検索装置とやり取りす
る送受信装置103を介して、形態素解析部111にて文章を
解析してキーワード候補を抽出し、文節コスト計算部11
2にて文節の確からしさを計算し、キーワード検索部113
にて対応する画像や音楽を検索することで、文書変換部
114にて検索された結果から表示用データに変換する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチメディア検
索サーバ、特に画像や音声などのマルチメディア文書を
構成する要素につけられたキーワードに基づいて検索を
行う装置に関する。

【０００２】

【従来の技術】従来の検索装置では、文書中のキーワー
ドに対して個別に要素を検索していた。例えば、特開平
7−141355号公報に記載の発明では、変換候補の画像と
漢字を同一の画面にて表示しているが、あらかじめ文節
を区切ったキーワードをシステムの入力データとしてお
り、かな漢字文章の中から自動的にキーワードを抽出す
ることはなかった。

【０００３】また、特開平11-110373号公報に記載の発
明では、形態素解析を用いて入力文章を自動的に画像混
合文章に変換しているが、一つのキーワードに対して複
数の変換候補を提示しておらず、ユーザーが好みの要素
を選択することはできない。また、対象が画像だけに限
定されており、音楽などの他のメディアを挿入すること
はできない。

【０００４】さらに、上記２つのシステムでは、辞書デ
ータをクライアント側で保持しているため、新しい要素
が登録された辞書に更新したい場合には、全てのクライ
アント上の辞書を更新する手間が発生する。

【０００５】

【発明が解決しようとする課題】類似したシステムとし
て、従来の画像検索システムをあげることができる。従
来の画像検索システムでは、操作者がキーワード毎に検
索を行うため、入力文章中の複数キーワードに対する一
括変換ができなかった。このようなシステムでは、ネッ
トワーク接続された検索装置に問合せを行う場合、変換
の度にデータ転送が起こり、制御信号のオーバーヘッド
が生じていた。

【０００６】また、上記オーバーヘッドを軽減するた
め、クライアント側に検索システムを導入する場合は、
クライアントの環境に合わせたシステムを個別に作る必
要があった。また、検索結果となる要素を増やす際に
は、全てのクライアントに変更を加える必要があり、最
新の辞書ファイルを利用するには手間がかかった。

【０００７】本発明の目的は、入力文章を一括して、画
像や音楽等の音声に変換する機能を、ネットワークを介
したマルチメディア検索サーバに行わせることで、最新
のキーワードで、最新の画像や音楽などのメディアをク
ライアントに提供することを容易にすることにある。本
発明によれば、WEB上における標準記述言語を利用する
ことで、クライアントの環境に依存しない幅広いOperat
ing System上からメディア検索を行って電子メールとし
て配信することも可能になる。

【０００８】

【課題を解決するための手段】本発明は、かな漢字文字
を入力する入力装置と、入力された文字データやその結
果をマルチメディア検索サーバーとやりとりするための
データ伝達装置と、かな漢字文字を形態素解析してキー
ワードに分割する解析装置と、最新のキーワードを保持
するキーワード記憶装置と、キーワードに対応した要素
を検索する制御装置と、最新の要素を保持する要素記憶
装置と、返信結果のデータを表示する表示装置とを備え
た情報処理装置において、かな漢字文字で構成された単
語入力毎に変換指示がなくても、入力された文字データ
をマルチメディア検索サーバーにて形態素解析する手段
と、自動的に要素検索の対象となりうるキーワードを抽
出する手段と、キーワードに関連付けられた要素が複数
存在した場合にユーザーに対して変換候補を選択させる
手段と、キーワードに関連付けられた要素の候補を入力
文書中のキーワードと置き換える手段と、要素が挿入さ
れた文書をクライアント側に伝達する手段を有すること
を特徴とする。

【０００９】入力されたかな漢字文章は、変換指示なし
に読みかな文字に相当する文字、画像、音楽等の音声に
自動的に変換されて、ユーザーにマルチメディアデータ
挿入済み変換候補文の集合を提示する。ユーザーはその
中から選択を行い、最終的にマルチメディアデータ挿入
済み変換文を決定する。

【００１０】

【発明の実施の形態】以下、本発明の実施の形態を、図
面を用いて説明する。

【００１１】図１は本発明になる情報処理装置の機能ブ
ロック図である。実施例として、キーボードに代表され
る入力装置101から、「猫の首に鈴をつける」という文
章を入力する。かな漢字混じりの入力文章を受け取った
データ送信部103は、リモートのマルチメディア検索サ
ーバーシステム110にデータを送信する。マルチメディ
ア検索サーバーシステム110は、形態素解析部111と、文
節コスト計算部112と、キーワード検索部113と、文書変
換部114から構成される。

【００１２】まず、形態素解析部111がクライアントか
ら送信されたデータを受け取り、文節に区切る。文節の
区切り方によって、入力文書が「猫の首に鈴をつける」
「猫/の首に鈴をつける」「猫の/首に鈴をつける」・・
・「猫/の/首/に/鈴/を/つける」・・・「猫/の/首/に/
鈴/を/つ/け/る」というように、何通りもの文節に区切
られる。

【００１３】文節コスト計算部112が、それらの候補の
確からしさを計算し、最も高い得点の文節で区切られた
入力文書「猫/の/首/に/鈴/を/つける」を、キーワード
検索部113に渡す。

【００１４】キーワード検索部113では、文節毎に図２
で示す記憶装置120に記憶されている変換テーブルを参
照し、該当する画像・音楽ファイルのパスを文書変換部
114に渡す。

【００１５】記憶装置120には、図２に示すように登録
されている各単語について画像や音楽等のマルチメディ
アデータがテーブルとして記憶されている。この例で
は、単語「猫」に対して「猫」の画像ファイルへのパス
が、単語「鈴」に対して「鈴」の画像ファイルへのパス
が、更に「鈴」の音声ファイルへのパスが記憶されてい
る。また、図２には示されていないが、ある単語に対し
て音声ファイルのみが登録されている場合もある。

【００１６】文書変換部114では、画像や音楽等のマル
チメディアデータへ変換できる文節を消去し、その場所
にタグ付画像・音楽ファイルへのパスの文字列を挿入す
る。画像や音楽等のマルチメディアデータへ変換できる
文節一つにつき、複数の画像が図２の変換テーブルで定
義されている場合、図３のように、候補要素の数だけ文
節文書をコピーし、それぞれの文節を候補画像で置き換
える。全ての文節について、画像へ変換した後、全ての
画像入り変換文書候補の行頭に選択ボタンを付加してま
とめたWEB上における標準記述言語文書を、送信部101へ
返信する。

【００１７】クライアントでは、複数の変換文書候補の
うち一つを選択し、サーバーに送信することで、好みの
画像や音楽等の音声が挿入された文書を作成できる。

【００１８】

【実施例】本発明の実施形態の一実施例を、図５を参照
して説明する。

【００１９】本発明のマルチメディア検索装置は、HTML
閲覧装置上で、入力領域１０、画像・音楽混じり文章選
択領域２０、全文章表示領域３０から構成される。HTML
閲覧装置上で、本発明の画像検索装置の場所をアドレス
領域４０にて指定する。閲覧装置はあらかじめ指定され
た形式で記述してある文書を本発明の装置から取得し、
図5の構成画面を表示する。

【００２０】入力画面１０では、かな漢字文章入力部１
１にて、画像混じりのかな漢字「猫の首に鈴をつける」
を入力する。変換ボタン１２は、画像混じり文書選択領
域２０に対する操作ボタンである。変換ボタン１２を押
すと、入力文章の形態素解析と画像データの検索を行
い、閲覧装置側に図４に示す記述言語を送信する。その
結果、図5の文書選択画面２０に、「猫」に対応する画
像、「鈴」に対応する画像及び音楽、それぞれの入力文
字列の組み合わせを全て表示する。決定ボタン13は、全
文章表示領域30に対する操作ボタンである。選択ボタン
21によって変換候補の一つを選択したのち、決定ボタン
13を押すと、採用された混合文章が、全文章表示領域30
に追加される。

【００２１】図5では、最後の変換文が選択されてお
り、この文は画像と音楽等の音声を混合した文章になっ
ている。変換された音声部分は、再生ボタン22、一時停
止ボタン23、停止ボタン24、巻き戻しボタン25で構成さ
れる。「鈴」というキーワードを変換した音声部分で
は、再生ボタン22を押すと、鈴の音が再生される。

【００２２】クリアボタン14は、入力部11に入力された
かな漢字文章を消去するためのボタンである。

【００２３】全文章の作成が終わった後、作成された全
文章表示領域30の内容が、電子メールとして送信され
る。

【００２４】この応用例を以下に説明する。第１の応用
例としては、インターネットや携帯電話におけるｉ―モ
ードを使った占いがある。

【００２５】この場合、例えば、生年月日と電話番号を
元に、ユーザの基本的運勢、電話番号の特性、電話を用
いる際のアドバイスについて提示する。

【００２６】占術と解釈は「ルーン占い」を元に、総合
的な運勢を占う「電話＆誕生日」と壁紙データをダウン
ロードできる「お守りルーン」、本コーナーを説明する
「この占いについて」の３パートで構成される。「電話
＆誕生日」生年月日と電話番号について、ルーンの解釈
に基づき、・ユーザの特性・電話番号の持つ特性・電話
を用いる際のアドバイスを提示する。

【００２７】計算方法元となる数字（元数）１ケタ（０
〜９）を導き、概当するテキストを表示する。例えば、
生年月日が１９７０年６月２０日の場合、１＋９＋７＋
０＋６＋２＋０＝２５→２＋５＝７（元数）電話番号が０９０−２２５２−６６５７の場合は、生年
月日と同様に元数を求めると元数＝８となる。

【００２８】このようにして求めた、元数をに基づい
て、占いの結果を表示する。表示は例えば、（１）表示文章は「ユーザの特性」に関するセンテン
ス。（２）電話番号の特性に関するセンテンス。（３）電話を用いる際のアドバイスの３センテンスで構
成される。（２）については、電話番号の構成数字をチェックし、
同じ数字が３つ以上ある場合は、その数字（子数）の持
つ意味を説明するセンテンスを挿入する。

【００２９】「電話＆誕生日」サンプル文章は、例え
ば、生年月日１９７０年６月２０日元数＝７、電話番号
０９０−２２５２−６６５７元数＝８子数＝２（子
数は同じ数字が３つ以上のもの。） ☆あなたの運勢恋は順調、人間関係も良好、仕事（勉
強）や金運も問題なしという幸運な運勢の持ち主のあな
た。恋人のいない人でもステキな出会いが期待できるで
しょう。 ☆電話の性質 →あなたの電話番号は、あなたにパワー
を与える秘密兵器。喜び、感謝、楽しさなどを、電話で
人に伝えることを心掛けていれば、運気もますますアッ
プします。また、「２」が三つ以上含まれている番号が
象徴しているのは自己鍛練です。仕事（勉強）や倹約に
がんばって。うまくいかないと思った時も我慢すれば運
が開けます。 ☆アドバイス→あなたにとって重要なのは目上の人への
あいさつ。お世話になっている人へ、御機嫌うかがいを
忘れずに。とくに両親にはなるべくまめに連絡いましょ
う。面と向かうとてれくさい「ありがとう」や「ごめん
ね」も電話なら言いやすいはず。 ※子数は同じ数字が３つ以上のもの。概等する数字がな
い場合は（３）の部分はなし。

【００３０】このような情報は、あらかじめ元数、子数
等で決めておき、データとして蓄えておき、必要なとき
に、必要な情報をダウンロードすることで得られる。こ
の各占いの結果の文章に対応する画像も同時に表示する
ことで、占いの内容を単なる文字情報だけでなく視覚に
訴えることができる。

【００３１】第２の応用例として、画像を用い、この画
像を手札として扱うゲームもできる。例えば、しりとり
をしながら、しりとりの言葉に画像と一致した場合のみ
手札として画像を集めるようなゲームも考えられる。こ
のように言葉と画像とを対応づけることでいろいろな応
用が考えることができ、単なる文字情報を、視覚に訴え
る画像として表すことでさらなる応用が考えられる。

【００３２】

【発明の効果】本発明によれば、入力した文章中のキー
ワードに対して、一括して画像や音楽を挿入することが
できる。ネットワーク接続した場合には、キーワード毎
に検索をしないため、サーバーに問合せをする際の制御
情報に関するトラフィック量が少なくなり、検索に対す
る応答性もよくなる。また、サーバーに画像・音楽と変
換テーブルを持てるため、クライアント側では常に新し
い要素を検索・利用することができる。

【図面の簡単な説明】

【図１】本発明のマルチメディア検索サーバーおよび画
像音声混合文章生成装置の機能ブロック図である。

【図２】本発明のマルチメディア検索サーバーおよび画
像音声混合文章生成装置が参照する画像変換テーブルで
ある。

【図３】本発明のマルチメディア検索サーバーおよび画
像音声混合文章生成装置が出力する変換結果の一例であ
る。

【図４】本発明のマルチメディア検索サーバーおよび画
像音声混合文章生成装置が出力する文書変換結果の一例
である。

【図５】本発明のマルチメディア検索サーバーおよび画
像音声混合文章生成装置を利用するクライアントの表示
結果の一例である。

【符号の説明】

１０入力画面領域１１かな漢字文字入力部１２画像・音楽混合文書作成ボタン１３選択済み画像・音楽混じり文書採用ボタン１４かな漢字文字入力部２０文書選択画面領域２１選択ボタン２２音楽再生ボタン２３音楽一時停止ボタン２４音楽停止ボタン２５音楽巻き戻しボタン３０全文章表示領域４０アドレス領域１０１入力装置１０２表示装置１０３送受信装置１１１形態素解析装置１１２文節コスト計算部１１３キーワード検索部１１４文書変換部１２０記憶装置

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B050 BA06 CA08 EA20 FA19 GA08 5B075 ND16 NK02 NK31 PP30 PQ02 PQ04 5C052 AB04 AC08 CC01 DD04 DD06 EE03

Claims

【特許請求の範囲】

【請求項１】クライアントから送信されたかな漢字文章
から、文節を抽出する解析部と、単語に対応した画像、音声、若しくは画像及び音声を記
憶する記憶装置と、前記抽出された文節から前記画像、音声、若しくは前記
画像及び音声を検索する検索装置と、検索した結果を画像若しくは音楽混じりのマルチメディ
ア文章に変換する文書変換部と、前記変換結果を変換文書候補としてクライアントへ送信
する送信手段と、を含んで構成されるマルチメディア検
索サーバ。
【請求項２】クライアントから送信されたかな漢字文章
から、文節を抽出する解析部と、単語に対応した画像、音声、若しくは画像及び音声を記
憶する記憶装置と、前記抽出された文節から前記画像、音声、若しくは画像
及び音声を検索する検索装置と、検索した結果を画像若しくは音声混じりのマルチメディ
ア文章に変換する文書変換部と、前記変換結果を変換文書候補としてクライアントへ送信
する送信手段と、を含んで構成されるマルチメディア検
索サーバと、前記かな漢字文章を入力する入力装置と、前記入力され
たかな漢字文章を前記マルチメディア検索サーバへ送信
する送信装置と、前記マルチメディア検索サーバシステ
ムから送信された複数の変換文書候補を表示し、そのう
ちの一つを選択させる表示手段と、を含んで構成される
クライアントと、を含んで構成さることを特徴とする画像音声混合文章生
成装置。