JP2005535053A - マルチメディアメッセージをレイアウトするプロセス - Google Patents

Abstract

本発明は、端末スクリーン上に表示又は端末と通信可能なプリンタを用いて印刷しようとしているコンポジットマルチメディアメッセージを、少なくとも１個のページ（３７）上に自動レイアウトするプロセスに関する。表示されるコンポジットマルチメディアメッセージには、画像、テキスト、サウンド（オーディオ）等のエンティティを含めることができる。これらは、通常、数個の初期マルチメディアメッセージから形成される。これらはそれぞれコンポジットマルチメディアメッセージ（３７）内のメッセージ（３８，３９，４０，４１，４２，４３）へと変換される。自動レイアウトは、様々な初期マルチメディアメッセージについての解析結果、特にそれら初期メッセージを形成している画像及びテキストにおける時刻、コンテンツ、更にはコンテキストについての特性を集積する解析の結果に基づき行われる。

Description

本発明はイメージング分野に属する。本発明は、特に、端末スクリーン上に表示させようとしているコンポジットマルチメディアメッセージや、端末と通信可能なプリンタを用いて印刷しようとしているコンポジットマルチメディアメッセージを、自動レイアウトするプロセスに関する。表示されるコンポジットマルチメディアメッセージには、画像、テキスト、サウンド（オーディオ）等のエンティティを含めることができる。これらのエンティティは、通常、数個の初期マルチメディアメッセージから形成される。自動レイアウトは、様々な初期マルチメディアメッセージについての解析結果、特にそれら初期メッセージを形成している画像及びテキストにおける時刻、コンテンツ、更にはコンテキストについての特性抽出乃至解析結果に基づき、行われる。

従来技術文献により開示されている通信手段実現方法及びシステムの中には、マルチメディアメッセージの外見乃至体裁を適合化乃至改変することによってそのマルチメディアメッセージを送受信できるようにしたものがある。まず、特許文献１により開示されているマルチメディアメッセージングシステム（ＭＭＳ）型の方法及びシステムにおいては、互いに通信することができる１個又は複数個の端末を、制御手段例えばＭＭＳサーバを介し１個又は複数個のプリンタにリンクさせている。通信手段は、ディジタル画像やテキスト等を含むマルチメディアメッセージを、第１の端末と第２の端末の間で交換できるようにしている。例えば、マルチメディアメッセージに関する印刷要求が第２の端末から発せられた場合、この印刷要求についての管理乃至調整、例えば認証を付すか否か、コピー枚数を如何ほどに制限するか等についての管理乃至調整は、そのマルチメディアメッセージの送信元たる第１の端末により行われる。

次に、欧州特許出願第１０８５４６４号に開示の手段乃至方法においては、端末上に表示可能なディジタル画像にテキスト要素乃至画像要素を付加することにより、これら付加要素群を含む最終画像が生成される。当該開示手法によれば、最終画像よりなるマルチメディアメッセージ全体が付加要素群によりリッチ化されているため、スクリーン上における表示を読んで理解するのが容易且つ楽しみになる。例えば、画像中の特定領域乃至部分をテキストでカバーすることにより、画像コンテンツ中の特定エンティティ群を除去してはならないことを示し、ひいては、表示されているメッセージについての全体的な解釈乃至理解に導くことができる。また、この欧州特許出願第１０８５４６４号に開示の方法によれば、ディジタル画像を解析することによって、そのディジタル画像における最適領域、即ち付加要素（テキスト要素や画像要素）が配置される部分たる候補領域を、認識及び識別可能になる。これら付加要素群を受け入れる候補領域は、色変動が小さい領域かグレーレベルが低い領域であるが、何れにしろ、ディジタル画像のコンテンツを形成する注目エンティティ乃至主要サブジェクトは含んでいない。更に、本方法によれば、付加要素の配置や色を変更し、観察者から見た最終画像の全体的な見栄えを最適化することができる。

また、欧州特許出願第１１１７２３０号に開示の方法及びシステムにおいては、マルチメディアコンテンツから得られる情報、例えばスチル画像、アニメーション（ビデオ）画像、テキスト、サウンド（オーディオ）等が、端末表示スクリーン上に表示乃至出力される。その際のプレゼンテーションモデルは、コンピレーションファイル群によりプリセットされているコンフィギュレーションに従いマルチメディアメッセージが表示されるよう、またプログラムされているフォーマットに従いマルチメディアメッセージが表示されるよう、ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ：スマイル）によりプログラムされている。従って、そのマルチメディアメッセージ中のページを形成する各種コンポーネントの外見乃至体裁を、そのメッセージを送信する端末と受信する端末との間で、同期させることができる。また、このプログラムされているフォーマットは、画像及びテキストがそれぞれ表示される領域を定め、マルチメディアメッセージを形成するグループを定めるものである。もし受信側端末がこのメッセージ中の特定コンポーネント群に適した特性を有していなければ、それらのコンポーネントはブランクとして扱われる。以上のように、従来技術によれば、数個のマルチメディアメッセージを例えば単一ページ上に表示させることはできなかった。

欧州特許出願第１１１７２３０号 国際公開第ＷＯ０１／９７５０４号

本発明の目的は、一つには、数個の初期マルチメディアメッセージに基づき形成されたコンポジットマルチメディアメッセージを少なくとも１個のページ上に自動レイアウトし端末スクリーン上に自動表示するプロセスを、提供することにある。

本発明に係るプロセスは、ａ）少なくとも１個の初期マルチメディアメッセージを含むグループを、端末のキーボードからの操作に応じ端末のスクリーン上に表示させるステップと、ｂ）表示された少なくとも１個の初期マルチメディアメッセージを含むグループ中の少なくとも１個の初期マルチメディアメッセージを、端末のキーボードからの操作に応じ選択するステップと、ｃ）ステップｂ）における選択に関するマニュアル確認を受け付けるステップと、ｄ）選択された少なくとも１個の初期マルチメディアメッセージに含まれるシーケンシャルデータを自動解析によって取得及び記録するステップと、ｅ）選択された少なくとも１個の初期マルチメディアメッセージに含まれるセマンティックデータを自動解析によって取得及び記録するステップと、ｆ）選択された少なくとも１個の初期マルチメディアメッセージにおけるリレーショナルデータを自動解析によって取得及び記録するステップと、ｇ）記録済みのシーケンシャルデータ、セマンティックデータ及びリレーショナルデータに従い変換済みマルチメディアメッセージを少なくとも１個自動決定するステップと、ｈ）第１のフォーマットを有する少なくとも１個のページ上に、少なくとも１個の変換済みマルチメディアメッセージに基づき形成されたコンポジットマルチメディアメッセージを自動レイアウトするステップと、ｉ）第１のフォーマットにおける寸法比を保ちつつ、コンポジットマルチメディアメッセージを端末のスクリーン上に自動表示させるステップと、ｊ）表示されているコンポジットマルチメディアメッセージに関する確認を、端末のキーボードからの操作に応じ受け付けるステップと、を有するものである。

ここに、レイアウトが行われるページの個数は１個又は複数個でありまた初期マルチメディアメッセージの個数以下である。このレイアウトは、特に、その初期マルチメディアメッセージ（画像、テキスト、サウンド等のエンティティを含む）に特有の特性に関する自動解析結果に基づき、実行される。このような解析を踏まえることによって、１ページ乃至数ページ上におけるコンポジットマルチメディアメッセージのレイアウトを、最適化することが可能になる。また、コンポジットマルチメディアメッセージを形成する鍵となっている特性は、各初期マルチメディアメッセージのコンテンツである。このようにすることによって、表示におけるビュー数を減らす（更には単一ビューにする）だけでなく、（得られたコンポジットメッセージを印刷するという選択が行われた場合には）その印刷コストを低減することが可能になる。更に、提供される単一乃至数個のページには、各初期マルチメディアメッセージを構成する画像及びテキストにおける重要な特性が全て、含まれることとなる。

コンポジットマルチメディアメッセージは、ユーザが端末キーボードにより選択した少なくとも１個の初期マルチメディアメッセージに基づき、またその初期マルチメディアメッセージのコンテンツについての自動解析結果に基づき、形成される。コンポジットマルチメディアメッセージを構成するページの個数は初期マルチメディアメッセージの個数以下である。

本発明によれば、更に、コンポジットマルチメディアメッセージを自動表示した後、当該表示されているコンポジットマルチメディアメッセージ候補を、端末キーボードからの操作により否認（無効化）することができる。否認された場合は、本発明に係る方法においては、第２のフォーマットを有する少なくとも１個のページ上にコンポジットマルチメディアメッセージを再度自動レイアウトし、このコンポジットマルチメディアメッセージを端末スクリーン上に自動表示させることが、可能である。この自動再レイアウト及び再表示手順は、本発明に係る方法により与えられるフォーマットに従い表示されるコンポジットマルチメディアメッセージが、ユーザの求めに合致するものになるまで、繰り返される。

本発明に係るプロセスによれば、更に、コンポジットマルチメディアメッセージについての印刷要求のうち、その端末と通信中のプリンタに関して確認（有効化）されたものを、端末キーボードから発することができる。

本発明の他の特徴的構成要素及び効果に関しては、以下の説明を各図面と共に参照することにより、更に明らかとなろう。

以下、本発明の主要実施形態群に関し、各図面を参照しつつ詳細に説明する。

本発明プロセスによれば、ある端末１２における操作に応じ１個、より一般には数個のマルチメディアメッセージを、１個乃至数個のページ上に自動レイアウトすることが可能である。ページの個数乃至枚数は好ましくは１〜５の範囲内とする。また、マルチメディアメッセージとして適しているのは例えばＭＭＳ（マルチメディアメッセージサービス）メッセージ、即ちディジタル画像、この画像に関連するテキスト、更にはサウンド乃至オーディオメッセージ（ミュージックやメロディ）を含むメッセージであり、この種のマルチメディアメッセージ群であれば、ネットワーク上で稼働中の端末ユーザ間で交換することができる。各ユーザは、ネットワーク上を流れていくメッセージに関し、例えばテキスト付加等の変形を施すことができる。

図１に示す本発明の好適な実施形態においては、端末１２がリンク１７，１８を介しサーバ１４と通信し、サーバ１４がリンク２０を介し画像データベース１５と通信する。画像データベース１５には、例えば先に記録した高解像度のディジタル画像が格納乃至保存されている。サーバ１４はまた、リンク１９を介しプリンタ１６と通信する。プリンタ１６は特定の用紙（より一般には担持媒体）等の上に高品質画像を形成するプリンタであり、その種のプリンタとしては、インクジェットプリンタ、サーマルプリンタ、レーザプリンタ、写真プリンタ等のプリンタが、ディジタル写真処理ラボ（ミニラボ）において広く用いられている。プリンタ１６にて使用できる画像担持媒体としては、オンライン印刷サービスで用いられているＴシャツ、身元証明写真用媒体等がある。また、端末１２の好適例はモバイル端末である。その例としては、キーボード１９Ａ及び表示スクリーン１８Ａを備えたセルラーフォンや、カメラモジュールを備えディジタル撮影及び記録が可能なセルラーフォン（フォンカム）や、ＧＳＭ／ＧＰＲＳ乃至第３世代セルモデムを備えリモートオンラインアルバムからディジタル写真をダウンロード可能なディジタルカメラ（ワイアレスカム）が、あげられる。例えばＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ）タイプネットワーク上で稼働するモバイル端末を端末１２として用いる場合は、ゲートウエイ１３を設けることによって、端末１２、サーバ１４及び画像データベース１５間の通信を管理することができる。ゲートウエイ１３が例えばＷＡＰ（Ｗｉｒｅｌｅｓｓ Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）タイプであれば、リンク１７として示されているように、端末１２とネットワーク例えばＧＳＭとの間で、通信を行うことができる。また、本発明はインターネット環境にて実施することができる。即ち、例えばフォンカムタイプのモバイル端末１２を用いる実施形態においては、端末１２を用いてインターネットタイプのネットワークと通信を行うことが可能である。例えば、ユーザが端末１２からデータベース１５上の１個又は複数個の画像にアクセスするときには、データベース１５が例えばリンク１８を介してインターネットにリンクしているのであれば、ユーザから電話回線用の適当なプロトコル例えばＷＡＰによるメッセージを送信すればよい。ゲートウエイ１３を通過するメッセージは、インターネットで使用されているＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）プロトコルによるメッセージへと変換されため、ユーザは、データベース１５から１枚乃至複数枚の画像を取り寄せて自分の端末スクリーン上に再生表示させることができる。

本発明を実施するに当たり端末１２を例えばフォンカムタイプ（“ｐｈｏｎｅ ｃａｍｅ”ｔｙｐｅ）とした場合は、その端末１２によって直接撮影した画像をその端末１２のメモリ内に保存乃至格納することができる。この場合における画像の解像度はＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）タイプ解像度、即ち６４０画素×４８０画素の解像度である。

図２によれば、端末１２のユーザは、端末キーボード１２からの操作によって、１個或いは通常は数個の初期マルチメディアメッセージを表示させる。初期マルチメディアメッセージは、ディジタル画像の他、少なくとも１個のテキストメッセージ及び／又は１個のサウンドメッセージから、構成されている。ここでいうサウンドメッセージは例えば既知のミュージック乃至メロディといったオーディオデータにより構成されており、このオーディオデータは例えばサウンドファイルとしてサーバ１４上に格納されている。更に、マルチメディアメッセージ中に含まれるディジタル画像はスチル（静止画）であってもよいしアニメーション乃至ビデオクリップであってもよい。そして、端末１２の表示スクリーン上における１ページ当たり表示メッセージ個数は、当該スクリーンのサイズ及び容量により、ある場合は１個、またある場合は複数個となる。

第１実施形態においては、初期マルチメディアメッセージ群を表示する手法として「メッセージ１」「メッセージ２」等々といった単純な形態による順序表示を採用し、例えば「メッセージ１」がクリックされるとこれに対応するマルチメディアメッセージがスクリーン上に現れるようにしている。スクリーン上におけるマルチメディアメッセージ群の表示形態は、例えば、画像領域２５，２６，２７，２８内に画像を表示しその下のテキスト領域２９，３０，３１，３２内に１個又は複数個のテキストを表示する、という形態である。但し、テキスト領域２９，３０，３１，３２の位置は、画像領域の上にすることもできるし横にすることもできる。テキスト領域２９，３０，３１，３２は、画像に関する１個又は複数個のテキストを明示するための領域であり、ここでは比較的短い（即ちほんの数語程度の）テキストを表示するものとする。さもなくば、テキスト領域２９，３０，３１，３２における表示を「テキスト１」「テキスト２」等の形態とし、ユーザが当該「テキスト１」「テキスト２」等をクリックすると対応するテキストが明示されるようにする。

第２実施形態においては、例えば、図３に示すように、初期マルチメディアメッセージ群２１，２２，２３，２４が上から下へと順に表示され、これら４個のメッセージを含む１個のページ２０Ａがスクリーン１８上に形成される。これら初期マルチメディアメッセージ群２１，２２，２３，２４は、それぞれ、画像領域２５，２６，２７，２８、テキスト領域２９，３０，３１，３２、並びにサウンド領域３２Ａ，３３から構成されている。サウンド領域３２Ａ，３３は、その初期マルチメディアメッセージ２２，２４に関連づけられているサウンドメッセージを表している。画像２５，２６，２７，２８は、それぞれ、例えば低解像度で但し画像コンテンツをビューできる程度の解像度で表示される。テキスト領域には、前述の第１実施形態と同様に短文テキスト（例えば「テキスト１」「テキスト２」等）を表示させることもできるし、その初期マルチメディアメッセージを構成する画像に関連するテキストを明示させることもできる。初期マルチメディアメッセージ２２，２４のようにサウンドメッセージが関連づけられている特殊なケースでは、アイコン乃至判別可能シンボル（例えば音符）３２Ａ，３３を表示させる。４個を超える個数のメッセージを選択したい場合は、ユーザは、キーボード１９Ａを用いて他の初期マルチメディアメッセージ群へとスクロールさせる。

図２及び図３に示すように、ユーザは、端末１２のキーボード１９Ａを操作することによって、これら表示されている初期マルチメディアメッセージ２１，２２，２３，２４の中から１個又は複数個の表示されているメッセージを選択する。ある実施形態においては、端末１２のキーボード１９Ａを用いたこの選択が、例えば、選択したいメッセージ２１，２３，２４をポイントすること、具体的には当該メッセージ２１，２３，２４それぞれに固有の特殊領域３４，３５，３６をクリックすることにより、行われる。選択されたメッセージ２１，２３，２４は例えばあるストーリーを構成するものであり、異なる送信元により時々連なって（時間的に相前後して）送信されたものである。少なくとも１個の初期マルチメディアメッセージを含むグループを選択した後、ユーザはメッセージ選択内容（１）を確認する。この確認は、端末１２のスクリーン１８Ａ上に表示される本発明方法に固有のメニュー、例えば「レイアウト対象メッセージ」といったタイプの命令乃至項目を含むメニュー等を用いて、行われる。続いて、本発明プロセスにおいては、レイアウト対象として選択された初期マルチメディアメッセージ群について自動解析が実行され、その結果として得られるデータが自動保存される。この解析は本発明プロセス実施用のアルゴリズムにより実行されるものであり、図２にて概括されている一連の命令から成り立っている。また、本発明を好適に実施するには、本発明プロセスに固有乃至特有のアプリケーション乃至プログラムを、端末１２にインストールしておく。例えば、Ｊａｖａ（登録商標）又はＣ＋＋により作成されたコードによって、ＮＯＫＩＡ（登録商標）７６５０型の端末を動作させる。但し、サーバ１４上にインストールされたプログラムにより本発明を実施することもできる。上記解析における最初のステップは、選択及び確認された初期マルチメディアメッセージそれぞれについてのシーケンシャル解析（時系列的解析）を、自動実行するステップ（２）である。このシーケンシャル解析（２）を行うことによって、その初期マルチメディアメッセージの生成時点、送信時点及び受信時点それぞれに対応するデータ時刻、そのメッセージの送信元を特定する情報、並びにそのメッセージの受信先を特定する情報を、特徴として抽出することができる。本実施形態によれば、解析により得られたシーケンシャルデータは、端末１２のメモリ内又はサーバ１４のメモリ内に保存される。

上記解析における第２のステップは、初期マルチメディアメッセージについてのセマンティック解析（意味論的解析）を自動実行するステップ（４）である。このセマンティック解析は、その初期マルチメディアメッセージの全コンテンツを対象とした解析であって、その解析対象には、当該メッセージのコンテンツに内在する画像、テキスト、サウンド乃至ボイスも含まれている。本発明方法に係るアルゴリズムによれば、例えば、そもそもの文章が長すぎるテキストのうち一部分のみを、後に行うレイアウト用に保存しておくことができる。その際、そのテキストを構成するキーワードを用いることによって、そのテキストの意味合いを保つことが可能である。本実施形態によれば、解析により得られたセマンティックデータは、端末１２のメモリ内又はサーバ１４のメモリ内に保存される。

また、自動解析によるセマンティックデータの取得及び保存を、自動解析によるシーケンシャルデータの取得及び保存に先立って実行する、という形態で、本発明を実施することもできる。

上記解析における第３のステップは、選択された初期マルチメディアメッセージ同士の間でリレーショナル解析（関係論的解析）を自動実行するステップ（３）である。本発明プロセスに係るアルゴリズムによれば、選択されている個別の初期マルチメディアメッセージ２１，２３，２４それぞれを形成している画像群、テキスト群及びサウンド群間に形成されるべきリンク乃至対応関係を、抽出乃至確認することができる。リレーショナル解析には、既に保存済みのシーケンシャルデータ及びセマンティックデータ全てを用いる。また、このリレーショナル解析によれば、リレーショナルデータを生成することができる。このリレーショナルデータは、選択されている初期マルチメディアメッセージそれぞれの個別コンテンツ間に存在するリンク乃至対応関係を表し、当該メッセージそれぞれの個別的意味合いにリンクしているデータである。即ち、シーケンシャルデータ及びセマンティックデータを用いることによって、選択されている各初期メッセージ間に既存している関係レベルを勘定に入れつつリレーショナルデータを自動決定することが、可能になる。リレーショナルデータは、端末１２のメモリ内又はサーバ１４のメモリ内に保存される。

本発明プロセスに係るアルゴリズムにおいては、保存されているシーケンシャルデータ、セマンティックデータ及びリレーショナルデータ全てを用いた自動決定によって、少なくとも１個の変換済みマルチメディアメッセージ３８，３９，４０，４１，４２，４３を得るようにしている。即ち、本発明プロセスに係るアルゴリズムによれば、例えば２個の初期マルチメディアメッセージ間に既存している関係レベルに基づき、各初期メッセージに含まれる個別画像のリサイズ、ズーム、注目部分乃至領域（例えば顔）の抽出や、その初期メッセージを形成するテキストの一部分乃至複数部分の抽出等を、行うことができる。マルチメディアメッセージ中に画像としてビデオクリップが含まれている場合、本発明プロセスによれば、例えば、そのビデオクリップ中のキーイメージ（鍵となる画像）がどれであるかを判別決定することができ、当該キーイメージを本発明プロセスにより処理してコンポジットマルチメディアメッセージ中に含めることができる。

従って、本発明プロセスによれば、初期メッセージ群のキー部分群のみを保っているため、初期マルチメディアメッセージを変換してマルチメディアメッセージを決定することができる。この変換（６）には、特に、後に行うレイアウトを最適なものにする、という目的が潜在している。また、当然のことながら、選択された初期マルチメディアメッセージ２１，２３，２４全てを変換する必要はない。変換によって得られたマルチメディアメッセージ３８，３９，４０，４１，４２，４３が、そのコンテンツ（画像、テキスト及びサウンド）の全般に亘り、選択された初期マルチメディアメッセージ２１，２３，２４と同一であってもよい。この変換ステップの実行により得られる変換済みマルチメディアメッセージの個数は、初期マルチメディアメッセージの個数と同一である。これら変換済みマルチメディアメッセージは、いずれもコンポジットマルチメディアメッセージを構成する。

そして、図４によれば、本発明プロセスは、各変換済みマルチメディアメッセージに基づき形成したコンポジットマルチメディアメッセージを、所与のフォーマットを有する少なくとも１個のページ３７上に、自動レイアウトする（７）。図４においては、選択された６個のマルチメディアメッセージ３８，３９，４０，４１，４２，４３をレイアウトした例が、示されている。このコンポジットマルチメディアメッセージは、本発明プロセスにより与えられたフォーマットに従いその端末のスクリーン１２上に自動表示される（８）。また、図４に示す例においては、本発明プロセスにより単一のページ３７上にレイアウトされているマルチメディアメッセージの個数が６個である。このことは、先に選択及び確認されたマルチメディアメッセージの個数が６個でありそれらがこのページ３７上にレイアウトされた、ということを意味しているのかもしれないし、或いは、選択及び確認されたメッセージの個数が例えば１０個、１２個、１８個といったより多くの個数であることを意味しているのかもしれない。即ち、１０個のメッセージが選択及び確認されているときは、本発明プロセスは、それらのメッセージに関する自動解析の結果と、プログラムされているフォーマットとに従い、例えばまず６個のメッセージを第１のページ３７上にレイアウトして表示させ、次に４個のメッセージを第２のページ３７上にレイアウトして表示させる。また、１２個のメッセージが選択及び確認されているときは、本発明プロセスは、それらのメッセージに関する自動解析の結果と、プログラムされているフォーマットとに従い、例えばまず６個のメッセージを第１のページ３７上にレイアウトして表示させ、次の６個のメッセージを第２のページ３７上にレイアウトして表示させる。更に、１８個のメッセージが選択及び確認されているときは、本発明プロセスは、それらのメッセージに関する自動解析の結果と、プログラムされているフォーマットとに従い、例えばまず６個のメッセージを第１のページ３７上にレイアウトして表示させ、次の６個のメッセージを第２のページ３７上にレイアウトして表示させ、そして残りの６個のメッセージを第３のページ３７上にレイアウトして表示させる。コンポジットマルチメディアメッセージが何個かのページ３７に亘りレイアウトされ表示される場合は、端末１２のキーボード１９Ａを用いた操作に応じ、スクリーン１８上に何れかのページ３７を表示させることができる。また、本発明のより好適な実施形態においては、設定されている表示時間に従い数個のページ３７を自動表示させる。その際、１ページ当たり表示時間は、例えば１０乃至１５秒とする。より好ましくは、この表示時間をページ毎に設定する。また、グループをなしているページ群全体での合計表示時間を設定しておき、各ページは当該合計表示時間の約数に略等しい時間に亘り表示する、といったことも可能である。更に、表示時間はキーボード１９Ａからの操作に応じ変更修正することができる。また、フォーマットは幅４４及び高さ４５により規定されており、本発明プロセスによりまた予めプログラムされているフォーマットデータに従い自動選択される。このフォーマットにおける寸法比即ち高さと幅との比は、当該フォーマットを特徴づけている。更に、コンポジットマルチメディアメッセージは、画像フォーマットに従い画像として、即ち、ビットマップファイル乃至画素として表示される。図４に例示したメッセージ３８，３９，４０においては、一人又は複数人の顔を示す画像が表示されると共に、それらの人々の間で交わされている会話を示すテキストが、吹き出し等の形をとった画像である特定領域４６，４７，４８，４９内に、表示されている。レイアウトを要求した端末１２のユーザにとり納得がいくような体裁でコンポジットマルチメディアメッセージ３７が表示されたならば、そのユーザは、その端末１２のキーボード１９からの操作を介して当該表示案を確認する（１０）。本発明プロセスによればまた、ユーザは、その端末１２のスクリーン上に表示されているメニュー等から、確認したコンポジットマルチメディアメッセージに関する印刷要求を、発することができる（１１）。図１に示したプリンタ１６は、コンポジットマルチメディアメッセージを例えば写真用紙シート上に複製する。その際のフォーマットは、自動レイアウトの際の寸法比と同一の寸法比を有するフォーマットとする。このようにすることで、本発明プロセスにおいては、印刷シートの枚数を、複製対象となった（例えば連携してあるストーリーを記述する）初期マルチメディアメッセージの個数以下としている。これによって、好適にも、印刷用紙を節約できる。

本発明プロセスのある実施形態によれば、変換済みマルチメディアメッセージにリンクしているコンテキストに依存した解析ルール群（５）を用いることにより、当該変換済みマルチメディアメッセージを決定することができる。この解析ルール群（５）はアルゴリズム中に組み込まれており、メッセージのセマンティック解析に付加する命令群の実行を可能にしている。この付加命令群は、変換済みマルチメディアメッセージの性格乃至性質（所有権の所在や補償・保険の有無といった業務的コンテキストの他、休日か否か、家族内メッセージか否か、夜間か否か等の種別）に応じ、当該変換済みマルチメディアメッセージの表現ひいてはレイアウトに影響を及ぼすものである。解析ルール群は、各コンテキストにおける最も生起しやすいイベントに応じて、生成される。これら、最も生起しやすいイベントを利用して解析ルール群を生成することにより、例えば、画像エンティティにおける特徴を保存しつつ変換済みマルチメディアメッセージを生成することや、キーワードを保存しつつ変換済みマルチメディアメッセージ中のテキストを形成することが、可能になる。

本発明プロセスの目的は、選択された初期マルチメディアメッセージよりなるグループのレイアウトを最適化し、以て、プログラムされている利用可能なフォーマットに従いコンポジットマルチメディアメッセージを形成できるようにすることである。そのため、本発明プロセスは、ユーザがレイアウトを確認しなかった（有効と認めなかった）場合、確認されなかった（有効と認められなかった）レイアウトに係る第１のフォーマットとは異なる第２のフォーマットを用いて、レイアウトを再度自動実行する（９）。ユーザは、この第２のレイアウトを確認するか否認するかを、選択することができる（１０）。否認された場合、本発明プロセスは、第１及び第２のフォーマットとは異なる第３のフォーマットに従い、レイアウトを再々度自動実行する。否認は、プログラムされている別のフォーマット即ちまだ自動レイアウト実行に供されていないフォーマットを利用できる限りにおいて、何回でも繰り返すことができる。即ち、本発明プロセスにおいてプログラムされているフォーマットの個数を整数ｎとするならば、本発明プロセスにて自動決定されたレイアウトを本発明プロセスにより否認できる回数はｎとなる。プログラムされている利用可能なフォーマットが全て否認された場合は、本発明プロセスは、既に否認されている第１のフォーマットをユーザに対し再提示し、それでもだめなら更に第２のフォーマットを再提示し、というように継続していく。従って、ユーザには、ｎ個のフォーマットの中から一番ましなものを選ぶ、というオプションしか与えられない。なお、本発明の好適な実施形態におけるプログラム済みフォーマット個数ｎの値は１〜１０の範囲に属する値であるが、本発明プロセスを実施するに当たりｎの値に特に上限を設ける必要はない。

以上、本発明をその好適な実施形態を参照しつつ説明したが、明瞭な通り、請求の範囲により規定された技術的範囲を逸脱しないで様々な変形乃至修正を施すことが可能である。

本発明を実施する際に使用されるハードウエア環境を例示する図である。 本発明プロセスにより実行される動作を示す図である。 端末スクリーン上における初期マルチメディアメッセージ群表示例を示す図である。 端末スクリーン上におけるコンポジットマルチメディアメッセージの表示例、特に本発明プロセスによる表示例を、示す図である。

符号の説明

１２ 端末、１３ ゲートウエイ、１４ サーバ、１５ データベース、１６ プリンタ、１７ ，１８，１９，２０ リンク、１９Ａ キーボード、２０Ａ，３７ ページ、２１，２２，３９ マルチメディアメッセージ、２５，２６，２７，２８ 画像領域、２９，３０，３１，３２ テキスト領域、４４ 幅、４５ 高さ、４６ 特定領域。

Claims (13)

1. コンポジットマルチメディアメッセージを少なくとも１個のページ（３７）上に自動レイアウトし端末（１２）のスクリーン（１８Ａ）上に当該コンポジットマルチメディアメッセージを自動表示させるプロセスであって、当該コンポジットマルチメディアメッセージが、端末（１２）のキーボード（１９Ａ）により選択された少なくとも１個の初期マルチメディアメッセージ（２１，２３，２４）に基づき且つ当該初期マルチメディアメッセージのコンテンツに関する自動解析結果に基づき、上記ページ（３７）の個数が当該初期マルチメディアメッセージ（２１，２３，２４）の個数以下となるよう形成されるプロセス。
2. 請求項１記載のプロセスにおいて、
   ａ）少なくとも１個の初期マルチメディアメッセージ（２１，２２，２３，２４）を含むグループを、端末（１２）のキーボード（１９Ａ）からの操作に応じ端末（１２）のスクリーン（１８Ａ）上に表示させるステップと、
   ｂ）表示された少なくとも１個の初期マルチメディアメッセージ（２１，２２，２３，２４）を含むグループ中の少なくとも１個の初期マルチメディアメッセージ（２１，２３，２４）を、端末（１２）のキーボード（１９）からの操作に応じ選択するステップと、
   ｃ）ステップｂ）における選択に関するマニュアル確認を受け付けるステップ（１）と、
   ｄ）選択された少なくとも１個の初期マルチメディアメッセージ（２１，２３，２４）に含まれるシーケンシャルデータを自動解析によって取得及び記録するステップ（２）と、
   ｅ）選択された少なくとも１個の初期マルチメディアメッセージに含まれるセマンティックデータを自動解析によって取得及び記録するステップ（４）と、
   ｆ）選択された少なくとも１個の初期マルチメディアメッセージにおけるリレーショナルデータを自動解析によって取得及び記録するステップ（３）と、
   ｇ）記録済みのシーケンシャルデータ、セマンティックデータ及びリレーショナルデータに従い変換済みマルチメディアメッセージ（３８，３９，４０，４１，４２，４３）を少なくとも１個自動決定するステップ（６）と、
   ｈ）第１のフォーマットを有する少なくとも１個のページ（３７）上に、少なくとも１個の変換済みマルチメディアメッセージに基づき形成されたコンポジットマルチメディアメッセージを自動レイアウトするステップ（７）と、
   ｉ）第１のフォーマットにおける寸法比を保ちつつ、コンポジットマルチメディアメッセージを端末のスクリーン上に自動表示させるステップ（８）と、
   ｊ）表示されているコンポジットマルチメディアメッセージに関する確認を、端末のキーボードからの操作に応じ受け付けるステップ（１０）と、
   を有することを特徴とするプロセス。
3. 請求項２記載のプロセスにおいて、セマンティックデータを自動解析によって取得及び記録するステップ（４）が、シーケンシャルデータを自動解析によって取得及び記録するステップ（２）より先に実行されることを特徴とするプロセス。
4. 請求項２記載のプロセスにおいて、変換済み初期マルチメディアメッセージ（３８，３９，４０，４１，４２，４３）が、選択された初期マルチメディアメッセージ（２１，２３，２４）と同一であることを特徴とするプロセス。
5. 請求項２記載のプロセスにおいて、単一ページよりなる第１のフォーマットが、端末のキーボードからの操作に応じ選択されることを特徴とするプロセス。
6. 請求項２記載のプロセスにおいて、変換済みマルチメディアメッセージの自動決定が、そのマルチメディアメッセージにリンクしているコンテキストに依存した解析ルール群（５）を用いて、実行されることを特徴とするプロセス。
7. 請求項１乃至６のうち何れか一項に記載のプロセスにおいて、キーボード（１９Ａ）からの操作に応じ、又は設定されている表示時間に従い自動的に、端末（１２）のスクリーン（１８Ａ）上に数個のページ（３７）を順繰りに表示させることにより、当該数個のページ（３７）に亘る表示を実行させることを特徴とするプロセス。
8. 請求項２記載のプロセスにおいて、コンポジットマルチメディアメッセージの自動表示後に実行するステップとして、
   ａ）表示されているコンポジットマルチメディアメッセージに関する否認を、端末のキーボードからの操作に応じ受け付けるステップ（１０）と、
   ｂ）第１のフォーマットとは異なる第２のフォーマットを有する少なくとも１個のページ（３７）上に、コンポジットマルチメディアメッセージを自動レイアウトするステップ（７）と、
   ｃ）コンポジットマルチメディアメッセージを端末のスクリーン上に自動表示させるステップ（８）と、
   を有することを特徴とするプロセス。
9. 請求項８記載のプロセスにおいて、上記否認をｎ回（ｎはコンポジットマルチメディアメッセージのレイアウトを実行する際利用可能な相異なるフォーマットの個数）実行可能であることを特徴とするプロセス。
10. 請求項９記載のプロセスにおいて、ｎが１〜１０の範囲に属する整数であることを特徴とするプロセス。
11. 請求項２記載のプロセスにおいて、選択された初期マルチメディアメッセージ（２１，２３，２４）がディジタル画像（２５，２７，２８）を含むことを特徴とするプロセス。
12. 請求項２記載のプロセスにおいて、選択された初期マルチメディアメッセージ（２１，２３，２４）が、ディジタル画像（２５，２７，２８）及び少なくとも１個のテキストメッセージ（２９，３１，３２）を含むことを特徴とするプロセス。
13. 請求項２記載のプロセスにおいて、選択された初期マルチメディアメッセージ（２１，２３，２４）が、ディジタル画像（２５，２７，２８）、少なくとも１個のテキストメッセージ（２９，３１，３２）及びオーディオデータ（３３）を含むことを特徴とするプロセス。

Images