JPWO2001095079A1 - Information processing system using balloon-shaped figures, language translation information processing system using balloon-shaped figures, online information processing system using balloon-shaped figures, and computer-readable information storage medium - Google Patents

Information processing system using balloon-shaped figures, language translation information processing system using balloon-shaped figures, online information processing system using balloon-shaped figures, and computer-readable information storage medium Download PDF

Info

Publication number
JPWO2001095079A1
JPWO2001095079A1 JP2002502565A JP2002502565A JPWO2001095079A1 JP WO2001095079 A1 JPWO2001095079 A1 JP WO2001095079A1 JP 2002502565 A JP2002502565 A JP 2002502565A JP 2002502565 A JP2002502565 A JP 2002502565A JP WO2001095079 A1 JPWO2001095079 A1 JP WO2001095079A1
Authority
JP
Japan
Prior art keywords
information
balloon
character information
image
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002502565A
Other languages
Japanese (ja)
Inventor
林　勝治
Original Assignee
株式会社林事務所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社林事務所 filed Critical 株式会社林事務所
Publication of JPWO2001095079A1 publication Critical patent/JPWO2001095079A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

吹き出し状図形を含むコンテンツを表示する情報処理システムであって，前記吹き出し状図形は吹き出し文字を表示する吹き出し文字表示情報フィールドを内包している。吹き出し文字には，音声情報と文字情報のいずれか一方又は両方が関連づけられており，吹き出し状図形をマウス等で指示することにより，これら関連づけられた情報のうち１つが出力される。吹き出し文字，音声情報及び文字情報はそれぞれ異なった言語であってもよく，また，利用者の指示により設定可能であってもよい。前記コンテンツは漫画であることが好適である。前記情報処理システムは，サーバクライアントモデルの構成を取ることも可能であるし，また，携帯可能な機器であったり，記憶媒体を有するものであってもよい。必要に応じて，課金のための構成を付加することも可能である。An information processing system for displaying a content including a balloon-shaped figure, wherein the balloon-shaped figure includes a balloon character display information field for displaying a balloon character. One or both of the speech information and the character information are associated with the balloon character, and one of these pieces of associated information is output by pointing a balloon-like graphic with a mouse or the like. The balloon character, voice information, and character information may be in different languages, or may be settable by a user's instruction. Preferably, the content is a cartoon. The information processing system can take a configuration of a server client model, and can be a portable device or a device having a storage medium. If necessary, a configuration for charging can be added.

Description

技術分野
本発明は、コンピュータ等の端末を用いた吹き出し状図形を用いた情報処理システムに関し、より詳しくは、漫画などの吹き出し状図形と関連付けられた音声情報、文字情報などを用いて情報処理を行うシステムに関する。また言語翻訳された音声情報、文字情報を用いて、利用者がインターネットのようなネットワークやＣＤ−ＲＯＭ等の電子媒体を利用して、漫画などの画像情報及び文字情報を含む英語等の外国語を学習可能な言語翻訳情報処理システム、さらにコンピュータ読み取り可能な情報記憶媒体に関する。
背景技術
従来、コンピュータ装置において、操作方法を音声で案内するような技術が開発されている。
このような分野に関連する技術としては、例えば特開平８−８２５３１「音情報を用いた案内装置」において、ワードプロセッサーやパーソナルコンピュータの操作メニューを選択等する際の案内としてオフラインにおいて用いられる、音情報によるユーザー・インターフェイス装置が開示されている。
本発明の音声案内装置の構成は、カーソルやポインタを制御する入力手段と、前記カーソルやポインタの画面上の位置を検出する位置検出手段と、前記位置検出手段で検出された位置に対応する楽音や音声などの音声制御情報記憶手段と、前記楽音や音声などを生成する音声生成手段と、スピーカなどの音声出力手段で構成されるものである。
しかし本技術は、インターネットなどのネットワークに接続して用いられるものではなく、またあらかじめ機器にインストールされるソフトウェアなどと共に備えられるものであって、それらの操作のための音声ガイド以上の機能を有するものではない。
インターネットなどのネットワークを用いる技術としては、バナー広告をクリックすると音声が流れるという技術が開発されている。
これはバナー広告の画像をクリックすると、「ＲｅａｌＡｕｄｉｏ」（商標）で音声を流すというもので、音声データは「ＲｅａｌＮｅｔｗｏｒｋｓ」（商標）などのオーディオ・サーバーに格納されるオーディオ・ファイルにハイパーリンクが張ってあり、クリックすることによりハイパーリンク先の音声ファイルが再生されるというものである。
しかしながら、この技術によれば、クリックをすることで初めて音声が流れる広告システムとなっており、表示されるバナー広告をクリックすれば、広告主のｗｅｂサイト等にジャンプしてしまうということは大多数の利用者は熟知しているため、広告に興味がなく素通りしてしまう利用者には音声メッセージが伝わらないというデメリットを有する。
また、従来、例えばインターネットを利用した言語翻訳システムでは、Ｗｅｂページのフォームに受講生等の利用者がコンピュータからデータを入力してサーバー・システムに送信し、サーバー側は、受信したデータをＣＧＩプログラム等がテキスト形式のファイルへの読み書きや処理を行い、予め決められたＷｅｂページへテキストなどの文字データを返信して表示する方法が一般的であった。
例えば、特開平１１−２８２８４８号「ＣＤ−ＲＯＭインターネット『翻訳の王様』（登録商標）」においては、インターネットホームページの外国語の原文の中で比較的難解な文章に出会った場合、その箇所にマウスポインターをドラッグさせ反転させると同時に原文の正しい発音が再生されたり、そのドラッグさせたクリックボタンを離すと同時にその箇所の翻訳文が表示される機能をアップさせた技術が開示されている。
しかしながら、上記したようなシステムでは、単一のＣＧＩプログラム等を利用して、画一的な翻訳処理を行うものであり、個々の受講生ごとの習熟度にあったインタラクティブ（双方向）の対応や、エンターテイメント性のある処理、あるいは画像などのマルチメディア・ファイルを利用する複雑な処理が行えないという課題を有している。
また、特開平９−３２５６７３号「翻訳文添削支援装置」においては、下記のような技術が開示されている。これによれば、模範解答を、専門家の知識を利用して、単語・句構造の複数のテンプレートに分解する。各テンプレート毎に、学習者が翻訳するであろう解答に対するメッセージを、専門家の知識を利用して予め作っておく。そしてこれらを読込み、その後解答文を読込む。次いで学習者が基本的用法を正しく履修しているか否かをチェックし、次いで解答文の各単語につき品詞分類を行ない、最後に解答文を構文解析する。その後、解答文をテンプレート毎に評価し、評価に応じた内容のメッセージを学習者に提示する。解答文を、テンプレート毎に評価するようにしているので、専門家が人力で行なうのと同程度の添削結果が得られる。
しかしながらこの技術によっても、個々の受講生が、自らの習熟度等に応じて画面上で選択を行いつつインタラクティブ（双方向）な対応を人力に頼らずに自動的に行うことや、エンターテイメント性のある処理、あるいは画像などのマルチメディア・ファイルを利用する複雑な処理を行うことは不可能である。
他方、画像情報及び文字情報を利用する、例えば漫画等のコミックは、そのコミックのキャラクター人形等の商品化展開以外は、その２次利用は殆どされていないのが現状である。
オンライン上で、これらを利用して上記課題を解決できれば望ましい。
また、これら漫画などの著作物を利用する場合に、著作権者等の承諾が得られ、権利者にも利益が還元されるようなシステムであれば、システムのコンテンツも充実する。
漫画を電子化したコンテンツに関する技術としては、特開平７−９３３６８「コミック出版物」が開示されている。
これは、コミック原画をスキャナ読み込みして得られた画像データとふきだし部分のセリフや擬態音からなる音データを、同時再生できる方式で光コンパクトディスクに記録し、誌上でのページ番号、コマ順にあたる数値や内容に応じて編成された符号を各データ先頭に置き、見出しとして検索、再生時に利用する。正順および逆順の手動再生、一時停止による音声の中断と再開、各ページ毎の手動再生と連続の自動再生の切り替えを備えた再生装置を利用し、さらに、再生中断時には、中断箇所を記録する手段を備え、再生開始時に、冒頭、再生を中断した箇所、ページ番号、見出し等で再生開始箇所を指定する手段を備える、というものである。
しかしながら、上記技術は、電子化して得られたコンテンツを再生したり、停止したりするという技術に関するものであり、利用者が選択した吹き出しの音声の再生や、音声と同じに自動的に他の情報が表示されたりするような技術的特徴を備えていない。
もしもこのようなことが実現できれば、コンテンツの再生などに際して、画像、文字、音声などを合成して様々な効果を与えることができる。
特に、画像や文字と、それに対応する翻訳後の文字や音声とを組み合わせることにより、翻訳をインタラクティブに行い、学べるシステムを提供できる。
本発明は上記課題に鑑みなされたものであり、コンテンツの再生などに際して、特に漫画などに用いられる吹き出しの図形に着目し、吹き出しに文字情報や音声情報への関連付けを設定しておくことにより、利用者がコンピュータ端末や、端末からインターネット等に接続して、画像、文字、音声などを合成して様々な再生・出力・表示を行えるシステムを提供することを目的とする。
特に、画像や文字と、それに対応する翻訳後の文字や音声とを組み合わせることにより、翻訳をインタラクティブに行い、学べるシステムを提供できる。オンライン上で画像情報及び文字情報を閲覧する利用者の選択等に応じ、翻訳後の言語の文字情報や音声情報等を出力できることを特徴とする、オンライン外国語翻訳システムを提供することを目的とする。
また、本発明の別の目的は、本発明のシステムにおいて、漫画などの著作物を利用する場合に、著作権者等の承諾が得られ、権利者にも利益が還元されるようなシステムを提供すること、そして本システムのコンテンツを充実させ提供することにある。
また、本発明の別の目的は、上記システムを実現するためのデータ及びプログラムを記憶した情報記憶媒体を提供し、特にコンピュータ装置と携帯情報端末との双方で利用可能な情報記憶媒体を提供することをも目的とする。
発明の開示
請求の範囲１に記載の発明においては、上記課題を解決するため、入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像ファイルに配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字を含む画像情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲２に記載の発明においては、上記課題を解決するため、入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
前記文字情報に関連付けられて音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像ファイルに配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲３に記載の発明においては、上記課題を解決するため、請求の範囲１又は２に記載の発明において、
前記の利用者端末に表示される画像ファイルに配置される、文字情報を表示するための、一又は複数の文字情報表示フィールドは、文字情報を含むデータを画像情報ファイルとした画像情報を表示するためのフィールドであって、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を含む画像情報を利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲４に記載の発明においては、上記課題を解決するため、入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状・大きさ等からなる、文字情報又は文字情報を画像データとした画像情報を配置する一又は複数の文字情報表示フィールドが配置され、
前記の文字情報表示フィールドには、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
前記の音声情報記憶手段に記憶される音声情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報であって、
前記の文字情報記憶手段に記憶される文字情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報であって、
翻訳前言語で示される、文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、言語翻訳情報処理システムであることを特徴としている。
請求の範囲５に記載の発明においては、上記課題を解決するため、請求の範囲１〜４に記載の発明において、
前記の音声情報記憶手段に記憶される音声情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報であって、前記の文字情報記憶手段に記憶される文字情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報であって、表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲１〜４のいずれかに記載の吹き出し状図形を用いた言語翻訳情報処理システムであることを特徴としている。
請求の範囲６に記載の発明においては、上記課題を解決するため、請求の範囲４又は５に記載の発明において、
前記の音声情報記憶手段に記憶される翻訳後音声情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語音声情報が含まれており、
前記の音声情報記憶手段に記憶される翻訳後文字情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語文字情報が含まれており、
利用者が、翻訳前言語文字情報を、複数の翻訳後言語の内のいずれの言語に翻訳するかを選択する処理と、
表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲４又は５のいずれかに記載の吹き出し状図形を用いた言語翻訳情報処理システムであることを特徴としている。
請求の範囲７に記載の発明においては、上記課題を解決するため、請求の範囲４〜６に記載の発明において、
表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報には、複数の翻訳前言語からなる吹き出し文字情報があらかじめ用意されて、吹き出し状図形を含む画像ファイルが前記の画像情報記憶手段に記憶されており、
利用者が、翻訳前言語文字情報を、複数の翻訳前言語の内のいずれの言語から翻訳するかを選択する処理と、
選択された翻訳前言語からなる吹き出し文字情報フィールドを含む画像ファイルを表示する処理と、
表示された吹き出し状図形中に配置された、翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲４〜６のいずれかに記載の吹き出し状図形を用いた言語翻訳情報処理システムであることを特徴としている。
請求の範囲８に記載の発明においては、上記課題を解決するため、請求の範囲１〜７に記載の発明において、
前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルは、複数のＨＴＭＬファイルやＸＭＬファイルなどに挿入された複数の画像ファイル、複数のページからなる複数の画像ファイル、又は複数のページを構成する複数の画像ファイルを含むスライドショーなどのデータファイルであって、
利用者端末においては複数のページの内の所望のページを選択して表示可能であり、
前記の吹き出し状図形を用いて、選択したページの選択した吹き出し状図形に関連付けられた音声情報を再生し、文字情報を出力する処理が可能なことを特徴とする、請求の範囲１〜７のいずれかに記載の吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲９に記載の発明においては、上記課題を解決するため、請求の範囲８に記載の発明において、前記の記憶手段に記憶されるデータファイルは、漫画などのストーリー性のあるコンテンツデータであって、利用者端末においては複数のページの内の所望のページを選択して表示可能であり、
前記の吹き出し状図形を用いて、選択したページの選択した吹き出し状図形に関連付けられた音声情報を再生し、文字情報を出力する処理が可能なことを特徴とする、請求の範囲８に記載の吹き出し状図形を用いたコンテンツ再生情報処理システムであることを特徴としている。
請求の範囲１０に記載の発明においては、上記課題を解決するため、請求の範囲９に記載の発明において、前記の記憶手段には、漫画などのストーリー性のある複数のコンテンツデータが記憶されており、複数のコンテンツデータの中から利用者が選択して表示・再生をすることが可能なことを特徴とする、請求の範囲９に記載の吹き出し状図形を用いたコンテンツ再生情報処理システムであることを特徴としている。
請求の範囲１１に記載の発明においては、上記課題を解決するため、請求の範囲１〜１０に記載の発明において、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報には、音声再生スピードの異なる複数の音声情報が、前記の音声情報記憶手段に記憶されており、
あらかじめ利用者が設定することにより、音声再生スピードの選択が可能なことを特徴とする、請求の範囲１〜１０のいずれかに記載の吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲１２に記載の発明においては、上記課題を解決するため、請求の範囲１〜１１に記載の発明において、
あらかじめ利用者が設定することにより、音声情報及び文字情報を自動再生するか否か、自動ページめくりをするか否か、音声の再生回数の選択、文字情報を表示するか否か、複数のコンテンツデータの再生順序の設定等の再生制御方法の選択が可能なことを特徴とする、請求の範囲１〜１１のいずれかに記載の吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲１３に記載の発明においては、上記課題を解決するため、請求の範囲６又は７又は１１又は１２に記載の発明において、
翻訳前言語の選択、翻訳後言語の選択、音声再生スピードの選択、又は再生制御方法の選択は、ＸＭＬなどのタグ情報を用いて、利用者が選択した設定を設定ファイルとして前記の記憶手段に記憶することにより、再生時に設定ファイルを参照して選択された音声再生スピード又は再生制御方法に従い自動再生されることを特徴とする、請求の範囲６又は７又は１１又は１２のいずれかに記載の吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲１４に記載の発明においては、上記課題を解決するため、請求の範囲１〜１３に記載の発明において、
前記の記憶手段は、利用者端末からコンピュータネットワークを介して接続するＷＥＢサーバー、アプリケーションサーバー、データベースサーバーなどを備えるサーバーシステムであって、
画像情報を記憶する画像情報記憶手段と、
前記文字情報に関連付けられて音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末に送信して表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、アクセスした利用者端末からの要求に従い、吹き出し状図形を含むデータファイルを利用者端末に送信して表示させる処理と、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲１〜１３のいずれかに記載の吹き出し状図形を用いたオンライン情報処理システムであることを特徴としている。
請求の範囲１５に記載の発明においては、上記課題を解決するため、請求の範囲１４に記載の発明において、前記システムにはさらに、
利用者端末からコンピュータネットワークを介して前記のサーバーシステムにアクセスする利用者を認証するための認証手段と、
利用者のアクセス数、利用時間、利用コンテンツデータ数、ダウンロード数、その他の情報や、利用者に関する情報などを記憶することが可能な利用情報記憶手段と、
前記利用情報記憶手段に記憶された利用情報を参照して利用料金を算出する利用料金算出手段とが備えられ、
前記の各種利用情報に応じて、利用料金を計算し課金管理することが可能なことを特徴とする、請求の範囲１４に記載の吹き出し状図形を用いたオンライン情報処理システムであることを特徴としている。
請求の範囲１６に記載の発明においては、上記課題を解決するため、請求の範囲１４に記載の発明において、前記システムにはさらに、
翻訳前の言語の文字情報及び画像情報の著作権等の権利者に関する情報を記憶する権利者情報記憶手段と、
権利者に対し支払われるライセンス・フィー算出手段とが備えられ、
権利者に還元するためのフィーを前記利用料金算出手段により算出された利用料金等に応じて算出し、管理することを特徴とする、請求の範囲１４に記載の吹き出し状図形を用いたオンライン情報処理システムであることを特徴としている。
請求の範囲１７に記載の発明においては、上記課題を解決するため、請求の範囲１〜１６に記載の発明において、
画像情報記憶手段、音声情報記憶手段、情報処理手段、文字情報記憶手段を備える記憶手段には、
画像情報及び吹き出し文字情報を有する印刷物等のデータを画像情報として取り込むデータ取込手段と、
取り込んだ画像情報に吹き出し文字情報フィールドを設定し、データ処理された画像情報を画像情報記憶手段に記憶する第一のデータ処理手段と、
吹き出し文字情報フィールドに含まれる文字情報に関連付けられた文字情報及び音声情報を入力し、必要に応じ翻訳後言語に変換して前記の文字情報記憶手段及び音声情報記憶手段に記憶する第二のデータ処理手段と、
を備えることを特徴とする、請求の範囲１〜１６のいずれかに記載の吹き出し状図形を用いた情報処理システムであることを特徴としている。
請求の範囲１８に記載の発明においては、上記課題を解決するため、
画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイル等に挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、
前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像情報に配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報、又は吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字を含む画像情報、又は吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であることを特徴とする、コンピュータ読み取り可能な情報記憶媒体であることを特徴としている。
請求の範囲１９に記載の発明においては、上記課題を解決するため、請求の範囲１８に記載の発明において、
前記の情報記憶媒体は、携帯電話や携帯情報端末、電子ブックプレーヤー、音声再生プレーヤーなどの携帯情報端末に装填可能であると共に、パーソナルコンピュータなどのコンピュータ装置に装填可能な小型の情報記憶媒体であって、
前記の情報記憶媒体が備える画像情報記憶手段、音声情報記憶手段、文字情報記憶手段に記憶される画像情報、又は音声情報、又は文字情報の内には、携帯情報端末において出力又は再生が可能なファイルが含まれており、又は携帯情報端末において出力又は再生が可能な形態情報端末用ファイルがコンピュータ装置用ファイルとは別に記憶されていることを特徴とする、請求の範囲１８に記載のコンピュータ読み取り可能な情報記憶媒体であることを特徴としている。
請求の範囲２０に記載の発明においては、上記課題を解決するため、請求の範囲１８又は１９に記載の発明において、
前記の情報記憶媒体にはさらに、利用者の認証情報を記憶するための認証情報記憶手段が備えられており、
コンピュータネットワークを介してダウンロードする場合や、試用版のユーザー登録をする場合などにおいて、課金処理、又はユーザー登録処理をした際に、認証許可情報が前記の認証情報記憶手段に記憶され、再生可能になることを特徴とする、請求の範囲１８又は１９のいずれかに記載のコンピュータ読み取り可能な情報記憶媒体であることを特徴としている。
発明を実施するための最良の形態
以下、本発明の実施形態について図面を参照して説明する。
（第一の実施形態）
第１図は、本発明に係るシステムの第一の実施形態における基本的な構成を示すシステム構成図である。
第一の実施形態においては、本発明の吹き出し状図形を用いた情報処理システムは、入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムである。
第１図において、符号１は利用者端末を示している。利用者端末１には、パーソナル・コンピュータなどのコンピュータ端末をはじめ、携帯電話やＰＨＳなどの無線通信端末や、これらの機能を内蔵した携帯情報端末、その他の各種のコンピュータ端末が含まれる。また、例えばインターネットＴＶなどのいわゆる情報家電などであってもよい。
次に、符号１０ａ及び１０ｂは、利用者端末が備える記憶手段を示す。記憶手段１０ａには、ＣＰＵやメモリ、ハードディスクなどの外部記憶装置を含む。
また、第一の実施形態において、記憶手段には、利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段が含まれるので、有線又は無線を問わずネットワークを介して利用者端末に接続される記憶装置を含む。ここでコンピュータネットワークには、インターネットをはじめとして、専用線により接続されたネットワーク形態や、企業内ＬＡＮ、企業間ＬＡＮ、ＷＡＮなどの形態を広く含む。またここで用いられる通信回線の形態には、有線通信、無線通信の形態を広く含み、衛星通信や、Ｂｌｕｅｔｏｏｔｈなどを用いた形態を含む。
記憶手段１０ｂは、ＣＤ−ＲＯＭドライブ、ＤＶＤドライブ、その他の入力手段を介して読み取られる情報記憶媒体などの記憶手段である。記憶手段１０ｂは、例えばＣＤ−ＲＯＭ、ＤＶＤやＦＤ（フロッピーディスク）、ＭＯ、スマートメディア（商標）やメモリースティック（商標）、電子ブック、その他のあらゆる情報記憶媒体が含まれる。本発明のシステムを実現するための、利用者端末が備える記憶手段には、これらの記憶手段１０ｂが含まれる。
また、記憶手段１０ａには、オペレーションシステム（ＯＳ）や各種のアプリケーションプログラム、各種のデータファイルなどが記憶されることが通常であるが、ＣＤ−ＲＯＭ、ＤＶＤなどの記憶媒体１０ｂに記憶されている後述する画像情報・文字情報・情報処理手段であるプログラム等を記憶手段１０ａに記憶させて実現する形態をとることもできる。
次に、符号１１はキーボードやマウスなどの入力手段を、１２はＣＰＵやバス、その他ＯＳやアプリケーションプログラムを用いてデータの制御、データ送受信、ハードウェアの制御、ソフトウェアの制御等を行うための制御手段を示す。１４はネットワークを介してのデータの送受信や音声などのデータ出力を行うための出力手段を示す。
次に、第２図を用いて、記憶手段１０ａ又は１０ｂ（以下、必要に応じ単に「記憶手段１０」という）について説明する。
記憶手段１０には、画像情報を記憶する画像情報記憶手段と、音声情報を記憶する音声情報記憶手段と、文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられている。
また必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられており、これを備えれば音声情報と文字情報とを自動的に連動させて表示・出力させることができるため備えられることが好ましい。
第２図において、符号１５は画像情報記憶手段、１６は音声情報記憶手段、１７は文字情報記憶手段、１８は情報処理手段を示している。
画像情報記憶手段１５、音声情報記憶手段１６、文字情報記憶手段１７は、記憶手段の中でフォルダなどの階層構造を有する記憶手段に設けられた記憶領域や、関係データベースなどのデータベース構造を有する記憶領域であってもよい。
前記の画像情報記憶手段１５には、ＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイルや、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルが記憶されている。
画像ファイルの一例を第３図及び第４図に示す。
第３図においては複数のコンテンツデータファイルを選択して表示・再生させるために、利用者端末１が備える表示手段に表示するためのメニュー画面を記憶した画像ファイルを示しており、第４図においては、後述する吹き出し状図形を含む画像ファイルを示している。
ここで、画像ファイルには、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＴＩＦＦ、ＢＭＰ、ＰＩＣＴ等の様々なデータフォーマットの画像ファイルや、独自フォーマットの画像ファイルを含むことができる。
また、前記のメニュー画面や、コンテンツデータファイルを配置するための再生画面などをＨＴＭＬファイルやＸＭＬファイルなどの形式、あるいは複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイル、さらには独自の再生プログラムを用いたファイル形式で記憶しておき、そのファイル中に挿入されて表示される画像ファイルとすることもできる。 ＨＴＭＬファイルやＸＭＬファイルなどを用いる場合の利点としては、アプリケーションプログラムや、利用者端末の機種に制約される部分が少ないことや、インターネットに接続してアクセスする記憶手段に本発明のシステムを備えて利用者がアクセスできることにある。またＸＭＬ等を用いた場合には、様々なタグ情報を用いて、再生の制御やデータの抽出を行ったり、あるいはコンピュータ装置や携帯電話などの携帯情報端末などの機種別に、抽出されるデータやファイルを定義したりすることができる。
次に、別の望ましい形態の一例としては、前記の画像ファイルは、Ｍａｃｒｏｍｅｄｉａ社（商標）のＦｌａｓｈ（商標）アニメーションや、Ｓｈｏｃｋｗａｖｅ（商標）ムービー、その他の広く普及しているデータ形式を用いる方法である。これらを用いる場合の利点としては、プラグイン・ソフトウェアが必要にはなるものの、広く普及しており入手が容易であることがあげられる。また、複数のページを作成することができるので、ページめくりをするように、ページ（フレーム）を移動することができる。また自動再生の設定や、繰り返し再生などのようなさ異性制御をすることが可能になる。インターネットに接続してアクセスする記憶手段に本発明のシステムを備えて利用者がアクセス可能にすることもできる。さらにもう一つの利点は、画像ファイルの中に、文字情報を挿入するテキストフィールドを設けることができ、テキストフィールドに入力された文字情報に他のファイルへのリンク情報を受けこむことができる。また画像ファイルの中に、画像情報などのオブジェクトを挿入することができ、オブジェクトに他のファイルへのリンク情報を受けこむことができる。
次に、第３図及び第５図を用いて、これらの画像ファイルについて説明する。
画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置されている。
吹き出し状図形は、第５図においては符号１９で示される。この例では一つの画像ファイルに複数の吹き出し状図形が配置されている。
請求の範囲６に記載の発明においては、利用者端末においては複数のページの内の所望のページを選択して表示可能であり、第５図の右下においては、ページを先に進行したり、前に戻ったり、初めのページに戻ったりするための制御ボタンが配置されている。制御ボタンは、画像ファイル中に挿入された画像情報やオブジェクトなどであり、所定の他のページへのリンク情報が埋め込まれている。
また、請求の範囲７に記載の発明においては、前記の記憶手段に記憶されるデータファイルは、漫画などのストーリー性のあるコンテンツデータであって、利用者端末においては複数のページの内の所望のページを選択して表示可能な形態であり、第４図及び第５図ではこうした形態において表示される画像ファイルの一例を示している。
また、前記の利用者端末に表示されるデータファイルには、文字情報を表示するための、一又は複数の文字情報表示フィールドが配置されている。
文字情報フィールドは、第５図においては、符号２０ａ及び２０ｂ（以下、必要に応じ単に「２０」という）で示されている。文字情報フィールド２０は、あらかじめ所定の文字情報が表示されるように設定しておくこともできるが、利用者の操作に応じ、文字情報記憶手段に記憶されている所定の文字情報を表示することの可能なフィールド又はウィンドウである。
なお、文字情報フィールド２０は、請求の範囲３に記載の発明にあっては、文字情報を含むデータを画像情報ファイルとした画像情報を表示するためのフィールドである。すなわちこの場合には、文字情報記憶手段１７に記憶されるデータファイルは、画像形式のデータファイルであって、その画像情報の元となるデータに文字情報が含まれるものであり、簡潔にいえば文字を画像形式で記憶したものである。
次に、吹き出し状図形について説明する。
請求の範囲１に記載の発明において、前記の画像情報に配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報を表示するための吹き出し文字情報フィールドが配置されている。すなわちこの場合には、吹き出し文字情報フィールドに表示される画像情報は、画像形式のデータファイルである。
吹き出し文字を含む画像情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能である。これらはハイパーリンク情報を吹き出し文字情報フィールド１９に表示される画像情報に埋め込んでおけばよい。
なお、吹き出し文字情報フィールド１９に表示される画像情報は、例えばページ全体の画像情報に、吹き出し状図形の画像ファイルをレイヤー形式で重ねて配置する形態をとることができる。またページ全体の画像情報に、オブジェクトとして挿入して配置する形態をとることができる。また、ページ全体の画像情報に、吹き出し状図形の領域をＸ軸の座標値、及びＹ軸の座標値を用いて設定し、設定された領域にハイパーリンク情報を埋め込む形態でも実現できる（クリッカブルマップ）。
請求の範囲２に記載の発明においては、前記の画像情報に配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置されている。すなわちこの場合には、吹き出し文字情報フィールドは、画像情報に配置されたテキストなどの文字情報を表示させるためのフィールドであり、吹き出し文字情報フィールドに表示される文字情報は、文字情報形式のデータファイルである。
この場合にも、吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能である。これらはハイパーリンク情報を吹き出し文字情報フィールド１９に表示される文字情報に埋め込んでおけばよい。
第３図においては、吹き出し文字情報フィールド１９から設定された音声情報記憶手段１６に記憶された音声情報ファイルへのハイパーリンク、及び、吹き出し文字情報フィールド１９から設定された文字情報記憶手段１７に記憶された文字情報ファイルへのハイパーリンクの関係を模式的に示している。画像ファイルが、漫画などのコンテンツデータファイルであった場合などには、一つのページ（画像ファイル）に一又は複数の台詞を示す吹き出し文字情報フィールドが設けられ、それぞれの台詞に対応する音声情報および文字情報へのハイパーリンクが張られている。
音声情報記憶手段１６に記憶される音声情報は、ＷＡＶファイル、ＭＰ３ファイル、ＲＭファイル、その他の様々なデータ形式の音声ファイルが含まれる。
また、文字情報記憶手段に記憶される文字情報は、テキスト形式，その他の文字情報ファイルである。
第６図は、画像情報記憶手段１５に記憶される、漫画などのコンテンツの、各ページである画像ファイルと、各画像ファイルに配置される吹き出し文字情報フィールドとの関係の一例を、データ模式図を用いて示している。
また、文字情報記憶手段１６に記憶される、漫画などのコンテンツの、各ページに配置される各吹き出し文字情報フィールドと、文字情報ファイルとの関係の一例を、データ模式図を用いて示している。
また、音声情報記憶手段１７に記憶される、漫画などのコンテンツの、各ページに配置される各吹き出し文字情報フィールドと、音声情報ファイルとの関係の一例を、データ模式図を用いて示している。
次に、情報処理手段について説明する。
情報処理手段１８は、これまでに説明した画像情報、音声情報、文字情報や、メニュー画面等を構成するＨＴＭＬファイルなどを、利用者端末が備える入力手段等を用いて利用者が操作を行い、操作に従い表示・出力などをさせるためのアプリケーションプログラムである。
アプリケーションプログラムとしては、ブラウザソフトや、Ｆｌａｓｈなどを再生するためのプラグインソフトウェア、独自形式のデータファイルを再生するためのプログラムなどがある。これらのプログラムをハードディスクなどの記憶手段１０ａにインストールするか、またはＣＤ−ＲＯＭやＤＶＤなどの記憶手段１０ｂに備え、望ましくは記憶手段１０ｂに自動再生（Ａｕｔｏｒｕｎ）プログラムを備えて、記憶手段１０ｂを利用者端末に装填した際に自動的に起動する形態をとることができる。
次に、本発明の第一の実施形態における基本的な処理の流れについて説明する。なお、ここに示す処理の流れは一例であって、これに限定されるものではない。
第７図は、本発明の第一の実施形態を示すフローチャートである。
初めに、利用者端末１に記憶手段１０ｂを装填する。プログラムである情報処理手段を記憶手段１０ａにインストールする場合には、インストールプログラムを起動して指示に従いインストールを行う。また画像情報記憶手段１５、音声情報記憶手段１６、文字情報記憶手段１７に記憶されたデータファイルを記憶手段１０ａに記憶させることもできる。インストール後には情報処理手段１８を起動する（Ｓ１０２）。
インストールしない場合には、利用者の操作により情報処理手段１８を起動し、又は自動再生プログラムによる自動的な起動により（Ｓ１０３）、情報処理手段１８を起動する。
次に、どの漫画のストーリーを選択するかなどのメニュー画面が表示される（Ｓ１０４）。
複数の漫画のストーリーを記憶したデータファイルなどの複数のコンテンツデータファイルがある場合には（Ｓ１０５）、コンテンツデータファイルの選択を行う（Ｓ１０６）。コンテンツデータファイルが一つだけ記憶されている場合には、そのまま次のステップへ進む。
次に、最初のページなどの画像ファイルが表示される。なおその前に、表紙やタイトル、著作権表示などのオープニング画面を表示させてもよい。
最初のページの画像ファイルが表示されるが、表示される画像がいるは、前記のように、第４図のような、吹き出し文字情報フィールド１９が配置された画像ファイルである。また、第４図でいえば、画面の右側には文字情報表示フィールド２０が配置されている。
次に、利用者は、一又は複数の表示された吹き出し状図形中に配置された吹き出し文字情報フィールドから、いずれかの吹き出し文字情報フィールド１９を選択することができる（Ｓ１０８）。吹き出し文字情報フィールドの選択は、表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動である。
利用者が選択を行うと、ユーザの動作、すなわちハイパーリンク情報が選択されたことを制御手段１２が検知して（Ｓ１０９）、情報処理手段１８に伝達する（Ｓ１１０）。
情報処理手段が前記のユーザーの動作を検知したことによって（Ｓ１１１）、前記の吹き出し文字情報フィールドに対応する音声情報及び文字情報が抽出されて再生または表示出力が行われるが、あらかじめ音声再生スピードや、再生回数、その他の再生制御情報を、利用者が設定して設定ファイルとして記憶させておくことができるので、こうした場合には、再生制御の設定ファイルがあるか否かを判定し（Ｓ１１２）、設定ファイルを読み込んで（Ｓ１１３）、設定ファイルにおいて定義されたデータに従い、音声情報及び文字情報の抽出や、ページ移動（画像ファイルの抽出・表示）を行う。また文字情報は表示させずに、音声再生のみをするように設定されている場合には、文字情報の表示出力は行わない。
特に再生制御が設定されていない場合には、そのまま次へ進む。
なお、すべての吹き出し文字情報に対応して、表示させる文字情報があらかじめ文字情報記憶手段に記憶されているとは限らない場合や、文字情報がまったくない場合、あるいはすべての文字情報はあらかじめ画像ファイルが含む文字情報表示フィールドに表示されているような設定の場合がありうる。この場合には、吹き出し文字情報に関連付けられた文字情報があるか否かを判定する（Ｓ１１４）。
次に、選択された吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される音声情報を抽出し（Ｓ１１５）、また選択された吹き出し文字情報フィールドに付加されたリンク情報に所在が示される文字情報を抽出する（Ｓ１１６）。抽出された音声情報は出力手段１４により音声出力・再生が行われ（Ｓ１１７）、抽出された文字情報は、表示手段１３が表示する画像ファイルに配置された、前記の文字情報表示フィールド２０に表示される（Ｓ１１８）。
次に、複数のページ（画像ファイル）がある場合には、利用者の操作又は選択等により、又は自動再生により、ページを移動するか否かが判定されて（Ｓ１１９）、移動する場合には移動先のページが表示され（Ｓ１０７）、上記の処理を繰り返す。
また、同じページ中に複数の吹き出し文字情報フィールドがある場合には、ページを移動する前に、Ｓ１０８に戻り、他の吹き出し文字情報フィールドを選択して上記の処理を繰り返す。
再生を終了する場合には、利用者の操作又は選択等により、又は自動再生により終了する（Ｓ１２０）。終了しない場合には、メニュー画面に戻ったり、他のページへ移動したりすることができる。終了する場合にはプログラムである情報処理手段１８も終了することが通常である。
（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
本発明の第二の実施形態は、上記システムを利用した、吹き出し状図形を用いた言語翻訳情報処理システムである。
本発明のシステムで再生・表示可能な翻訳言語は、日本語が翻訳前言語であった場合に、翻訳後の言語としては、英語、フランス語、ドイツ語、イタリア語、スペイン語、オランダ語、ロシア語、中国語、韓国語、スワヒリ語等、日本語から日本語以外の外国語に翻訳可能な言語であればよい。また、これらの外国語が翻訳前言語であって、翻訳後の言語が日本語であってもよい。さらに、言語の文章や単語を、他の言語に対応させて置き換えられればよいために、日本語の標準語と関西弁、名古屋弁、アイヌ語や沖縄の言語、あるいは古代・中世・近世などの言語、現実には存在しない仮想の言語、あるいは若者語や年配者の用いる言語、くだけた言い回しの言語やオフィシャルな言語、上流階級の言語、流行語、漫画やテレビ番組等のアニメーションやドラマ等で用いられている特徴的な言い回し、漫画のキャラクターやドラマ等の主人公、著名人の特徴的な言い回しなどの、様々な、言語の文章や単語を、他の言語に対応させて置き換えることのできる言語を、翻訳前言語又は翻訳後言語として用いることもできる。
本実施形態において、基本的なシステムのハードウェア構成、及び記憶手段１０に記憶されるデータのデータ構成については、前記の第一の実施形態と共通するため省略する。
本実施形態において、前記の音声情報記憶手段に記憶される音声情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報である。
また前記の文字情報記憶手段に記憶される文字情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報である。
第８図は、記憶手段の記憶領域を示す図であって、画像情報を記憶する画像情報記憶手段１５と、音声情報を記憶する音声情報記憶手段１６と、必要に応じ文字情報を記憶するための文字情報記憶手段１７と、文字情報及び音声情報を利用者端末において表示させる情報処理手段１８とが備えられている。
請求の範囲４に記載の発明においては、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状・大きさ等からなる、文字情報又は文字情報を画像データとした画像情報を配置する一又は複数の文字情報表示フィールドが配置されている。
そして前記の文字情報表示フィールドには、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、文字情報フィールドは、他の実施形態のように、必ずしも「吹き出し状図形」に限られるものではなく、ページ中に配置され、あらかじめ設定される所定の領域であれば、様々な図形や、文字情報等を含む。また必ずしも有形の図形等ではなくても、例えば画像ファイル中のあらかじめ設定される所定の領域に、音声情報ファイルや文字情報ファイルへの関連付けがされている形態を含む。
前記の音声情報記憶手段に記憶される音声情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報であって、前記の文字情報記憶手段に記憶される文字情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報であって、翻訳前言語で示される、文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、前記の文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、言語翻訳情報処理システムである。
次に、吹き出し状図形を用いた言語翻訳情報処理システムについて書きに説明する。
なお、本発明の本明細書全体において、「吹き出し状図形」には、第４図に示す漫画の吹き出しを初めとして、様々な図形と引き出し線とを有する各種図形、円や楕円、雲形の囲みや凹凸のある囲み図形などの各種の形態を含み、第２０図のこれらの例を示す。
画像情報記憶手段に記憶される画像ファイルに設けられた、吹き出し上図形に配置された吹き出し文字情報フィールドには、翻訳前言語からなる文字情報が表示されるように設定されている。例えば第４図及び第５図において、翻訳前言語を日本語とする漫画を、翻訳後言語である英語に翻訳して、選択された吹き出し文字情報フィールドの音声及び文字を自動再生・表示する例が示されている。
本実施形態において、基本的な処理の流れは第一の実施形態と共通する。
第７図に基づき説明をすると、初めに、利用者端末１に記憶手段１０ｂを装填する。プログラムである情報処理手段を記憶手段１０ａにインストールする場合には、インストールプログラムを起動して指示に従いインストールを行う。また画像情報記憶手段１５、音声情報記憶手段１６、文字情報記憶手段１７に記憶されたデータファイルを記憶手段１０ａに記憶させることもできる。インストール後には情報処理手段１８を起動する（Ｓ１０２）。
インストールしない場合には、利用者の操作により情報処理手段１８を起動し、又は自動再生プログラムによる自動的な起動により（Ｓ１０３）、情報処理手段１８を起動する。
次に、どの漫画のストーリーを選択するかなどのメニュー画面が表示される（Ｓ１０４）。例えば第３図において、メニュー画面が表示され、複数のストーリーの内から、「○○の巻」などのストーリーを選択する。
複数の漫画のストーリーを記憶したデータファイルなどの複数のコンテンツデータファイルがある場合には（Ｓ１０５）、コンテンツデータファイルの選択を行う（Ｓ１０６）。コンテンツデータファイルが一つだけ記憶されている場合には、そのまま次のステップへ進む。
次に、最初のページなどの画像ファイルが表示される。
最初のページの画像ファイルが表示されるが、表示される画像がいるは、前記のように、第４図のような、吹き出し文字情報フィールド１９が配置された画像ファイルである。また、第４図でいえば、画面の右側には文字情報表示フィールド２０が配置されている。
第４図のような、ページ全体を構成する画像ファイルは、第８図の画像情報記憶手段に記憶された画像ファイルであって、画像ファイル（ページ）中には、一又は複数の吹き出し状図形に、吹き出し文字情報フィールドが設定されている。例えば第４図では、「ほっ・・・本当に本当なんですか」「まあ」などの翻訳前言語（この例では日本語）のそれぞれの吹き出し文字情報フィールドがあって、それに対応する翻訳後言語（この例では英語）の音声情報が第８図の音声情報記憶手段１６に、またそれに対応する翻訳後言語（この例では英語）の文字情報が第８図の文字情報記憶手段１７に記憶されている。
次に、利用者は、一又は複数の表示された吹き出し状図形中に配置された吹き出し文字情報フィールドから、いずれかの吹き出し文字情報フィールド１９を選択することができる（Ｓ１０８）。利用者が、吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の選択を行うと、ユーザの動作、すなわちハイパーリンク情報が選択されたことを制御手段１２が検知して（Ｓ１０９）、情報処理手段１８に伝達する（Ｓ１１０）。
情報処理手段が前記のユーザーの動作を検知したことによって（Ｓ１１１）、前記の吹き出し文字情報フィールドに対応する翻訳後言語の音声情報及び文字情報が抽出されて再生または表示出力が行われる。あらかじめ音声再生スピードや、再生回数、その他の再生制御情報を、利用者が設定して設定ファイルとして記憶させておくことができる場合には、再生制御の設定ファイルがあるか否かを判定し（Ｓ１１２）、設定ファイルを読み込んで（Ｓ１１３）、設定ファイルにおいて定義されたデータに従い、音声情報及び文字情報の抽出や、ページ移動（画像ファイルの抽出・表示）を行う。また文字情報は表示させずに、音声再生のみをするように設定されている場合には、文字情報の表示出力は行わない。
特に再生制御が設定されていない場合には、そのまま次へ進む。
なお、すべての吹き出し文字情報に対応して、表示させる文字情報があらかじめ文字情報記憶手段に記憶されているとは限らない場合や、文字情報がまったくない場合、あるいはすべての文字情報はあらかじめ画像ファイルが含む文字情報表示フィールドに表示されているような設定の場合がありうる。この場合には、吹き出し文字情報に関連付けられた文字情報があるか否かを判定する（Ｓ１１４）。
次に、選択された吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される音声情報を抽出し（Ｓ１１５）、また選択された吹き出し文字情報フィールドに付加されたリンク情報に所在が示される文字情報を抽出する（Ｓ１１６）。第５図においては、吹き出し文字情報フィールド１９の「ほっ・・・本当に本当なんですか」が選択されたことを示し、抽出された音声情報である翻訳後言語（英語）の「Ｉｓ ｉｔ ｐｏｓｓｉｂｌｙ ｔｒｕｅ ｔｈａｔ…」という音声が出力手段１４により音声出力・再生され（Ｓ１１７）、抽出された文字情報「Ｉｓ ｉｔ ｐｏｓｓｉｂｌｙ ｔｒｕｅ ｔｈａｔ…」が、表示手段１３が表示する画像ファイルに配置された、前記の文字情報表示フィールド２０に表示される（Ｓ１１８）。
次に、複数のページ（画像ファイル）がある場合には、利用者の操作又は選択等により、又は自動再生により、ページを移動するか否かが判定されて（Ｓ１１９）、移動する場合には移動先のページが表示され（Ｓ１０７）、上記の処理を繰り返す。
また、同じページ中に複数の吹き出し文字情報フィールドがある場合には、ページを移動する前に、Ｓ１０８に戻り、他の吹き出し文字情報フィールドを選択して上記の処理を繰り返す。
再生を終了する場合には、利用者の操作又は選択等により、又は自動再生により終了する（Ｓ１２０）。終了しない場合には、メニュー画面に戻ったり、他のページへ移動したりすることができる。
次に、本発明の第二の実施形態である、吹き出し状図形を用いた言語翻訳情報処理システムの別の実施形態について説明する。
請求の範囲６に記載の発明においては、前記の音声情報記憶手段に記憶される翻訳後音声情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語音声情報が含まれている。
また、前記の文字情報記憶手段に記憶される翻訳後文字情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語文字情報が含まれている。
すなわち、第５図の漫画の例でいえば、吹き出し文字情報フィールドに翻訳前言語（日本語）の台詞が表示される場合に、翻訳後の言語で再生される音声情報、翻訳後の言語で表示される文字情報は、例えば英語とフランス語のいずれかを選択できるような形態である。あるいは英語とフランス語、スペイン語、ドイツ語、中国語、韓国語のいずれかから選択できるような形態である。
第９図は、翻訳前言語（ここでは日本語）に対応する複数の翻訳語言語（ここでは英語、フランス語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域を示している。また第１０図は、翻訳前言語（ここでは日本語）に対応する複数の翻訳語言語（ここでは英語、フランス語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０に記憶されるデータ模式図を示している。
初めに、利用者が、翻訳前言語文字情報を、複数の翻訳後言語の内のいずれの言語に翻訳するかを選択する処理を行う。例えば翻訳語言語として英語とフランス語とがあった場合に、英語を選択する。
次に、表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理を行う。
次に、前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語（選択された英語）である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う。
また、所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語（選択された英語）である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する。
さらに、本発明の第二の実施形態である、吹き出し状図形を用いた言語翻訳情報処理システムの別の実施形態について説明する。
請求の範囲７に記載の発明においては、表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報には、複数の翻訳前言語からなる吹き出し文字情報があらかじめ用意されて、吹き出し状図形を含む画像ファイルが前記の画像情報記憶手段に記憶されている。
例えば第４図及び第５図において、翻訳前言語を日本語とする漫画を、翻訳後言語である英語に翻訳して、選択された吹き出し文字情報フィールドの音声及び文字を自動再生・表示する例が示されている。本実施形態によれば、これとは別に、翻訳前言語を例えば英語とする漫画を、翻訳後言語である日本語に翻訳して、選択された吹き出し文字情報フィールドの音声及び文字を自動再生・表示するために、吹き出し文字情報フィールドに翻訳前言語が英語である画像ファイルが表示可能なようにされている。また翻訳後言語として例えば日本語を採用し、吹き出し文字情報フィールドの英語に対応する、日本語の音声情報及び日本語の文字情報を記憶させておく。
このような形態を採用すれば、吹き出し状図形を用いて、和文英訳、英文和訳の双方の言語翻訳情報処理システムを実現することができる。
第１１図は、複数の翻訳前言語があって、翻訳前言語１（例えば日本語）及び翻訳前言語２（例えば英語）に対応する複数の翻訳語言語（例えば英語、日本語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域を示している。また第１２図は、吹き出し文字情報フィールドに表示される複数の翻訳前言語（ここでは日本語及び英語）に対応する複数の翻訳語言語（ここでは英語及び日本語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域に記憶されるデータ模式図を示している。
また、第１３図は、翻訳前言語を英語とする漫画を、翻訳後言語である日本語に翻訳して、選択された吹き出し文字情報フィールドの音声及び文字を自動再生・表示する例が示されている。
本実施形態の場合には、メニュー画面などにおいて、和文英訳を選択した場合には第４図、第５図のような画像ファイルが表示され、英文和訳を選択した場合には第１３図のような画像ファイルが表示される。
なお、本実施形態における基本的な処理の流れの一例を示すフローチャートが第１４図である。
複数の翻訳前言語がある場合には（Ｓ２０７）、利用者が、翻訳前言語を、複数の翻訳前言語の内のいずれの言語から翻訳するかを選択する処理を行う（Ｓ２０８）。
また、英文和訳と和文英訳の二通りがある場合には、翻訳前言語として英語を選択すれば、翻訳後言語は自動的に日本語とすることができる。
一方、英文和訳、英文独約、和文英訳、和文独訳、独文和訳、独文英訳のように、複数の翻訳後言語がある場合がありうる。この場合には（Ｓ２０９）、利用者が、翻訳後言語、複数の翻訳後言語の内のいずれの言語から翻訳するかを選択する処理を行う（Ｓ２１０）。
次に、選択された翻訳前言語からなる吹き出し文字情報フィールドを含む画像ファイルを表示する処理と（Ｓ２１１）、表示された吹き出し状図形中に配置された、翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ（Ｓ２１２）、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理とを行う（Ｓ２１３、Ｓ２１４）。
次いで、吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う（Ｓ２２１）。
また、所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、吹き出し文字情報フィールドに付加されたリンク情報に所在が示される翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する（Ｓ２２２）。
（第三の実施形態）
次に、本発明の第三の実施形態について説明する。
本実施形態においては、前記の記憶手段は、利用者端末からコンピュータネットワークを介して接続するＷＥＢサーバー、アプリケーションサーバー、データベースサーバーなどを備えるサーバーシステムであって、インターネットに代表されるコンピュータネットワークを介して、利用者端末１からアクセスを行う形態である。
本実施形態におけるシステムは、通常は、コンピュータや携帯情報端末等が接続されるネットワーク上に、Ｗｅｂサーバーやアプリケーション・サーバー、データベース・サーバー等を有するシステムにおいて実現されるものである。
ただし、ここでは基本的なシステム構成として、第１図においては、これらのサーバー・システムが同一のシステム内に設置される一例を示したが、仮に、アプリケーション・サーバーが別個の場所に存在し、あるいはデータベース・サーバーが別個の場所に存在していたとしても、これらの場所はＵＲＬ等により特定し、指定することができるので、このようなシステム構成においても本発明のシステムは実現が可能である。
第１５図に、本実施形態の基本的なシステム構成図を示す。
第１５図において、符号１は利用者端末を、２５はサーバーシステムを、３０はインターネットに代表されるコンピュータネットワークを示している。サーバーシステム２５は、画像情報記憶手段１５、音声情報記憶手段１６、文字情報記憶手段１７を示している。
ここで、ネットワークに接続するための利用者の端末は、パーソナル・コンピュータなどのコンピュータ端末をはじめ、携帯電話やＰＨＳなどの無線通信端末や、これらの機能を内蔵した携帯情報端末、その他の各種のコンピュータ端末が含まれる。また、例えばインターネットＴＶなどのいわゆる情報家電などであってもよい。
さらにこれらが接続されるネットワークには、有線、無線、いずれの通信回線もが含まれる。
なお、画像情報を記憶する画像情報記憶手段、前記文字情報に関連付けられて音声情報を記憶する音声情報記憶手段、文字情報を記憶するための文字情報記憶手段、文字情報及び音声情報を利用者端末に送信して表示させる情報処理手段の構成については、これまでに述べた様々な形態と共通する。
利用者端末１には、パーソナル・コンピュータなどのコンピュータ端末をはじめ、携帯電話やＰＨＳなどの無線通信端末や、これらの機能を内蔵した携帯情報端末、その他の各種のコンピュータ端末が含まれる。また、例えばインターネットＴＶなどのいわゆる情報家電などであってもよい。
次に、符号は、利用者端末が備える記憶手段を示す。記憶手段１０ａには、ＣＰＵやメモリ、ハードディスクなどの外部記憶装置を含む。また、記憶手段１０には、オペレーションシステム（ＯＳ）や各種のアプリケーションプログラム、各種のデータファイルなどが記憶されることが通常である。
次に、符号１１はキーボードやマウスなどの入力手段を、１２はＣＰＵやバス、その他ＯＳやアプリケーションプログラムを用いてデータの制御、データ送受信、ハードウェアの制御、ソフトウェアの制御等を行うための制御手段を示す。１４はネットワークを介してのデータの送受信や音声などのデータ出力を行うための出力手段を示す。
第一の実施形態で説明したように、本発明においてコンテンツデータファイルを閲覧するためのメニュー画面や、コンテンツデータファイルを配置するための再生画面などは、ＨＴＭＬファイルやＸＭＬファイルなどの形式、あるいは複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイル、さらには独自の再生プログラムを用いたファイル形式や、そのファイル中に挿入されて表示される画像ファイルとすることもできる。また望ましい形態の一例として、Ｍａｃｒｏｍｅｄｉａ社（商標）のＦｌａｓｈ（商標）やＳｈｏｃｋｗａｖｅ（商標）などを説明した。
本実施形態においてインターネット等を介して閲覧をする場合には、通例は前記の各記憶手段１５，１６，１７に記憶された情報等を、Ｗｅｂサーバー等に記憶されたＷｅｂサイトに表示されるＨＴＭＬファイルやＸＭＬファイル等にリンクさせて、あるいは前記の各記憶手段１５，１６，１７に記憶された情報等から検索などにより抽出されたデータを記述したＨＴＭＬファイル等を生成して、アクセスする顧客端末の画面に表示されるようにする。
例えば、表示される情報がｇｉｆファイルなどの画像ファイルであれば、ＷＥＢサイトのＨＴＭＬ等ファイル中に、前記画像ファイルへのリンクが記述される。
なおＨＴＭＬファイル以外にも、ＸＨＴＭＬファイル、ＸＭＬファイル、ＳＧＭＬファイル、あるいは携帯端末用のＣ−ＨＴＭＬファイルなどを利用することも可能である。
利用者がこのＷＥＢサイトにアクセスした場合に、利用者のコンピュータ端末はそのＷＥＢページのファイル（ＨＴＭＬファイル等）を送信要求し、同時に、そのファイルにリンクの記述がされた前記画像ファイルをも送信要求する。
これらのファイルを受信することにより、例えば画像ファイルであれば、利用者がアクセスしたＷＥＢページが利用者のコンピュータ端末画面に、ブラウザソフトを介してＨＴＭＬファイル等が表示されると共に、そのページの一部に前記画像ファイルが表示される。また、例えば音声ファイルであれば、利用者がアクセスしたＷＥＢページが利用者のコンピュータ端末画面に、ブラウザソフトを介してＨＴＭＬファイル等が表示されると共に、そのページの一部に前記音声ファイルへのハイパーリンクが記述されて表示される。また例えば、一つの画面を分割して複数のＨＴＭＬファイル等を表示するフレームのように、複数に区切られたフレームの一部のフレームに、送信される該ファイルが表示されるものであってもよい。
また、本発明のシステムにアクセスし閲覧することができる顧客は、不特定多数の利用者を対象とする以外にも、会員登録した利用者のみがアクセスし、情報を検索・閲覧できるようにしてもよい。例えば、Ｗｅｂサイトにアクセスして、顧客ごとに発行されたＩＤ及びパスワード等を入力して、アクセスが可能になるなどの方法をとることができる。
次に、本実施形態の基本的な処理の流れについて説明する。
第１６図、及び第１７図は、本実施形態の基本的な処理の一例を示すフローチャートである。
初めに、利用者端末１からインターネット等のコンピュータネットワークに接続し（Ｓ３００）、サーバーシステム２５にアクセスする（Ｓ３０１）。サーバーシステムには前記の通り、画像情報記憶手段、音声情報記憶手段、文字情報記憶手段等のデータファイルと、情報処理手段などのプログラムが備えられているが、その他必要に応じＷＥＢサーバーなどが備えられる。ＷＥＢサーバーに備えられるＨＴＭＬファイル，ＸＭＬファイルなどのＷＥＢ上に表示されるファイルが利用者端末に送信され、メニュー画面などが表示されるのが一般的である。
なお、本発明のシステムの利用に際して、課金処理を行う場合などには、これらが正常になされることを条件として、利用が許可される。認証処理、課金処理等が行われ（Ｓ３０２）、また、ダウンロードをするか閲覧をするかを選択させることができる（Ｓ３０３）。
ダウンロードをする場合には（Ｓ３０４）、利用者端末が備える記憶手段１０ａにダウンロードして記憶させた後に、第一の実施形態、第二の実施形態において説明したように利用者端末において使用する。
インターネット等で閲覧をする場合には、閲覧のメニューが表示され（Ｓ３０５）、複数のコンテンツデータファイル（ここでは漫画の翻訳を例にとる）がある場合には（Ｓ３０６）、いずれを閲覧するかを選択する（Ｓ３０７）。また、英文和訳、和文英訳などの複数の言語から選択可能な場合には、これらの選択を行う（Ｓ３０８からＳ３１１）。
サーバーシステム２０に記憶されている情報は、例えば、素材として日本語の漫画を用い、英語に翻訳できるシステムを例にとると、下記のようなものである。
画像情報記憶手段１５には、翻訳前言語の吹き出し文字情報フィールドに配置される日本語の漫画の台詞などの文字情報を、漫画の各ページの各コマ、各台詞等ごとに含む、漫画の画像情報が、漫画の各ページごと等に記憶されている。
翻訳後言語の文字情報記憶手段１７には、上記台詞等に対応して、日本語の漫画の台詞などの英語訳が、テキスト等の文字情報が漫画の各ページの各コマ、各台詞等ごとに記憶される。また翻訳にあたってのポイント・注意事項や、類似する他の表現などの情報を併せて記憶することが可能である。
また、翻訳後言語の音声情報データベース１６には、日本語の漫画の台詞などの英語訳の音声ファイルを、テキスト等の文字情報が漫画の各ページの各コマ、各台詞等ごとに記憶することができ、またそれが好ましい。
なお、ここでは仮に、翻訳前言語の文字情報を含む画像情報記憶手段、翻訳後言語の文字情報記憶手段、翻訳後言語の音声情報記憶手段としたが、同様のデータを記憶し、検索等によりデータの抽出等ができる形態であれば、データベースの構造は様々な形態とすることが可能である。これらはフォルダの階層構造を採用することや、関係データベースなどにより実現できる。また漫画の翻訳はここでは一例であって、前述した第一の実施形態、第二の実施形態において説明した様々な形態をとることができる。
また、第一の実施形態、第二の実施形態においても、あるいはここで説明する第三の実施形態においても、前記の各記憶手段１５，１６，１７に記憶される情報は、請求の範囲１７に記載の発明のように、下記の手段により記憶することが可能であり、多くのコンテンツを記憶するためには本発明を用いることが好ましい。
画像情報記憶手段、音声情報記憶手段、情報処理手段、文字情報記憶手段を備える記憶手段には、画像情報及び吹き出し文字情報を有する印刷物等のデータを画像情報として取り込むデータ取込手段が備えられる。データ取込手段は、具体的にはスキャナ装置などであって、読み取ったデータは画像ファイルとして記憶される。
ここでは、画像情報及び文字情報を有する印刷物などのコンテンツとなる元の素材として漫画（コミック）を用いている。
まず、漫画を出版した作家及び／又は漫画を執筆した作家から本発明のシステムに用いるための著作権等の権利を得る。
次に、権利を得た漫画をスキャニング等により、該漫画のデータをデータベースや階層構造の記憶領域に従い記憶する。
データ処理された画像情報を画像情報記憶手段に記憶する第一のデータ処理手段により、取り込んだ画像情報が含む各台詞などの吹き出し状図形部分に、吹き出し文字情報フィールドを設定し、ここに配置される文字情報を入力して、吹き出し文字情報フィールドに配置される文字情報データとして記憶させる。または文字情報を含む画像情報データとして記憶する。
なお、吹き出し文字情報フィールドに配置される文字情報（例えば翻訳前言語の日本語の台詞部分）は、ＯＣＲソフトにより画像情報を読み取って文字情報化することができる。
次に、第二のデータ処理手段により、文字情報フィールドに含まれる文字情報に関連付けられた文字情報及び音声情報を入力し、必要に応じ翻訳後言語に変換して前記の文字情報記憶手段及び音声情報記憶手段に記憶する。第二のデータ処理手段は、画像情報記憶手段に記憶される画像情報が含む各吹き出し文字情報フィールドに関連付けをする処理と、文字情報又は音声情報を入力する処理と、前記の階層構造又はデータベース構造等の記憶領域にデータファイルとして記憶する処理とを行うプログラムである。
なお、文字情報又は音声情報を入力する処理は、データ取込手段により読み取られた画像情報の文字部分からＯＣＲで読み取った文字情報又は入力した文字情報を元に、自動翻訳ソフト等により、翻訳後言語（例えば英語）の文字情報（テキストデータ等）として文字情報記憶手段に記憶させ、読み上げソフト等により音声情報記憶手段に記憶させる処理を採用することができる。
そして、文字情報記憶手段、画像情報記憶手段、及び音声情報記憶手段に記憶したファイルをＣＧＩプログラムや、その他のプログラムにより、利用者のＷｅｂサイト上でのマウス等でのクリック等のコマンド（要求）に応じ、ＨＴＭＬファイル、ＸＭＬファイル、Ｆｌａｓｈ（商標）ムービーファイル等のファイルとして自動生成し、所望の言語翻訳結果を得るシステムを作成することができる。
第１８図は、上記処理の一例を示すフローチャートである。
以上により作成したデータはは、サーバーシステム等に記憶し、あるいはＣＤ−ＲＯＭ等の情報記憶媒体に記憶し、これをチェンジャに装填するなどして、インターネットや専用回線を通じて利用者が端末からアクセスして利用することができる。または、前記したようなＣＤ−ＲＯＭ等の情報記憶媒体を購入等によって手に入れ、利用者が端末で利用することができる。
次に、第１７図に戻り、本実施形態に処理の流れに戻り、説明する。
Ｓ３１２において、漫画のページの画像ファイルが表示されるが、これは例えば第４図のような画面であり、画面の左側に漫画を表示させている。この漫画の吹き出し文字情報フィールド、すなわち、台詞の日本語の部分をマウスでクリック等し（Ｓ３１３）、クリック等をした漫画の台詞の部分を右側の文字情報フィールド２０ａに表示させる。換言すれば、画面の左側に英訳させたい台詞の日本語の部分をマウスでクリック等することにより、利用者のアクションを利用者端末の制御手段が検知し（Ｓ３１４）、その情報としてコンピュータ・ネットワークを通じて送信され、後述するアプリケーションが起動する。
アプリケーションは、利用者のクリック等のコマンドによりファイル送信要求を受け取ると共に（Ｓ３１５）、ユーザーが選択（クリック等）した吹き出し文字情報を判定して（Ｓ３１６）、前記の各記憶手段１５，１６，１７を参照して、記憶されている情報の中から送信要求に該当する情報を検索、抽出し、これらの情報または情報へのハイパーリンク情報を含むＨＴＭＬファイル等を合成する。上記の場合でいえば、アプリケーション・サーバーに記憶されたアプリケーションが、与えられた条件、すなわち該当ページや該当コマ、該当台詞等の条件、あるいは和英訳の要求や、英語訳の音声の要求などの指示情報に従って、記憶ｓでゅ段１０にアクセスし、条件などに合致するデータを、例えばＨＴＭＬ形式のファイルに合成し、利用者の端末に送信する。
そして画面の右側に英訳した台詞を表示させる。
また、ハイパーリンク先の音声情報ファイルを再生するためのブラウザのプラグイン・ソフト等を介して英訳した文章がナレーションのように音声として再生される。
これらの処理は、例えば下記のようなアプリケーション・プログラムにより実現されるものである。
簡単なプログラムとしては、ＰｅｒｌやＣ言語などを使用したＣＧＩ（Ｃｏｍｍｏｎ Ｇａｔｅｗａｙ Ｉｎｔｅｒｆａｃｅ）プログラム等を利用することなどにより実現されるものである。ただし利用者の数やアクセス頻度、データベースの容量などが大きな規模になる場合などには、これに対応したシステムを構築することが望ましい。
今日では、ｈｔｍｌファイルの中味を生成するサーバー・ソフトも実現されている。こうしたソフトウェアは、データベース・サーバーへの照会機能をあらかじめ備えており、独自に拡張を加えたＨＴＭＬ形式のファイルにＳＱＬを用いたデータベースの照会内容を埋め込んでおけば、サーバーがそのページを送り返す際に、ＨＴＭＬファイルの中味を、照会を行った結果の内容に置き換える。データベースの照会内容と表示されるページの体裁とを一つのファイルに記述できるため、ＣＧＩプログラムによる場合よりもサービスの開発は楽になる。
またサーバ上で動作するスクリプト環境を用いることができる。Ｍｉｃｒｏｓｏｆｔ社のＡＳＰ（Ａｃｔｉｖｅ Ｓｅｒｖｅｒ Ｐａｇｅ）はサーバ側でスクリプト（ＶＢＳｃｒｉｐｔやＪＳｃｒｉｐｔなどで記述）とＡｃｔｉｖｅ Ｘコントロール（Ｊａｖａアプレットを含む）を実行するためのプラットフォームである。
以上、詳細に説明したが、本発明は、前記の実施例の形態に限定されるものではなく、請求の範囲に記載された発明の範囲内で、種々の変更が可能であることは言うまでもない。
さらに、本明細書において手段とは、必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も含む。
さらに、一つの手段あるいはステップの機能が、二つ以上の物理的手段により実現されてもよく、二つ以上の手段あるいはステップの機能が、一つの物理的手段により実現されてもよい。
また、本発明の他の実施形態としては、請求の範囲１５に記載の発明のように、前記システムにはさらに、利用者の端末からログインするための認証手段と、利用者のアクセス数、翻訳システムの利用数、その他の情報や、利用者に関する情報などを記憶することが可能な利用情報記憶手段と、前記利用情報記憶手段に記憶された情報を参照して利用料金を算出する利用料金算出手段とが備えられ、前記のアクセス数などの各種利用情報に応じて、利用料金を計算し課金管理することが可能なシステムがあげられる。
ここで、利用者に関する情報とは、利用者が電子メールアドレス等を入力する方法であってもよく、また本発明のシステムが自動的に取得するものであってもよい。
あるいはあらかじめ利用者の情報はＷｅｂサイトでの会員登録などで取得しておいて、ＩＤとパスワードの入力などにより、本発明のシステムが認証を行う形態をとることができる。
利用者のアクセス数等の利用情報は、個々の利用者ごとに記憶される。また、利用料金の単価は、アクセス、翻訳の実行、音声の取得、あるいは利用時間単位や利用情報量単位ごと等に設定することができる。これらを掛け合わせて利用料金算出手段が、利用者ごとの利用料金を算出し、記憶させる。
また、本発明の他の実施形態としては、請求の範囲１６に記載の発明のように、前記システムにはさらに、翻訳前の言語の文字情報及び画像情報の著作権等の権利者に関する情報を記憶する権利者情報記憶手段と、権利者に対し支払われるライセンス・フィー算出手段とが備えられ、権利者に還元するためのフィーを前記利用料金算出手段により算出された利用料金等に応じて算出し、管理することが可能なシステムがあげられる。
この場合には、著作権等の権利者に還元される料金の単価は、アクセス、翻訳の実行、音声の取得、あるいは利用時間単位や利用情報量単位ごと等に設定することができる。これらと、著作物ごと等の利用情報とを掛け合わせて、ライセンス・フィー算出手段が、個々の著作権等の権利者ごとのライセンス・フィーを算出し、記憶させる。
（第四の実施形態）
次に、本発明の第四の実施形態である情報記憶媒体について説明する。
本実施形態の、コンピュータ読み取り可能な情報記憶媒体は、これまでに説明をしたシステムにより構築されたデータを記憶可能なものであれば良く、例えばＣＤ−ＲＯＭが好ましく挙げられる。その他、ＤＶＤやＦＤ（フロッピーディスク）、ＭＯ、ハードディスク、その他のあらゆる記憶媒体が含まれる。また、近年目覚しく発展を遂げている、携帯電話や携帯情報端末、電子ブックプレーヤー、音声再生プレーヤーなどの携帯情報端末に装填可能であると共に、パーソナルコンピュータなどのコンピュータ装置に装填可能な小型の情報記憶媒体（各種メモリ等）が含まれる。
情報記憶媒体には、画像情報を記憶する画像情報記憶手段と、音声情報を記憶する音声情報記憶手段と、文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられる。
前記の記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイル等に挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置されている。
また、前記の利用者端末に表示される画像ファイルには、文字情報を表示するための、一又は複数の文字情報表示フィールドが配置されている。
次に、前記の画像情報に配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報、又は吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字を含む画像情報、又は吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であることを特徴とする。
これらの構成については、これまでに詳細に説明した様々な各実施形態と共通するため省略する。
また、請求の範囲２０に記載したように、コンピュータネットワークを介してダウンロードする場合や、試用版のユーザー登録をする場合などにおいて、課金処理、又はユーザー登録処理をした際に、認証許可情報が前記の認証情報記憶手段に記憶され、再生可能になるようにすれば、正規にダウンロード処理した利用者のみが利用できるようにしたり、雑誌の付録等のＣＤ−ＲＯＭなどで試用版を配布し、正式版を得るにはオンラインでユーザー登録をして認証許可情報を取得するような形態をとることができる。
次に、請求の範囲１９に記載の発明においては、前記の情報記憶媒体は、携帯電話や携帯情報端末、電子ブックプレーヤー、音声再生プレーヤーなどの携帯情報端末である利用者端末１に装填可能であると共に、パーソナルコンピュータなどのコンピュータ装置に装填可能な小型の情報記憶媒体を採用する。
前記の情報記憶媒体が備える画像情報記憶手段、音声情報記憶手段、文字情報記憶手段に記憶される画像情報、又は音声情報、又は文字情報の内には、携帯情報端末において出力又は再生が可能なファイルが含まれている。
又は携帯情報端末において出力又は再生が可能な携帯情報端末用ファイルがコンピュータ装置用ファイルとは別に記憶されている。
第１９図に、本実施形態の情報記憶媒体を用いた基本的な処理の一例を示す。
初めに、携帯情報端末などの利用者端末１に、情報記憶媒体を装填する（Ｓ４００）。情報処理手段が起動する（Ｓ４０１）。
利用者端末がパーソナルコンピュータなどのコンピュータ装置である場合には、画像、音声、文字のすべてのデータ形式が表示できるので、これまでに説明した実施形態と同様の処理を行う。すなわち例えば図７のＳ１０４へ進む。
携帯情報端末である場合には、携帯電話や携帯情報端末、電子ブックプレーヤー、音声再生プレーヤーなどの様々な端末があるので、いずれのデータファイルが表示・再生可能かを判定する処理に進むが、判定は自動的に行われるものであってもよく、利用者がメニュー表示の操作などにより行うことであってもよい。
画像ファイル（ページ）の表示が可能か否かを判定し（Ｓ４０３）、可能である場合には画像ファイルの表示を行う（Ｓ４０４）。画像ファイルはコンピュータ装置用のファイルであってもよく、携帯情報端末用の画像ファイルであってもよい。
画像ファイルの表示ができない場合には（Ｓ４０３）、文字情報表示が可能か否かを判定し（Ｓ４０５）、可能であれば吹き出しに配置される文字情報などを表示する（Ｓ４０６）。
文字情報も表示できない場合には、音声情報を出力する（Ｓ４０７）。音声情報の再生は、自動的に行われるものであってもよく、利用者が操作により、吹き出し文字情報に相当する一つ一つの音声情報を再生させつつ、進行したり、戻ったりすることでもよい。
次に、画像ファイル又は文字情報が表示された場合には（Ｓ４０４、Ｓ４０６）、画像ファイル中の吹き出し文字情報フィールドを選択し（Ｓ４０８）、又は文字情報を選択して（Ｓ４０９）、ユーザーの動作を制御手段が検知する（Ｓ４１０、Ｓ４１１）。検知された情報は情報処理手段が受領し（Ｓ４１２）、どの吹き出し文字情報又は文字情報が選択されたかを判定して（Ｓ４１３）、該当する音声情報を抽出して（Ｓ４１５）、出力する（Ｓ４１７）。また該当する文字情報を抽出して（Ｓ４１６）、表示する（Ｓ４１８）。
産業上の利用性
以上述べたように、本発明によれば、コンテンツの再生などに際して、特に漫画などに用いられる吹き出しの図形に着目し、吹き出しに文字情報や音声情報への関連付けを設定しておくことにより、利用者がコンピュータ端末や、端末からインターネット等に接続して、画像、文字、音声などを合成して様々な再生・出力・表示を行えるシステムを提供することができる。
特に、画像や文字と、それに対応する翻訳後の文字や音声とを組み合わせることにより、翻訳をインタラクティブに行い、学べるシステムを提供できる。オンライン上で画像情報及び文字情報を閲覧する利用者の選択等に応じ、翻訳後の言語の文字情報や音声情報等を出力できることを特徴とする、翻訳のための情報処理システムを提供することができる。漫画等の画像及び文字情報を有するコンテンツを言語翻訳や教育システムに用いることにより、新しい英会話等の教材を提供するばかりでなく、漫画等のキャラクターが発する音声により、目や耳で楽しみながら、利用者の意思により双方向性、エンターテイメント性に富んだ形態で会話等を学ぶことができる。
また、本発明によれば、本発明のシステムにおいて、漫画などの著作物を利用する場合に、著作権者等の承諾が得られ、権利者にも利益が還元されるようなシステムを提供すること、そしてさらに、漫画等の二次利用が可能であり、本システムのコンテンツを充実させ提供することができる。
また、本発明によれば、上記システムを実現するためのデータ及びプログラムを記憶した情報記憶媒体を提供し、特にコンピュータ装置と携帯情報端末との双方で利用可能な情報記憶媒体を提供することができる。
【図面の簡単な説明】
第１図は、本発明の第一の実施形態を示すシステム構成図である。
第２図は、記憶手段の構成を示す図である。
第３図は、本発明のシステムを用いて表示される画像ファイルの一例を示す。
第４図は、本発明のシステムを用いて表示される画像ファイルの一例を示す。
第５図は、本発明のシステムを用いて表示される画像ファイルの一例を示す。
第６図は、画像情報記憶手段１５に記憶される、漫画などのコンテンツの、各ページである画像ファイルと、各画像ファイルに配置される吹き出し文字情報フィールドとの関係の一例を示すデータ模式図である。
第７図は、本発明の第一の実施形態の基本的な処理の流れを示すフローチャートである。
第８図は、記憶手段の記憶領域の実施形態を示す図である。
第９図は、翻訳前言語（ここでは日本語）に対応する複数の翻訳語言語（ここでは英語、フランス語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域を示す図である。
第１０図は、翻訳前言語（ここでは日本語）に対応する複数の翻訳語言語（ここでは英語、フランス語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０に記憶されるデータ模式図を示している。
第１１図は、複数の翻訳前言語があって、翻訳前言語１（例えば日本語）及び翻訳前言語２（例えば英語）に対応する複数の翻訳語言語（例えば英語、日本語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域を示す図である。
第１２図は、吹き出し文字情報フィールドに表示される複数の翻訳前言語（ここでは日本語及び英語）に対応する複数の翻訳語言語（ここでは英語及び日本語）からなる音声情報、複数の翻訳語言語からなる文字情報が記憶される記憶手段１０の記憶領域に記憶されるデータ模式図である。
第１３図は、翻訳前言語を英語とする漫画を、翻訳後言語である日本語に翻訳して、選択された吹き出し文字情報フィールドの音声及び文字を自動再生・表示する例を示す図である。
第１４図は、第二の実施形態における基本的な処理の流れの一例を示すフローチャートである。
第１５図は、第二の実施形態の基本的なシステム構成図である。
第１６図は、第二の実施形態の基本的な処理の流れを示すフローチャートである。
第１７図は、第二の実施形態の基本的な処理の流れを示すフローチャートである。
第１８図は、画像情報記憶手段、音声情報記憶手段、文字情報記憶手段にデータを記憶する処理の一例を示すフローチャートである。
第１９図は、コンピュータ装置や携帯情報端末で使用可能な情報記憶媒体を用いた処理の一例を示すフローチャートである。
第２０図は、本明細書において「吹き出し状図形」として示される各種の形態の代表的な一例を示す図である。Technical field
The present invention relates to an information processing system using a balloon-shaped figure using a terminal such as a computer, and more particularly, to a system for performing information processing using voice information, character information, and the like associated with a balloon-shaped figure such as a manga. About. In addition, using language-translated voice information and character information, a user can use a network such as the Internet or an electronic medium such as a CD-ROM and use a foreign language such as English including image information and character information such as comics. And a computer-readable information storage medium.
Background art
2. Description of the Related Art Conventionally, a technology for guiding an operation method by voice in a computer device has been developed.
As a technique related to such a field, for example, in Japanese Patent Application Laid-Open No. 8-82531 “Guidance device using sound information”, sound information used offline as guidance for selecting an operation menu of a word processor or a personal computer is used. Discloses a user interface device.
The voice guidance device according to the present invention includes an input unit for controlling a cursor and a pointer, a position detection unit for detecting a position of the cursor and the pointer on a screen, and a musical tone corresponding to the position detected by the position detection unit. And voice control information storage means such as voices and voices, voice generation means for generating the musical sounds and voices, and voice output means such as speakers.
However, the present technology is not used by connecting to a network such as the Internet, and is provided together with software and the like installed in advance in the device, and has a function more than a voice guide for the operation thereof. is not.
As a technology using a network such as the Internet, a technology in which a sound is played when a banner advertisement is clicked has been developed.
This means that when a banner advertisement image is clicked, a sound is played by "RealAudio" (trademark). The sound data is hyperlinked to an audio file stored in an audio server such as "RealNetworks" (trademark). That is, when the click is performed, the audio file at the hyperlink destination is reproduced.
However, according to this technology, the advertisement system is the first to output sound by clicking, and in most cases, clicking on a displayed banner ad causes a jump to an advertiser's website or the like. Since the user is familiar with the advertisement, there is a disadvantage that the voice message is not transmitted to the user who is not interested in the advertisement and bypasses the advertisement.
Conventionally, for example, in a language translation system using the Internet, a user such as a student inputs data from a computer to a form of a Web page and transmits the data to a server system, and the server side transmits the received data to a CGI program. It is common to read and write and process text files, and return and display character data such as text to a predetermined Web page.
For example, in Japanese Patent Application Laid-Open No. H11-282848, "CD-ROM Internet" King of Translation "(registered trademark)", when a relatively difficult sentence is encountered in a foreign language original sentence on an Internet homepage, a mouse is placed at that position A technique has been disclosed in which the correct pronunciation of the original sentence is reproduced at the same time as the pointer is dragged and inverted, and the function of displaying the translated sentence at the same place when the dragged click button is released is improved.
However, in the system described above, a uniform translation process is performed using a single CGI program or the like, and interactive (two-way) correspondence corresponding to the proficiency level of each student is required. In addition, there is a problem that it is not possible to perform a process having an entertainment property or a complicated process using a multimedia file such as an image.
Further, Japanese Patent Application Laid-Open No. 9-325573 "Translation correction assisting device" discloses the following technology. According to this, a model answer is decomposed into a plurality of templates having a word / phrase structure using expert knowledge. For each template, a message for the answer that the learner will translate is prepared in advance using the knowledge of the expert. Then, these are read, and then the answer is read. It then checks whether the learner has taken the basic usage correctly, then classifies the part of speech for each word in the answer, and finally parses the answer. After that, the answer sentence is evaluated for each template, and a message having contents corresponding to the evaluation is presented to the learner. Since the answer sentence is evaluated for each template, it is possible to obtain the same correction result as that performed by an expert manually.
However, even with this technology, individual students can automatically make interactive (two-way) responses without relying on human power while making selections on the screen according to their own proficiency, etc. It is not possible to perform certain processes or complex processes using multimedia files such as images.
On the other hand, comics such as comics that use image information and character information, for example, are rarely used for secondary use except for commercialization of character dolls and the like of the comics.
It would be desirable if these problems could be solved online using these.
In addition, in the case of using such manga or other literary works, if the system is such that the consent of the copyright holder or the like is obtained and the profit is returned to the right holder, the contents of the system will be enriched.
Japanese Patent Application Laid-Open No. Hei 7-93368, "Comic Publication", discloses a technique relating to the contents obtained by converting comics into electronic contents.
In this method, image data obtained by scanning a comic original image and sound data consisting of speech and mimic sounds in the balloon part are recorded on an optical compact disc in a format that can be played back simultaneously, and it corresponds to the page number and frame order in the magazine. Codes organized in accordance with numerical values and contents are placed at the head of each data, and are used as headings during retrieval and reproduction. Use a playback device equipped with manual playback in normal and reverse order, pause and restart of audio by pausing, switching between manual playback for each page and continuous automatic playback, and record the interruption point when playback is interrupted Means for designating a reproduction start position at the beginning of reproduction, at the beginning, at a position where reproduction was interrupted, a page number, a heading, or the like.
However, the above technology relates to the technology of playing back or stopping the content obtained by digitization, and plays back the speech of the speech bubble selected by the user, and automatically executes other speech in the same manner as the speech. It does not have the technical features to display information.
If such a thing can be realized, various effects can be provided by synthesizing images, characters, sounds, and the like when reproducing the content.
In particular, it is possible to provide a system for performing translation interactively and learning by combining images and characters with the corresponding translated characters and sounds.
The present invention has been made in view of the above-described problems, and focuses on a figure of a speech balloon used particularly in comics and the like when playing back content, and by setting an association with character information and voice information in the speech balloon, It is an object of the present invention to provide a system in which a user can connect to a computer terminal or the Internet from a terminal, synthesize images, characters, sounds, and the like and perform various reproduction, output, and display.
In particular, it is possible to provide a system for performing translation interactively and learning by combining images and characters with the corresponding translated characters and sounds. It is an object of the present invention to provide an online foreign language translation system, which is capable of outputting text information and voice information in a translated language according to a user's selection of image information and text information online, and the like. I do.
Another object of the present invention is to provide a system in which, when using a literary work such as a manga, the consent of a copyright holder or the like is obtained in the system of the present invention and the profit is returned to the right holder. And to enhance and provide the content of this system.
Another object of the present invention is to provide an information storage medium storing data and a program for realizing the above-mentioned system, and in particular, to provide an information storage medium usable in both a computer device and a portable information terminal. The purpose is also.
Disclosure of the invention
In the invention described in claim 1, in order to solve the above problem, a user terminal such as a computer or a portable information terminal having an input unit, a control unit, a display unit, an output unit, a storage unit, etc. A system in which information processing is performed by an operation,
The storage means included in the user terminal, or the storage means connected to the user terminal via a computer network,
Image information storage means for storing image information;
Voice information storage means for storing voice information;
At least information processing means for displaying character information and voice information on the user terminal,
If necessary, a character information storage means for storing character information is provided, and an image file, an image file, and a plurality of image files inserted in an HTML file, an XML file, or the like stored in the image information storage means. In an image file displayed on the user terminal such as a file such as a slide show including one or more, one or a plurality of balloons surrounded by a linear figure having an arbitrary shape and thickness at an arbitrary position in the image. In the image file in which a figure is arranged and displayed on the user terminal, one or a plurality of character information display fields for displaying character information as necessary are arranged, and are arranged in the image file. The balloon-shaped figure includes a balloon for displaying image information including a balloon character at a predetermined coordinate in the image information represented by the balloon-shaped figure. An output character information field is arranged, and the image information including the balloon character is associated with a predetermined audio information file stored in the audio information storage unit and stored in the character information storage unit. It is possible to set in advance the association with the predetermined character information file,
In accordance with the user's actions such as placing a cursor in a balloon character information field displayed in a balloon character information field arranged in the displayed balloon-shaped figure, or placing and clicking the cursor, the storage means A process in which the provided information processing means detects the operation of the user,
The voice information indicating the location in the link information added to the balloon-shaped character information field arranged in the balloon-shaped figure is transmitted to a user terminal, and is output by a voice reproducing unit included in the user terminal. And perform playback,
If the association with the predetermined character information file has been set in advance, the character information display field includes the character information whose location is indicated by the link information added to the balloon character information field. And transmitting the data to a terminal and displaying the data on a display unit of the user terminal.
In the invention described in claim 2, in order to solve the above problem, a user terminal such as a computer or a portable information terminal having an input unit, a control unit, a display unit, an output unit, a storage unit, etc. A system in which information processing is performed by an operation,
The storage means included in the user terminal, or the storage means connected to the user terminal via a computer network,
Image information storage means for storing image information;
Voice information storage means for storing voice information associated with the character information;
At least information processing means for displaying character information and voice information on the user terminal,
If necessary, a character information storage means for storing character information is provided, and an image file, an image file, and a plurality of image files inserted in an HTML file, an XML file, or the like stored in the image information storage means. In an image file displayed on the user terminal such as a file such as a slide show including one or more, one or a plurality of balloons surrounded by a linear figure having an arbitrary shape and thickness at an arbitrary position in the image. In the image file in which a figure is arranged and displayed on the user terminal, one or a plurality of character information display fields for displaying character information as necessary are arranged, and are arranged in the image file. The balloon-shaped graphic includes a balloon character for displaying balloon character information on predetermined coordinates in image information indicated by the balloon-shaped graphic. Information field is arranged, and the balloon character information is associated with a predetermined voice information file stored in the voice information storage means, and the predetermined character information stored in the character information storage means. It is possible to set the association to the file in advance,
In accordance with the user's actions such as placing a cursor in a balloon character information field displayed in a balloon character information field arranged in the displayed balloon-shaped figure, or placing and clicking the cursor, the storage means A process in which the provided information processing means detects the operation of the user,
A process of outputting the voice information indicating the location of the link information added to the balloon-shaped character information field arranged in the balloon-shaped graphic by a voice playback unit provided in the user terminal, and performing playback. ,
If the association with the predetermined character information file has been set in advance, the character information display field includes the character information whose location is indicated by the link information added to the balloon character information field. The present invention is characterized in that it is an information processing system using a balloon-shaped figure, wherein the processing is performed by a display means provided in the terminal.
In the invention described in claim 3, in order to solve the above-mentioned problem, in the invention described in claim 1 or 2,
One or more character information display fields for displaying character information, which are arranged in the image file displayed on the user terminal, display image information using data including character information as an image information file. Field for
If the association with the predetermined character information file has been set in advance, the character information display field includes the character information indicating the location in the link information added to the balloon character information field. And a process of displaying information by a display unit provided in the user terminal. The information processing system uses a balloon-shaped figure.
In the invention described in claim 4, in order to solve the above problem, a user terminal such as a computer or a portable information terminal having an input unit, a control unit, a display unit, an output unit, a storage unit, etc. A system in which information processing is performed by an operation,
The storage means included in the user terminal, or the storage means connected to the user terminal via a computer network,
Image information storage means for storing image information;
Voice information storage means for storing voice information;
At least information processing means for displaying character information and voice information on the user terminal,
If necessary, a character information storage means for storing character information is provided, and an image file, an image file, and a plurality of image files inserted in an HTML file, an XML file, or the like stored in the image information storage means. Image files displayed on the user terminal, such as files such as slideshows, include text information in any location in the image, having any shape, size, etc., or image information using text information as image data. One or more character information display fields for arranging are arranged,
The character information display field is associated with a predetermined voice information file stored in the voice information storage means, and is associated with a predetermined character information file stored in the character information storage means. It is possible to set the association in advance,
The voice information stored in the voice information storage means is post-translation language voice information corresponding to the pre-translation language character information included in the character information field,
The character information stored in the character information storage means is post-translation language character information corresponding to the pre-translation language character information included in the character information field,
The information processing means provided in the storage means detects the operation of the user according to the user's action such as placing the cursor in the character information field, placing the cursor and clicking, etc. indicated in the language before translation. Processing,
A process of transmitting voice information, which is the translated language, indicating the location in the link information added to the character information field to the user terminal, outputting the voice information by voice reproduction means provided in the user terminal, and performing reproduction. When,
When the association with the predetermined character information file has been set in advance, the character information that is the translated language described above, which indicates the location in the link information added to the character information display field, is transmitted to the user terminal. Transmitting and displaying the information on display means provided in the user terminal.
In the invention described in claim 5, in order to solve the above-mentioned problems, in the invention described in claims 1 to 4,
The voice information stored in the voice information storage means is post-translation language voice information corresponding to the pre-translation language character information included in the balloon character information field, and is stored in the character information storage means. The character information is post-translation language character information corresponding to the pre-translation language character information included in the balloon character information field, and is a balloon character indicated by the pre-translation language arranged in the displayed balloon-shaped figure. According to the user's action such as placing a cursor on the balloon character information displayed in the information field, placing the cursor and clicking, the information processing means provided in the storage means detects the operation of the user. Processing,
The location of the link information added to the balloon-shaped character information field arranged in the balloon-shaped figure is indicated, and the audio information that is the translated language is transmitted to the user terminal. A process of outputting and reproducing by an audio reproducing means provided;
If the association with the predetermined character information file has been set in advance, the character information display field indicates the location in the link information added to the balloon character information field, 5. A language using a balloon-like graphic according to any one of claims 1 to 4, wherein a process of transmitting certain character information to a user terminal and displaying the character information on a display means of the user terminal is performed. It is a translation information processing system.
In the invention described in claim 6, in order to solve the above problem, in the invention described in claim 4 or 5,
The post-translation speech information stored in the speech information storage means includes post-translation language speech information composed of a plurality of post-translation languages corresponding to the pre-translation language character information included in the balloon character information field. And
The post-translation character information stored in the voice information storage unit includes post-translation language character information including a plurality of post-translation languages corresponding to the pre-translation language character information included in the balloon character information field. And
A process in which the user selects which of a plurality of translated languages to translate the pre-translation language character information;
According to the user's actions such as placing the cursor on the balloon character information displayed in the balloon character information field, which is indicated in the pre-translation language arranged in the displayed balloon-shaped figure, or placing the cursor and clicking. A process in which an information processing unit provided in the storage unit detects an operation of the user;
Transmitting the voice information, which is the selected translated language, to the user terminal, where the location is indicated in the link information added to the balloon-shaped character information field arranged in the balloon-shaped graphic, A process of outputting and reproducing by an audio reproducing means included in the user terminal,
If the association with the predetermined character information file has been set in advance, the selected translation is displayed in the character information display field, where the link information added to the balloon character information field indicates the location. 6. A process for transmitting character information as a post-language to a user terminal and displaying the character information on a display means included in the user terminal. It is a language translation information processing system used.
In the invention described in claim 7, in order to solve the above problem, in the invention described in claims 4 to 6,
In the balloon character information displayed in the balloon character information field, which is indicated by the pre-translation language arranged in the displayed balloon-shaped figure, balloon character information including a plurality of pre-translation languages is prepared in advance. An image file including a graphic is stored in the image information storage means,
A process in which a user selects from which of a plurality of pre-translation languages the pre-translation language character information is translated,
A process of displaying an image file including a balloon character information field composed of the selected pre-translation language;
For the user's actions such as placing the cursor on the balloon character information displayed in the balloon character information field, which is displayed in the language before translation, placed in the displayed balloon-shaped figure, or placing the cursor and clicking Accordingly, a process in which the information processing means provided in the storage means detects the operation of the user,
The location of the link information added to the balloon-shaped character information field arranged in the balloon-shaped figure is indicated, and the audio information that is the translated language is transmitted to the user terminal. A process of outputting and reproducing by an audio reproducing means provided;
If the association with the predetermined character information file has been set in advance, the character information display field indicates the location in the link information added to the balloon character information field, 7. A language using a balloon-shaped graphic according to any one of claims 4 to 6, wherein a process of transmitting certain character information to a user terminal and displaying the character information on a display means of the user terminal is performed. It is a translation information processing system.
In the invention described in claim 8, in order to solve the above problems, in the invention described in claims 1 to 7,
Image files displayed on the user terminal such as image files inserted in HTML files or XML files stored in the image information storage means, image files, files such as slide shows including a plurality of image files, A data file such as a plurality of image files inserted into a plurality of HTML files or XML files, a plurality of image files including a plurality of pages, or a slide show including a plurality of image files constituting a plurality of pages,
On the user terminal, a desired page among a plurality of pages can be selected and displayed,
The processing according to claim 1, wherein the speech information associated with the selected balloon-shaped figure on the selected page is reproduced using the balloon-shaped figure and character information is output. An information processing system using any of the balloon-shaped figures described above.
In the invention according to claim 9, in order to solve the above-mentioned problem, in the invention according to claim 8, the data file stored in the storage means is content data having a story, such as a manga. At the user terminal, a desired page among a plurality of pages can be selected and displayed,
9. The processing according to claim 8, wherein a process of reproducing voice information associated with the selected balloon-shaped figure of the selected page using the balloon-shaped figure and outputting character information is possible. It is a content reproduction information processing system using a balloon-shaped figure.
According to a tenth aspect of the present invention, in order to solve the above-mentioned problem, in the nineteenth aspect of the present invention, the storage means stores a plurality of story data such as comics. 10. A content reproduction information processing system using a balloon-like graphic according to claim 9, wherein a user can select and display / reproduce from a plurality of content data. It is characterized by:
In the invention according to claim 11, in order to solve the above problems, in the invention according to claims 1 to 10,
The speech information whose location is indicated in the link information added to the speech character information field arranged in the speech graphic includes a plurality of speech information having different speech reproduction speeds. Stored in the storage means,
11. An information processing system using a balloon-shaped graphic according to any one of claims 1 to 10, wherein a voice reproduction speed can be selected by setting in advance by a user. I have.
In the invention according to claim 12, in order to solve the above problems, in the invention according to claims 1 to 11,
By setting in advance by the user, whether to automatically play audio information and text information, whether to automatically turn pages, select the number of times of audio playback, whether to display text information, 12. An information processing system using a balloon-shaped graphic according to any one of claims 1 to 11, wherein a reproduction control method such as setting of a data reproduction order can be selected. .
In the invention described in claim 13, in order to solve the above problem, in the invention described in claim 6 or 7 or 11 or 12,
The selection of the language before translation, the selection of the language after translation, the selection of the audio playback speed, or the selection of the playback control method is performed by using tag information such as XML and storing the settings selected by the user as a setting file in the storage unit. The storage according to any one of claims 6 to 7, or 11 or 12, wherein the storage is performed automatically in accordance with an audio playback speed or a playback control method selected with reference to a setting file during playback. It is an information processing system using a balloon-shaped figure.
In the invention described in claim 14, in order to solve the above problems, in the invention described in claims 1 to 13,
The storage means is a server system including a web server, an application server, a database server, and the like connected from a user terminal via a computer network,
Image information storage means for storing image information;
Voice information storage means for storing voice information associated with the character information;
Information processing means for transmitting character information and voice information to the user terminal and displaying the information,
If necessary, a character information storage unit for storing character information is provided, and in accordance with a request from the accessed user terminal, a process of transmitting a data file including a balloon-shaped figure to the user terminal and displaying the data file,
In accordance with the user's actions such as placing a cursor in a balloon character information field displayed in a balloon character information field arranged in the displayed balloon-shaped figure, or placing and clicking the cursor, the storage means A process in which the provided information processing means detects the operation of the user,
The voice information indicating the location in the link information added to the balloon-shaped character information field arranged in the balloon-shaped figure is transmitted to a user terminal, and is output by a voice reproducing unit included in the user terminal. And perform playback,
If the association with the predetermined character information file has been set in advance, the character information display field includes the character information whose location is indicated by the link information added to the balloon character information field. 14. An online information processing system using a balloon-like graphic according to any one of claims 1 to 13, wherein the online information processing system transmits the data to a terminal and displays the data on a display unit of the user terminal. It is characterized by.
In the invention according to claim 15, in order to solve the above problem, in the invention according to claim 14, the system further includes:
Authentication means for authenticating a user who accesses the server system from a user terminal via a computer network;
Usage information storage means capable of storing the number of accesses, the usage time, the number of content data used, the number of downloads, other information, and information about the user,
Usage fee calculation means for calculating a usage fee by referring to the usage information stored in the usage information storage means,
15. An online information processing system using a balloon-shaped figure according to claim 14, wherein a usage fee can be calculated and charge management can be performed according to the various types of usage information. I have.
In the invention according to claim 16, in order to solve the above problem, in the invention according to claim 14, the system further includes:
Right holder information storage means for storing information about the right holder such as the copyright of the character information and image information of the language before translation;
Means for calculating the license fee paid to the right holder,
15. The online information using a balloon-shaped figure according to claim 14, wherein a fee for returning to the right holder is calculated and managed according to the usage fee calculated by said usage fee calculation means. It is a processing system.
In the invention described in claim 17, in order to solve the above problems, in the invention described in claims 1 to 16,
The storage unit including the image information storage unit, the voice information storage unit, the information processing unit, and the character information storage unit includes:
Data capturing means for capturing, as image information, data such as printed matter having image information and balloon character information,
A first data processing unit that sets a balloon character information field in the captured image information and stores the data-processed image information in the image information storage unit,
Second data stored in the character information storage means and the voice information storage means by inputting character information and voice information associated with the character information included in the balloon character information field, converting the language into a translated language as necessary, Processing means;
The information processing system according to any one of claims 1 to 16, wherein the information processing system uses a balloon-shaped figure.
In the invention described in claim 18, in order to solve the above-mentioned problem,
Image information storage means for storing image information;
Voice information storage means for storing voice information;
At least information processing means for displaying character information and voice information on the user terminal,
If necessary, a character information storage unit for storing character information is provided, including an image file, an image file, and a plurality of image files inserted in an HTML file, an XML file, or the like stored in the storage unit. An image file displayed on a user terminal such as a file such as a slide show includes one or a plurality of balloon-shaped figures surrounded by a linear figure having an arbitrary shape and thickness at an arbitrary position in the image. Is placed,
In the image file displayed on the user terminal, one or a plurality of character information display fields for displaying character information as necessary are arranged, and the balloon-shaped figure arranged in the image information is provided. The image information including a balloon character at predetermined coordinates in the image information represented by the balloon-shaped figure, or a balloon character information field for displaying the balloon character information is arranged, the image information including the balloon character Or, the balloon character information is associated with a predetermined voice information file stored in the voice information storage unit, and is associated with a predetermined character information file stored in the character information storage unit. Is a computer-readable information storage medium characterized in that it is possible to set in advance That.
In the invention described in claim 19, in order to solve the above-mentioned problem, in the invention described in claim 18,
The information storage medium is a small-sized information storage medium that can be loaded in a portable information terminal such as a mobile phone, a portable information terminal, an electronic book player, and a sound reproduction player, and that can be loaded in a computer device such as a personal computer. hand,
Image information, audio information, or character information stored in the image information storage unit, audio information storage unit, or character information storage unit included in the information storage medium can be output or reproduced by a portable information terminal. 19. The computer-readable medium according to claim 18, wherein a file for a form information terminal that includes a file or that can be output or reproduced on a portable information terminal is stored separately from a file for a computer device. It is characterized by being a possible information storage medium.
In the invention described in claim 20, in order to solve the above problem, in the invention described in claim 18 or 19,
The information storage medium further includes an authentication information storage unit for storing authentication information of the user,
In the case of downloading via a computer network or in the case of registering a trial version of a user, when performing a billing process or a user registration process, the authentication permission information is stored in the authentication information storage means and can be reproduced. A computer-readable information storage medium according to any one of claims 18 and 19, characterized in that:
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a system configuration diagram showing a basic configuration in a first embodiment of a system according to the present invention.
In the first embodiment, an information processing system using a balloon-shaped graphic according to the present invention can be used in a user terminal such as a computer or a portable information terminal including an input unit, a control unit, a display unit, an output unit, and a storage unit. Is a system in which information processing is performed by a user's operation.
In FIG. 1, reference numeral 1 denotes a user terminal. The user terminal 1 includes a computer terminal such as a personal computer, a wireless communication terminal such as a mobile phone or a PHS, a portable information terminal incorporating these functions, and various other computer terminals. Further, for example, a so-called information home appliance such as an Internet TV may be used.
Next, reference numerals 10a and 10b denote storage means provided in the user terminal. The storage unit 10a includes an external storage device such as a CPU, a memory, and a hard disk.
In the first embodiment, the storage means includes a storage means provided in the user terminal or a storage means connected to and provided to the user terminal via a computer network. And a storage device connected to the user terminal via the Internet. Here, the computer network widely includes a form of a network connected by a dedicated line, a corporate LAN, a corporate LAN, a WAN, etc., including the Internet. Further, the form of the communication line used here broadly includes a form of wired communication and wireless communication, and includes a form using satellite communication, Bluetooth and the like.
The storage unit 10b is a storage unit such as a CD-ROM drive, a DVD drive, or an information storage medium that is read via another input unit. The storage unit 10b includes, for example, CD-ROM, DVD, FD (floppy disk), MO, SmartMedia (trademark), Memory Stick (trademark), electronic book, and any other information storage medium. The storage means included in the user terminal for realizing the system of the present invention includes these storage means 10b.
The storage unit 10a usually stores an operating system (OS), various application programs, various data files, and the like, but is stored in a storage medium 10b such as a CD-ROM or a DVD. It is also possible to adopt a mode in which a program or the like, which is image information, character information, and information processing means to be described later, is stored in the storage means 10a and realized.
Next, reference numeral 11 denotes input means such as a keyboard and a mouse, and 12 denotes control for performing data control, data transmission / reception, hardware control, software control, and the like using a CPU, a bus, and other OSs and application programs. Means are shown. Reference numeral 14 denotes an output unit for transmitting and receiving data via a network and outputting data such as voice.
Next, the storage means 10a or 10b (hereinafter simply referred to as "storage means 10" as necessary) will be described with reference to FIG.
The storage means 10 includes at least image information storage means for storing image information, voice information storage means for storing voice information, and information processing means for displaying character information and voice information on the user terminal. .
In addition, if necessary, a character information storage unit for storing character information is provided, and if provided, voice information and character information can be automatically linked to be displayed and output. Is preferred.
In FIG. 2, reference numeral 15 denotes image information storage means, 16 denotes audio information storage means, 17 denotes character information storage means, and 18 denotes information processing means.
The image information storage means 15, the voice information storage means 16, and the character information storage means 17 are storage areas provided in a storage means having a hierarchical structure such as a folder in the storage means, and storage having a database structure such as a relational database. It may be an area.
The image information storage means 15 stores image files displayed on the user terminal, such as image files inserted into HTML files or XML files, image files, and files such as slide shows including a plurality of image files. Have been.
An example of an image file is shown in FIGS.
FIG. 3 shows an image file storing a menu screen to be displayed on display means provided in the user terminal 1 in order to select and display / reproduce a plurality of content data files. Indicates an image file including a balloon-shaped figure described later.
Here, the image file can include an image file of various data formats such as JPEG, GIF, PNG, TIFF, BMP, and PICT, and an image file of a unique format.
The menu screen, the reproduction screen for arranging the content data file, and the like are displayed on the user terminal in a format such as an HTML file or an XML file, or a file such as a slide show including a plurality of image files. The file may be stored in a file format using a unique reproduction program, and may be an image file inserted and displayed in the file. The advantages of using an HTML file, an XML file, and the like are that the number of parts restricted by the application program and the model of the user terminal is small, and that the system of the present invention is provided in storage means connected to and accessed by the Internet. It must be accessible to the user. When XML or the like is used, reproduction control and data extraction are performed using various tag information, or data to be extracted or data is extracted for each model of a portable information terminal such as a computer device or a mobile phone. Or define a file.
Next, as an example of another desirable mode, the image file is created by using a Flash (trademark) animation of Macromedia (trademark), a Shockwave (trademark) movie, or another widely used data format. is there. The advantage of using these is that although plug-in software is required, it is widely spread and easily available. Also, since a plurality of pages can be created, pages (frames) can be moved as if turning pages. In addition, it is possible to perform settings of automatic reproduction and control of opposite sex such as repeated reproduction. The storage means connected to the Internet for access may be provided with the system of the present invention so that the user can access it. Still another advantage is that a text field for inserting character information can be provided in the image file, and the character information entered in the text field can receive link information to another file. Further, an object such as image information can be inserted into an image file, and the object can receive link information to another file.
Next, these image files will be described with reference to FIG. 3 and FIG.
In the image file, one or a plurality of balloon-like figures surrounded by a linear figure having an arbitrary shape and thickness are arranged at an arbitrary place in the image.
The balloon-shaped figure is indicated by reference numeral 19 in FIG. In this example, a plurality of balloon-shaped figures are arranged in one image file.
According to the invention described in claim 6, the user terminal can select and display a desired page from among the plurality of pages, and in the lower right of FIG. , Control buttons for returning to the previous page and returning to the first page are arranged. The control button is image information, an object, or the like inserted in the image file, and has link information to another predetermined page embedded therein.
Further, in the invention described in claim 7, the data file stored in the storage means is content data having a story, such as a manga, and a user terminal has a desired data among a plurality of pages. 4 and 5 show an example of an image file displayed in such a form.
In the data file displayed on the user terminal, one or more character information display fields for displaying character information are arranged.
In FIG. 5, the character information fields are indicated by reference numerals 20a and 20b (hereinafter, simply referred to as "20" as necessary). The character information field 20 can be set in advance so that predetermined character information is displayed. However, the character information field 20 displays predetermined character information stored in the character information storage means in response to a user operation. Is a possible field or window.
In the invention described in claim 3, the character information field 20 is a field for displaying image information using data including character information as an image information file. That is, in this case, the data file stored in the character information storage means 17 is a data file in an image format, and the data as the source of the image information includes the character information. Characters are stored in an image format.
Next, the balloon-shaped figure will be described.
In the invention according to claim 1, the balloon-shaped figure arranged in the image information includes image information including a balloon character on a predetermined coordinate in the image information indicated by the balloon-shaped figure. A balloon character information field for display is arranged. That is, in this case, the image information displayed in the balloon character information field is a data file in an image format.
The image information including the balloon character is associated with a predetermined voice information file stored in the voice information storage unit, and is associated with a predetermined character information file stored in the character information storage unit. The association can be set in advance. These may be obtained by embedding the hyperlink information in the image information displayed in the balloon character information field 19.
Note that the image information displayed in the balloon character information field 19 can take a form in which, for example, an image file of a balloon-shaped figure is superimposed in a layer format on the image information of the entire page. In addition, a form can be adopted in which the object is inserted and arranged in the image information of the entire page. It is also possible to realize a form in which a balloon-shaped area is set in the image information of the entire page using the X-axis coordinate value and the Y-axis coordinate value, and hyperlink information is embedded in the set area (clickable map). ).
In the invention described in claim 2, in the balloon-shaped figure arranged in the image information, balloon character information is displayed on predetermined coordinates in the image information indicated by the balloon-shaped figure. A balloon character information field is arranged. That is, in this case, the balloon character information field is a field for displaying character information such as text arranged in the image information, and the character information displayed in the balloon character information field is a data file in a character information format. It is.
Also in this case, the balloon character information is associated with a predetermined voice information file stored in the voice information storage unit, and the predetermined character information file stored in the character information storage unit is also associated with the balloon information. Can be set in advance. These may be obtained by embedding the hyperlink information in the character information displayed in the balloon character information field 19.
In FIG. 3, a hyperlink to the voice information file stored in the voice information storage unit 16 set from the balloon character information field 19 and stored in the character information storage unit 17 set from the balloon character information field 19 4 schematically shows the relationship of a hyperlink to a given character information file. When the image file is a content data file such as a manga, etc., one page (image file) is provided with a balloon character information field indicating one or a plurality of dialogues, and voice information and speech information corresponding to each dialogue are provided. There is a hyperlink to the text information.
The audio information stored in the audio information storage means 16 includes a WAV file, an MP3 file, an RM file, and other audio files in various data formats.
The character information stored in the character information storage means is a text format and other character information files.
FIG. 6 is a data schematic diagram showing an example of the relationship between an image file as each page of a content such as a manga stored in the image information storage means 15 and a balloon character information field arranged in each image file. Are shown.
Further, an example of a relationship between each balloon character information field arranged on each page of a content such as a manga and the like stored in the character information storage unit 16 and a character information file is shown using a data schematic diagram. .
Further, an example of the relationship between each speech character information field arranged on each page of the content such as comics and the like stored in the speech information storage means 17 and the speech information file is shown using a data schematic diagram. .
Next, the information processing means will be described.
The information processing means 18 allows the user to operate the image information, the voice information, the character information, the HTML file constituting the menu screen and the like described above by using the input means provided in the user terminal, This is an application program for displaying and outputting according to the operation.
Examples of the application program include browser software, plug-in software for playing Flash or the like, and a program for playing a data file in a unique format. These programs are installed in the storage means 10a such as a hard disk, or provided in the storage means 10b such as a CD-ROM or a DVD. Preferably, the storage means 10b is provided with an automatic reproduction (Autorun) program, and the storage means 10b is used. It is possible to take a form in which it is automatically activated when it is loaded on the user terminal.
Next, a basic processing flow in the first embodiment of the present invention will be described. Note that the processing flow shown here is an example, and the present invention is not limited to this.
FIG. 7 is a flowchart showing the first embodiment of the present invention.
First, the user terminal 1 is loaded with the storage means 10b. When installing the information processing means, which is a program, in the storage means 10a, the installation program is started and the installation is performed according to the instruction. Further, the data files stored in the image information storage unit 15, the voice information storage unit 16, and the character information storage unit 17 can be stored in the storage unit 10a. After the installation, the information processing means 18 is started (S102).
When the installation is not performed, the information processing unit 18 is activated by the user's operation or automatically activated by the automatic reproduction program (S103).
Next, a menu screen for selecting a comic story is displayed (S104).
If there are a plurality of content data files such as a data file storing a plurality of cartoon stories (S105), a content data file is selected (S106). If only one content data file is stored, the process proceeds to the next step.
Next, an image file such as the first page is displayed. Before that, an opening screen such as a cover, a title, and a copyright display may be displayed.
The image file of the first page is displayed. The image to be displayed is the image file in which the balloon character information field 19 is arranged as shown in FIG. 4 as described above. In FIG. 4, a character information display field 20 is arranged on the right side of the screen.
Next, the user can select any of the balloon character information fields 19 from the balloon character information fields arranged in one or a plurality of displayed balloon-shaped figures (S108). The selection of the balloon character information field is an action of the user such as placing a cursor in the balloon character information field to be displayed, or placing a cursor and clicking.
When the user makes a selection, the control unit 12 detects the operation of the user, that is, the selection of the hyperlink information (S109), and transmits it to the information processing unit 18 (S110).
When the information processing means detects the operation of the user (S111), audio information and character information corresponding to the balloon character information field are extracted and reproduced or displayed and output. , The number of times of reproduction, and other reproduction control information can be set by the user and stored as a setting file. In such a case, it is determined whether there is a setting file for reproduction control (S112). Then, the setting file is read (S113), and voice information and character information are extracted and a page is moved (extraction and display of an image file) in accordance with the data defined in the setting file. In addition, when the setting is made such that only the sound is reproduced without displaying the character information, the display output of the character information is not performed.
In particular, when the reproduction control is not set, the process proceeds to the next step.
In addition, the character information to be displayed is not always stored in advance in the character information storage means corresponding to all the balloon character information, or there is no character information at all, or all the character information is stored in the image file in advance. May be set in such a manner as to be displayed in the character information display field that contains. In this case, it is determined whether there is character information associated with the balloon character information (S114).
Next, voice information indicating the location is extracted from the link information added to the selected balloon character information field (S115), and the location is indicated to the link information added to the selected balloon character information field. Character information is extracted (S116). The extracted audio information is output and reproduced by the output unit 14 (S117), and the extracted character information is displayed in the character information display field 20 arranged in the image file displayed by the display unit 13. Is performed (S118).
Next, when there are a plurality of pages (image files), it is determined whether or not to move the page by a user operation or selection or by automatic reproduction (S119). The destination page is displayed (S107), and the above processing is repeated.
If there are a plurality of balloon character information fields in the same page, the process returns to S108 before moving the page, selects another balloon character information field, and repeats the above processing.
When the reproduction is to be ended, the reproduction is ended by the operation or selection of the user or by the automatic reproduction (S120). If not, the user can return to the menu screen or move to another page. When ending, the information processing means 18 which is a program is usually also ended.
(Second embodiment)
Next, a second embodiment of the present invention will be described.
A second embodiment of the present invention is a language translation information processing system using a balloon-like graphic, utilizing the above system.
The translation language that can be reproduced and displayed by the system of the present invention is as follows: if Japanese is the pre-translation language, the translated language is English, French, German, Italian, Spanish, Dutch, Russian Any language that can be translated from Japanese into a foreign language other than Japanese, such as Chinese, Korean, Swahili, and the like, may be used. Further, these foreign languages may be a language before translation, and the language after translation may be Japanese. Furthermore, in order to be able to replace sentences and words in a language with corresponding to other languages, Japanese standard language and Kansai dialect, Nagoya dialect, Ainu language and Okinawan language, or ancient, medieval and early modern Languages, virtual languages that do not exist in the real world, or languages used by young people or the elderly, indulgent languages and official languages, upper-class languages, buzzwords, animations and dramas such as cartoons and TV programs, etc. A language in which various language sentences and words, such as characteristic phrases used, heroes such as cartoon characters and dramas, and characteristic phrases of celebrities, can be replaced in correspondence with other languages. Can be used as a pre-translation language or a post-translation language.
In the present embodiment, the hardware configuration of the basic system and the data configuration of the data stored in the storage unit 10 are the same as those in the first embodiment, and thus the description is omitted.
In the present embodiment, the speech information stored in the speech information storage means is post-translation language speech information corresponding to the pre-translation language character information included in the balloon character information field.
The character information stored in the character information storage means is post-translation language character information corresponding to the pre-translation language character information included in the balloon character information field.
FIG. 8 is a diagram showing a storage area of the storage means, which stores image information storage means 15 for storing image information, voice information storage means 16 for storing voice information, and character information as required. And information processing means 18 for displaying character information and voice information on the user terminal.
In the invention described in claim 4, an image file inserted into an HTML file or an XML file stored in the image information storage means, an image file, a file such as a slide show including a plurality of image files, or the like. In an image file displayed on the user terminal, one or a plurality of characters in which character information or image information using character information as image data, which has an arbitrary shape and size, is arranged at an arbitrary place in the image. An information display field is arranged.
The character information display field is associated with a predetermined sound information file stored in the sound information storage means, and is linked to a predetermined character information file stored in the character information storage means. Can be set in advance, and the character information field is not necessarily limited to the “balloon-shaped figure” as in the other embodiments, but is arranged in the page and set in advance. If it is a predetermined area, it includes various figures, character information, and the like. In addition, even if it is not necessarily a tangible figure or the like, for example, a form in which a predetermined area set in the image file is associated with the audio information file or the character information file is included.
The voice information stored in the voice information storage means is post-translation language voice information corresponding to the pre-translation language character information included in the character information field, and the characters stored in the character information storage means The information is the post-translation language character information corresponding to the pre-translation language character information included in the character information field, and is indicated in the pre-translation language. Information processing means provided in the storage means for detecting the action of the user, and where the link information added to the character information field indicates the location, A process of transmitting voice information, which is a language after translation, to a user terminal, outputting the voice information by voice playback means provided in the user terminal, and performing playback, and a predetermined character information file If the association has been set in advance, the character information that is the translated language, which indicates the location in the link information added to the character information display field, is transmitted to the user terminal, and the user terminal And a process of displaying by a display means included in the language translation information processing system.
Next, a language translation information processing system using a balloon-shaped figure will be described.
In addition, throughout the present specification of the present invention, “balloon-shaped figures” include various shapes having various shapes and leader lines, circles, ellipses, and clouds, including the speech balloons of comics shown in FIG. FIG. 20 shows various examples including various shapes such as a circle and an encircled figure having irregularities.
A balloon character information field provided in an image on a balloon provided in an image file stored in the image information storage means is set to display character information in a language before translation. For example, in FIG. 4 and FIG. 5, an example in which a cartoon in which the language before translation is Japanese is translated into English, which is the language after translation, and voices and characters in the selected balloon character information field are automatically reproduced and displayed. It is shown.
In the present embodiment, the basic processing flow is common to the first embodiment.
Referring to FIG. 7, first, the user terminal 1 is loaded with the storage means 10b. When installing the information processing means, which is a program, in the storage means 10a, the installation program is started and the installation is performed according to the instruction. Further, the data files stored in the image information storage unit 15, the voice information storage unit 16, and the character information storage unit 17 can be stored in the storage unit 10a. After the installation, the information processing means 18 is started (S102).
When the installation is not performed, the information processing unit 18 is activated by the user's operation or automatically activated by the automatic reproduction program (S103).
Next, a menu screen for selecting a comic story is displayed (S104). For example, in FIG. 3, a menu screen is displayed, and a story such as “volume of XX” is selected from a plurality of stories.
If there are a plurality of content data files such as a data file storing a plurality of cartoon stories (S105), a content data file is selected (S106). If only one content data file is stored, the process proceeds to the next step.
Next, an image file such as the first page is displayed.
The image file of the first page is displayed. The image to be displayed is the image file in which the balloon character information field 19 is arranged as shown in FIG. 4 as described above. In FIG. 4, a character information display field 20 is arranged on the right side of the screen.
An image file constituting the entire page as shown in FIG. 4 is an image file stored in the image information storage means in FIG. 8, and one or a plurality of balloon-like figures are included in the image file (page). , A balloon character information field is set. For example, in FIG. 4, there is a balloon character information field for each of the pre-translation languages (Japanese in this example) such as "Huh ... is this really true?" The voice information of English (in the example) is stored in the voice information storage means 16 of FIG. 8, and the corresponding character information of the translated language (English in this example) is stored in the character information storage means 17 of FIG. .
Next, the user can select any of the balloon character information fields 19 from the balloon character information fields arranged in one or a plurality of displayed balloon-shaped figures (S108). When the user makes a selection such as placing the cursor in the balloon character information field or placing the cursor and clicking, the control unit 12 detects the user's operation, that is, the selection of the hyperlink information ( (S109), and the information is transmitted to the information processing means 18 (S110).
When the information processing means detects the operation of the user (S111), the speech information and the character information of the translated language corresponding to the balloon character information field are extracted and reproduced or displayed and output. If the audio playback speed, the number of times of playback, and other playback control information can be set in advance by the user and stored as a setting file, it is determined whether or not there is a playback control setting file ( (S112), the setting file is read (S113), and voice information and character information are extracted, and pages are moved (image file extraction / display) according to the data defined in the setting file. In addition, when the setting is made such that only the sound is reproduced without displaying the character information, the display output of the character information is not performed.
In particular, when the reproduction control is not set, the process proceeds to the next step.
In addition, the character information to be displayed is not always stored in advance in the character information storage means corresponding to all the balloon character information, or there is no character information at all, or all the character information is stored in the image file in advance. May be set in such a manner as to be displayed in the character information display field that contains. In this case, it is determined whether there is character information associated with the balloon character information (S114).
Next, voice information indicating the location is extracted from the link information added to the selected balloon character information field (S115), and the location is indicated to the link information added to the selected balloon character information field. Character information is extracted (S116). In FIG. 5, it is shown that "Ho ... really true" in the balloon character information field 19 has been selected, and the extracted speech information of the translated language (English) "Isit positively true that" is shown. .. Are output and reproduced by the output unit 14 (S117), and the extracted character information “Isit positively true that...” Is placed in the image file displayed by the display unit 13. It is displayed in the display field 20 (S118).
Next, when there are a plurality of pages (image files), it is determined whether or not to move the page by a user operation or selection or by automatic reproduction (S119). The destination page is displayed (S107), and the above processing is repeated.
If there are a plurality of balloon character information fields in the same page, the process returns to S108 before moving the page, selects another balloon character information field, and repeats the above processing.
When the reproduction is to be ended, the reproduction is ended by the operation or selection of the user or by the automatic reproduction (S120). If not, the user can return to the menu screen or move to another page.
Next, another embodiment of a language translation information processing system using a balloon-shaped figure, which is a second embodiment of the present invention, will be described.
In the invention described in claim 6, the post-translation voice information stored in the voice information storage means includes a plurality of post-translation language character information corresponding to the pre-translation language character information included in the balloon character information field. It contains post-translation language audio information consisting of languages.
The post-translation character information stored in the character information storage unit includes post-translation language character information including a plurality of post-translation languages corresponding to the pre-translation language character information included in the balloon character information field. include.
In other words, in the case of the cartoon shown in FIG. 5, when speech in the language before translation (Japanese) is displayed in the balloon character information field, the speech information reproduced in the language after translation and the speech in the language after translation are displayed. The displayed character information is in such a form that one of English and French can be selected, for example. Alternatively, it can be selected from English and French, Spanish, German, Chinese, and Korean.
FIG. 9 shows a storage means 10 for storing voice information in a plurality of translated language languages (here, English and French) corresponding to a pre-translation language (here, Japanese) and character information in a plurality of translated language languages. Is shown. FIG. 10 shows storage means for storing speech information in a plurality of translated language languages (here, English and French) corresponding to a pre-translation language (here, Japanese) and character information consisting of a plurality of translated language languages. FIG. 2 shows a schematic diagram of data stored in 10.
First, the user performs a process of selecting which language among a plurality of translated languages to translate the pre-translation language character information. For example, if there are English and French as the translation language, English is selected.
Next, the user places the cursor on the balloon character information displayed in the balloon character information field, which is indicated in the pre-translation language arranged in the displayed balloon-shaped figure, or places the cursor and clicks on the user. According to the action, the information processing means provided in the storage means performs a process of detecting the action of the user.
Next, audio information in the selected post-translation language (selected English) in which the location is indicated in the link information added to the balloon character information field arranged in the balloon graphic. Is transmitted to the user terminal, and is output and reproduced by the audio reproducing means provided in the user terminal.
Further, when the association with the predetermined character information file has been set in advance, the selected character information display field indicates the location in the link information added to the balloon character information field, The character information in the translated language (selected English) is transmitted to the user terminal and displayed by the display means provided in the user terminal.
Further, another embodiment of the language translation information processing system using the balloon-shaped figure, which is the second embodiment of the present invention, will be described.
In the invention described in claim 7, the balloon character information displayed in the balloon character information field, which is indicated by the language before translation arranged in the displayed balloon-shaped figure, includes a plurality of languages before translation. Speech balloon character information is prepared in advance, and an image file including a balloon-shaped figure is stored in the image information storage unit.
For example, in FIG. 4 and FIG. 5, an example in which a cartoon in which the language before translation is Japanese is translated into English, which is the language after translation, and voices and characters in the selected balloon character information field are automatically reproduced and displayed. It is shown. According to the present embodiment, separately from this, a cartoon in which the pre-translation language is English, for example, is translated into Japanese as the post-translation language, and the voice and characters in the selected balloon character information field are automatically played back. For display, an image file whose language before translation is English can be displayed in the balloon character information field. Also, for example, Japanese is adopted as the post-translation language, and Japanese speech information and Japanese character information corresponding to English in the balloon character information field are stored.
By adopting such a form, it is possible to realize a language translation information processing system for both Japanese-to-English translation and English-to-Japanese translation using balloon-shaped figures.
FIG. 11 shows a speech having a plurality of pre-translation languages, and a plurality of pre-translation languages (eg, English, Japanese) corresponding to pre-translation language 1 (eg, Japanese) and pre-translation language 2 (eg, English). 2 shows a storage area of the storage unit 10 in which information and character information composed of a plurality of translated language languages are stored. FIG. 12 shows audio information composed of a plurality of translated language languages (here, English and Japanese) corresponding to a plurality of pre-translation languages (here, Japanese and English) displayed in a balloon character information field. FIG. 2 shows a schematic diagram of data stored in a storage area of a storage unit 10 in which character information composed of a translated language is stored.
FIG. 13 shows an example of translating a cartoon in which the language before translation is English into Japanese, which is the language after translation, and automatically reproducing / displaying the voice and characters in the selected balloon character information field. ing.
In the case of the present embodiment, when a Japanese-English translation is selected on the menu screen or the like, image files as shown in FIGS. 4 and 5 are displayed, and when an English-Japanese translation is selected, as shown in FIG. Image file is displayed.
FIG. 14 is a flowchart showing an example of a basic processing flow in the present embodiment.
If there are a plurality of pre-translation languages (S207), the user performs a process of selecting from which of the plurality of pre-translation languages the pre-translation language is to be translated (S208).
In addition, when there are two types of translation: English to Japanese and Japanese to English, if English is selected as the pre-translation language, the post-translation language can be automatically set to Japanese.
On the other hand, there may be cases where there are a plurality of translated languages, such as English-Japanese translation, English-German translation, Japanese-English translation, Japanese-German translation, German-Japanese translation, and German-English translation. In this case (S209), the user performs a process of selecting from among the translated language and a plurality of translated languages from which to translate (S210).
Next, a process of displaying an image file including a balloon character information field composed of the selected pre-translation language (S211), and balloon character information, which is arranged in the displayed balloon-shaped figure and is indicated by the pre-translation language, is displayed. In response to the user's action such as placing a cursor on the balloon character information displayed in the field, placing the cursor and clicking (S212), the information processing means provided in the storage means performs the operation of the user. The processing for detection is performed (S213, S214).
Next, the speech information indicating the location in the link information added to the balloon-like character information field, which is the translated language, is transmitted to the user terminal, and is output by the audio reproduction means included in the user terminal, and the reproduction is performed. (S221).
When the association with the predetermined character information file is set in advance, the character information which is a translated language whose location is indicated by the link information added to the balloon character information field is displayed in the character information display field. Is transmitted to the user terminal, and is displayed by the display means provided in the user terminal (S222).
(Third embodiment)
Next, a third embodiment of the present invention will be described.
In the present embodiment, the storage means is a server system including a web server, an application server, a database server, and the like connected from a user terminal via a computer network, and via a computer network represented by the Internet. This is a mode in which access is performed from the user terminal 1.
The system according to the present embodiment is generally realized by a system having a Web server, an application server, a database server, and the like on a network to which computers, portable information terminals, and the like are connected.
Here, as a basic system configuration, FIG. 1 shows an example in which these server systems are installed in the same system. However, if an application server exists in a separate place, Alternatively, even if the database server exists in a separate location, these locations can be specified and specified by a URL or the like, so that even in such a system configuration, the system of the present invention can be realized. .
FIG. 15 shows a basic system configuration diagram of the present embodiment.
In FIG. 15, reference numeral 1 denotes a user terminal, 25 denotes a server system, and 30 denotes a computer network represented by the Internet. The server system 25 includes an image information storage unit 15, a voice information storage unit 16, and a character information storage unit 17.
Here, user terminals for connecting to a network include computer terminals such as personal computers, wireless communication terminals such as mobile phones and PHS, portable information terminals incorporating these functions, and various other types of terminals. Computer terminals are included. Further, for example, a so-called information home appliance such as an Internet TV may be used.
Further, networks to which these are connected include wired and wireless communication lines.
An image information storage means for storing image information, a voice information storage means for storing voice information associated with the text information, a text information storage means for storing text information, and a user terminal for storing text information and voice information. The configuration of the information processing means to be transmitted to and displayed on is common to the various forms described above.
The user terminal 1 includes a computer terminal such as a personal computer, a wireless communication terminal such as a mobile phone or a PHS, a portable information terminal incorporating these functions, and various other computer terminals. Further, for example, a so-called information home appliance such as an Internet TV may be used.
Next, reference numerals indicate storage means provided in the user terminal. The storage unit 10a includes an external storage device such as a CPU, a memory, and a hard disk. Further, the storage means 10 usually stores an operating system (OS), various application programs, various data files, and the like.
Next, reference numeral 11 denotes input means such as a keyboard and a mouse, and 12 denotes control for performing data control, data transmission / reception, hardware control, software control, and the like using a CPU, a bus, and other OSs and application programs. Means are shown. Reference numeral 14 denotes an output unit for transmitting and receiving data via a network and outputting data such as voice.
As described in the first embodiment, in the present invention, the menu screen for browsing the content data file, the playback screen for arranging the content data file, and the like are in a format such as an HTML file or an XML file, or in a plurality of formats. Image files displayed on the user terminal, such as slide show files including image files, and file formats using original playback programs, and image files inserted and displayed in the files. it can. Also, as an example of a desirable mode, Flash (trademark) and Shockwave (trademark) of Macromedia (trademark) have been described.
When browsing via the Internet or the like in the present embodiment, the information or the like stored in each of the storage means 15, 16, and 17 is usually converted to an HTML displayed on a Web site stored in a Web server or the like. A customer terminal to access by linking to a file, an XML file, or the like, or by generating an HTML file or the like in which data extracted by a search or the like is described from the information or the like stored in each of the storage means 15, 16, 17; To be displayed on the screen.
For example, if the information to be displayed is an image file such as a gif file, a link to the image file is described in a file such as an HTML file on a web site.
In addition to the HTML file, an XHTML file, an XML file, an SGML file, a C-HTML file for a portable terminal, or the like can be used.
When the user accesses this WEB site, the computer terminal of the user requests transmission of a file (HTML file or the like) of the WEB page, and at the same time, transmits the image file in which a link is described in the file. Request.
By receiving these files, for example, if the file is an image file, the WEB page accessed by the user is displayed on the user's computer terminal screen as an HTML file or the like via browser software. The image file is displayed in the section. For example, in the case of an audio file, a WEB page accessed by the user is displayed on the computer terminal screen of the user through an HTML file or the like via browser software, and a part of the page includes a copy to the audio file. The hyperlink is described and displayed. Further, for example, the file to be transmitted is displayed in a part of a plurality of divided frames, such as a frame for displaying a plurality of HTML files by dividing one screen. Good.
Also, customers who can access and browse the system of the present invention are not limited to an unspecified number of users, but also allow only registered users to access and search and browse information. Is also good. For example, it is possible to access the Web site, enter an ID and a password issued for each customer, and to access the website.
Next, a basic processing flow of the present embodiment will be described.
FIG. 16 and FIG. 17 are flowcharts showing an example of the basic processing of the present embodiment.
First, the user terminal 1 connects to a computer network such as the Internet (S300), and accesses the server system 25 (S301). As described above, the server system is provided with data files such as image information storage means, audio information storage means, and character information storage means, and a program such as information processing means. Can be Generally, a file displayed on the WEB, such as an HTML file or an XML file provided in the WEB server, is transmitted to the user terminal, and a menu screen or the like is generally displayed.
When using the system of the present invention, in the case of performing a billing process, the use is permitted on condition that these are normally performed. Authentication processing, billing processing, and the like are performed (S302), and the user can select whether to download or browse (S303).
In the case of downloading (S304), after downloading and storing in the storage means 10a provided in the user terminal, it is used in the user terminal as described in the first and second embodiments.
When browsing on the Internet or the like, a browsing menu is displayed (S305), and when there are a plurality of content data files (here, a manga translation is taken as an example) (S306), which browsing is performed. Is selected (S307). If the user can select from a plurality of languages, such as English-Japanese translation and Japanese-English translation, these are selected (S308 to S311).
The information stored in the server system 20 is as follows, for example, using a system that can translate Japanese into English using Japanese manga as a material.
The image information storage means 15 contains character information such as dialogue of Japanese manga arranged in the balloon character information field of the language before translation for each frame of each page of the manga, each dialogue, etc. Information is stored for each page of the comic.
In the post-translation language character information storage means 17, corresponding to the above-mentioned lines and the like, English translations of Japanese comic lines and the like, and character information such as texts are written for each frame of each page of the comic and for each line and the like. Is stored in It is also possible to store information such as points and notes on translation and other similar expressions.
In the translated language voice information database 16, an English translation voice file such as a Japanese comic dialogue is stored, and text information such as text is stored for each frame, each dialogue, etc. of each comic page. And it is preferred.
In this case, the image data storage unit including the character information of the language before translation, the character information storage unit of the language after translation, and the voice information storage unit of the language after translation are tentatively stored. The structure of the database can be various forms as long as data can be extracted. These can be realized by adopting a hierarchical structure of folders or by using a relational database. The translation of comics is an example here, and can take various forms described in the first embodiment and the second embodiment.
Also, in the first embodiment, the second embodiment, or in the third embodiment described here, the information stored in each of the storage units 15, 16, 17 is defined by claim 17 Can be stored by the following means, and it is preferable to use the present invention to store many contents.
The storage unit including the image information storage unit, the voice information storage unit, the information processing unit, and the character information storage unit includes a data capturing unit that captures data such as a printed matter having image information and balloon character information as image information. The data capturing means is specifically a scanner device or the like, and the read data is stored as an image file.
Here, comics (comics) are used as original materials that become contents such as printed matter having image information and character information.
First, the writer who publishes the manga and / or the writer who writes the manga obtains rights such as copyrights for use in the system of the present invention.
Next, the comics for which the right has been acquired are stored by scanning or the like in accordance with a database or a storage area having a hierarchical structure.
By a first data processing means for storing the processed image information in an image information storage means, a balloon character information field is set in a balloon-shaped graphic portion such as each speech included in the captured image information, and is arranged here. The character information is input and stored as character information data arranged in the balloon character information field. Alternatively, it is stored as image information data including character information.
Note that the character information (for example, Japanese speech in the language before translation) arranged in the balloon character information field can be converted into character information by reading image information with OCR software.
Next, the second data processing means inputs the character information and the voice information associated with the character information included in the character information field, converts them into the translated language as necessary, and The information is stored in the information storage means. A second data processing unit configured to associate each balloon character information field included in the image information stored in the image information storage unit with a character information or voice information; , Etc., as a data file in a storage area.
The process of inputting character information or voice information is performed by automatic translation software or the like based on the character information read by OCR or the input character information from the character portion of the image information read by the data capturing unit. It is possible to adopt a process in which character information (text data or the like) of a language (for example, English) is stored in the character information storage means, and is stored in the voice information storage means by reading software or the like.
Then, a command (request) such as clicking with a mouse or the like on the user's Web site by using a CGI program or another program to store the files stored in the character information storage unit, the image information storage unit, and the audio information storage unit. , A system that automatically generates a file such as an HTML file, an XML file, or a Flash (trademark) movie file and obtains a desired language translation result can be created.
FIG. 18 is a flowchart showing an example of the above processing.
The data created as described above is stored in a server system or the like, or is stored in an information storage medium such as a CD-ROM, and is loaded into a changer. Can be used. Alternatively, an information storage medium such as a CD-ROM as described above can be obtained by purchase or the like, and can be used by a user at a terminal.
Next, returning to FIG. 17, returning to the flow of the processing of this embodiment, the description will be made.
In step S312, an image file of the manga page is displayed. The image file is, for example, a screen as shown in FIG. 4, and the manga is displayed on the left side of the screen. The speech character information field of the comic, that is, the Japanese part of the speech is clicked with a mouse (S313), and the speech part of the clicked comic is displayed in the right character information field 20a. In other words, the control unit of the user terminal detects the action of the user by clicking the Japanese portion of the dialogue to be translated into English on the left side of the screen with the mouse (S314), and the computer network is used as the information. And an application to be described later is activated.
The application receives the file transmission request by a command such as a user's click (S315), determines the balloon character information selected (clicked, etc.) by the user (S316), and determines each of the storage units 15, 16, 17 described above. , The information corresponding to the transmission request is retrieved and extracted from the stored information, and an HTML file or the like including the information or the hyperlink information to the information is synthesized. In the case described above, the application stored in the application server may be provided with a given condition, that is, a condition such as a corresponding page, a corresponding frame, a corresponding dialogue, or a request for a Japanese-English translation or a request for an English translation sound. In accordance with the instruction information, the user accesses the second stage 10 in the storage s, synthesizes data matching the conditions and the like into a file in, for example, an HTML format, and transmits the synthesized file to the user terminal.
Then, the English-translated dialog is displayed on the right side of the screen.
In addition, a sentence translated into English is reproduced as a voice like a narration via plug-in software or the like of a browser for reproducing the voice information file of the hyperlink destination.
These processes are realized by, for example, the following application programs.
The simple program is realized by using a CGI (Common Gateway Interface) program using Perl, C language, or the like. However, when the number of users, the access frequency, the capacity of the database, and the like become large, it is desirable to construct a system corresponding to this.
Today, server software for generating the contents of html files has been realized. Such software is equipped with a query function to the database server in advance, and if you embed the contents of the database query using SQL in a uniquely extended HTML format file, the server can send back the page when it returns. , Replace the contents of the HTML file with the contents of the result of the inquiry. Since the contents of the database inquiry and the appearance of the displayed page can be described in one file, service development becomes easier than in the case of using a CGI program.
Also, a script environment operating on a server can be used. Microsoft's ASP (Active Server Page) is a platform for executing a script (described in VBScript or JScript) and an Active X control (including a Java applet) on the server side.
Although described in detail above, the present invention is not limited to the embodiment described above, and it goes without saying that various modifications can be made within the scope of the invention described in the claims. .
Further, in the present specification, means does not necessarily mean physical means, but also includes a case where the function of each means is realized by software.
Further, the function of one means or step may be realized by two or more physical means, and the function of two or more means or steps may be realized by one physical means.
Further, as another embodiment of the present invention, as in the invention described in claim 15, the system further comprises an authentication means for logging in from a user terminal, a user access number, a translation Usage information storage means capable of storing the number of uses of the system, other information, information about the user, and the like, and a usage charge calculation for calculating a usage charge by referring to the information stored in the usage information storage means And a system capable of calculating a usage fee and managing a charge in accordance with various types of usage information such as the number of accesses.
Here, the information on the user may be a method by which the user inputs an e-mail address or the like, or may be information automatically acquired by the system of the present invention.
Alternatively, the information of the user may be acquired in advance by membership registration on the Web site, and the system of the present invention may perform authentication by inputting an ID and a password.
Usage information such as the number of accesses of the user is stored for each individual user. Further, the unit price of the usage fee can be set for each access, execution of translation, acquisition of voice, or unit of usage time or usage information. By multiplying these, the usage fee calculating means calculates and stores the usage fee for each user.
Further, as another embodiment of the present invention, as in the invention described in claim 16, the system further includes information about a right holder such as a copyright of text information and image information of a language before translation. A right holder information storage unit for storing the license holder fee calculation unit for paying the right holder; a fee for returning the right holder to the right holder is calculated according to the usage fee calculated by the usage fee calculation unit; And a system that can be managed.
In this case, the unit price of the fee returned to the right holder such as the copyright can be set for each access, execution of translation, acquisition of voice, or unit of use time or amount of use information. The license fee is calculated by multiplying the usage information for each copyrighted work and the like by the license fee calculating means, and the license fee is calculated for each right holder such as an individual copyright.
(Fourth embodiment)
Next, an information storage medium according to a fourth embodiment of the present invention will be described.
The computer-readable information storage medium of the present embodiment may be any as long as it can store data constructed by the system described above, and for example, a CD-ROM is preferable. In addition, DVD, FD (floppy disk), MO, hard disk, and any other storage media are included. In addition, it can be loaded into portable information terminals such as mobile phones, portable information terminals, e-book players, and audio playback players, and has been developed remarkably in recent years, and can be loaded into computer devices such as personal computers. Media (various memories and the like) are included.
The information storage medium includes at least image information storage means for storing image information, voice information storage means for storing voice information, and information processing means for displaying character information and voice information on a user terminal. And character information storage means for storing character information.
Image files displayed on the user terminal, such as image files inserted into HTML files or XML files stored in the storage means, image files, and files such as slide shows including a plurality of image files include image files. One or a plurality of balloon-shaped figures surrounded by a linear figure having an arbitrary shape and thickness are arranged at an arbitrary place in the inside.
In the image file displayed on the user terminal, one or a plurality of character information display fields for displaying character information are arranged.
Next, in the balloon-shaped figure arranged in the image information, image information including a balloon character at predetermined coordinates in the image information indicated by the balloon-shaped figure, or balloon character information is displayed. A balloon character information field is arranged, and the image information including the balloon character or the balloon character information is associated with a predetermined voice information file stored in the voice information storage unit. It is characterized in that association with a predetermined character information file stored in the character information storage means can be set in advance.
These configurations are omitted because they are common to the various embodiments described in detail above.
Further, as described in claim 20, when downloading via a computer network, or when registering a trial version of a user, etc., when performing billing processing or user registration processing, the authentication permission information If it is stored in the authentication information storage means and can be played back, it can be used only by users who have downloaded it properly, or a trial version can be distributed on a CD-ROM such as a magazine appendix, etc. In order to obtain the edition, it is possible to take the form of registering the user online and acquiring the authentication permission information.
Next, in the invention described in claim 19, the information storage medium can be loaded in the user terminal 1 which is a portable information terminal such as a mobile phone, a portable information terminal, an electronic book player, and a sound reproduction player. In addition, a small information storage medium that can be loaded into a computer device such as a personal computer is employed.
Image information, audio information, or character information stored in the image information storage unit, audio information storage unit, or character information storage unit included in the information storage medium can be output or reproduced by a portable information terminal. Files are included.
Alternatively, a portable information terminal file that can be output or reproduced by the portable information terminal is stored separately from the computer device file.
FIG. 19 shows an example of a basic process using the information storage medium of the present embodiment.
First, an information storage medium is loaded into the user terminal 1 such as a portable information terminal (S400). The information processing means starts (S401).
When the user terminal is a computer device such as a personal computer, all data formats of images, sounds, and characters can be displayed, so that the same processing as in the above-described embodiments is performed. That is, the process proceeds to S104 in FIG. 7, for example.
In the case of a portable information terminal, since there are various terminals such as a mobile phone, a portable information terminal, an electronic book player, and a sound reproduction player, the process proceeds to a process of determining which data file can be displayed and reproduced. The determination may be made automatically, or may be made by the user by operating a menu display or the like.
It is determined whether or not an image file (page) can be displayed (S403), and if so, the image file is displayed (S404). The image file may be a file for a computer device or an image file for a portable information terminal.
If the image file cannot be displayed (S403), it is determined whether or not character information display is possible (S405), and if possible, character information arranged in a balloon is displayed (S406).
If character information cannot be displayed, audio information is output (S407). The reproduction of the audio information may be automatically performed, and the user may operate and play back or forward while returning the individual audio information corresponding to the balloon character information. Good.
Next, when an image file or character information is displayed (S404, S406), a balloon character information field in the image file is selected (S408), or character information is selected (S409), and a user operation is performed. Is detected by the control means (S410, S411). The detected information is received by the information processing means (S412), which balloon character information or character information is selected (S413), and the corresponding audio information is extracted (S415) and output (S417). ). The corresponding character information is extracted (S416) and displayed (S418).
Industrial applicability
As described above, according to the present invention, when playing back content, etc., attention is paid to the graphics of speech balloons used particularly in comics, etc. It is possible to provide a system in which a user can connect to a computer terminal or the Internet from the terminal, synthesize images, characters, sounds, and the like and perform various reproduction, output, and display.
In particular, it is possible to provide a system for performing translation interactively and learning by combining images and characters with the corresponding translated characters and sounds. It is possible to provide an information processing system for translation, which is capable of outputting character information, voice information, and the like in a language after translation according to selection of a user who browses image information and character information online. it can. By using content with images and text information such as comics for language translation and educational systems, it not only provides new teaching materials such as English conversation, but also enjoys using eyes and ears with voices emitted by characters such as comics. It is possible to learn conversations, etc. in a form rich in interactivity and entertainment by the will of the person.
Further, according to the present invention, in the system of the present invention, when a copyrighted work such as a manga is used, a consent of a copyright holder or the like is obtained, and a profit is provided to the right holder. In addition, secondary use of comics and the like is possible, and the content of the present system can be enhanced and provided.
Further, according to the present invention, it is possible to provide an information storage medium storing data and a program for realizing the above-described system, and particularly to provide an information storage medium usable in both a computer device and a portable information terminal. it can.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram showing a first embodiment of the present invention.
FIG. 2 is a diagram showing the configuration of the storage means.
FIG. 3 shows an example of an image file displayed using the system of the present invention.
FIG. 4 shows an example of an image file displayed using the system of the present invention.
FIG. 5 shows an example of an image file displayed using the system of the present invention.
FIG. 6 is a schematic data diagram showing an example of the relationship between image files as pages of content such as comics stored in the image information storage means 15 and balloon character information fields arranged in each image file. It is.
FIG. 7 is a flowchart showing a basic processing flow of the first embodiment of the present invention.
FIG. 8 is a diagram showing an embodiment of the storage area of the storage means.
FIG. 9 shows a storage means 10 for storing voice information in a plurality of translated language languages (here, English and French) corresponding to a pre-translation language (here, Japanese) and character information in a plurality of translated language languages. 3 is a diagram showing a storage area. FIG.
FIG. 10 shows a storage means 10 for storing voice information composed of a plurality of translated language languages (here, English and French) corresponding to the pre-translation language (here, Japanese) and character information composed of a plurality of translated language languages. FIG. 2 shows a schematic diagram of data stored in the storage device.
FIG. 11 shows a speech having a plurality of pre-translation languages, and a plurality of pre-translation languages (eg, English, Japanese) corresponding to pre-translation language 1 (eg, Japanese) and pre-translation language 2 (eg, English). FIG. 3 is a diagram showing a storage area of a storage unit 10 in which information and character information including a plurality of translated language languages are stored.
FIG. 12 is a diagram showing speech information in a plurality of translated language languages (here, English and Japanese) corresponding to a plurality of pre-translation languages (here, Japanese and English) displayed in a balloon character information field, and a plurality of translations FIG. 3 is a schematic diagram of data stored in a storage area of a storage unit 10 in which character information in a word language is stored.
FIG. 13 is a diagram showing an example of translating a manga having English as a pre-translation language into Japanese as a post-translation language, and automatically reproducing / displaying voices and characters of a selected balloon character information field. .
FIG. 14 is a flowchart showing an example of a basic processing flow in the second embodiment.
FIG. 15 is a basic system configuration diagram of the second embodiment.
FIG. 16 is a flowchart showing a basic processing flow of the second embodiment.
FIG. 17 is a flowchart showing a basic processing flow of the second embodiment.
FIG. 18 is a flowchart showing an example of processing for storing data in the image information storage means, the voice information storage means, and the character information storage means.
FIG. 19 is a flowchart showing an example of processing using an information storage medium usable in a computer device or a portable information terminal.
FIG. 20 is a diagram showing a typical example of various forms shown as "balloon-shaped figures" in this specification.

Claims (20)

入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像ファイルに配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字を含む画像情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システム。In a user terminal such as a computer or a portable information terminal including an input unit, a control unit, a display unit, an output unit, and a storage unit, information processing is performed by a user operation,
The storage means included in the user terminal, or the storage means connected to the user terminal via a computer network,
Image information storage means for storing image information;
Voice information storage means for storing voice information;
At least information processing means for displaying character information and voice information on the user terminal,
If necessary, a character information storage means for storing character information is provided, and an image file, an image file, and a plurality of image files inserted in an HTML file, an XML file, or the like stored in the image information storage means. In an image file displayed on the user terminal such as a file such as a slide show including one or more, one or a plurality of balloons surrounded by a linear figure having an arbitrary shape and thickness at an arbitrary position in the image. In the image file in which a figure is arranged and displayed on the user terminal, one or a plurality of character information display fields for displaying character information as necessary are arranged, and are arranged in the image file. The balloon-shaped figure includes a balloon for displaying image information including a balloon character at a predetermined coordinate in the image information represented by the balloon-shaped figure. An output character information field is arranged, and the image information including the balloon character is associated with a predetermined audio information file stored in the audio information storage unit and stored in the character information storage unit. It is possible to set in advance the association with the predetermined character information file,
In accordance with the user's actions such as placing a cursor in a balloon character information field displayed in a balloon character information field arranged in the displayed balloon-shaped figure, or placing and clicking the cursor, the storage means A process in which the provided information processing means detects the operation of the user,
The voice information indicating the location in the link information added to the balloon-shaped character information field arranged in the balloon-shaped figure is transmitted to a user terminal, and is output by a voice reproducing unit included in the user terminal. And perform playback,
When the association with the predetermined character information file has been set in advance, the character information display field includes the character information whose location is indicated by the link information added to the balloon character information field. An information processing system using a balloon-shaped figure, the processing being transmitted to a terminal and displayed by a display unit included in the user terminal. 入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
前記文字情報に関連付けられて音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像ファイルに配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システム。In a user terminal such as a computer or a portable information terminal including an input unit, a control unit, a display unit, an output unit, and a storage unit, information processing is performed by a user operation,
The storage means included in the user terminal, or the storage means connected to the user terminal via a computer network,
Image information storage means for storing image information;
Voice information storage means for storing voice information associated with the character information;
At least information processing means for displaying character information and voice information on the user terminal,
If necessary, a character information storage means for storing character information is provided, and an image file, an image file, and a plurality of image files inserted in an HTML file, an XML file, or the like stored in the image information storage means. In an image file displayed on the user terminal such as a file such as a slide show including one or more, one or a plurality of balloons surrounded by a linear figure having an arbitrary shape and thickness at an arbitrary position in the image. In the image file in which a figure is arranged and displayed on the user terminal, one or a plurality of character information display fields for displaying character information as necessary are arranged, and are arranged in the image file. The balloon-shaped graphic includes a balloon character for displaying balloon character information on predetermined coordinates in image information indicated by the balloon-shaped graphic. Information field is arranged, and the balloon character information is associated with a predetermined voice information file stored in the voice information storage means, and the predetermined character information stored in the character information storage means. It is possible to set the association to the file in advance,
In accordance with the user's actions such as placing a cursor in a balloon character information field displayed in a balloon character information field arranged in the displayed balloon-shaped figure, or placing and clicking the cursor, the storage means A process in which the provided information processing means detects the operation of the user,
A process of outputting the voice information indicating the location of the link information added to the balloon-shaped character information field arranged in the balloon-shaped graphic by a voice playback unit provided in the user terminal, and performing playback. ,
If the association with the predetermined character information file has been set in advance, the character information display field includes the character information whose location is indicated by the link information added to the balloon character information field. An information processing system using a balloon-shaped graphic, wherein the information processing is performed by a display unit included in the terminal. 請求の範囲１又は２に記載の発明において、
前記の利用者端末に表示される画像ファイルに配置される、文字情報を表示するための、一又は複数の文字情報表示フィールドは、文字情報を含むデータを画像情報ファイルとした画像情報を表示するためのフィールドであって、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を含む画像情報を利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、吹き出し状図形を用いた情報処理システム。In the invention described in claim 1 or 2,
One or more character information display fields for displaying character information, which are arranged in the image file displayed on the user terminal, display image information using data including character information as an image information file. Field for
When the association with the predetermined character information file is set in advance, the image including the character information indicating the location in the link information added to the balloon character information field in the character information display field Performing a process of displaying information by a display unit provided in the user terminal, wherein the information processing system uses a balloon-shaped figure. 入力手段、制御手段、表示手段、出力手段、記憶手段等を備えるコンピュータや携帯情報端末等の利用者端末において、利用者の操作により情報処理が行われるシステムであって、
利用者端末が備える記憶手段、又は利用者端末にコンピュータネットワークを介して接続され備えられる記憶手段には、
画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状・大きさ等からなる、文字情報又は文字情報を画像データとした画像情報を配置する一又は複数の文字情報表示フィールドが配置され、
前記の文字情報表示フィールドには、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であり、
前記の音声情報記憶手段に記憶される音声情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報であって、
前記の文字情報記憶手段に記憶される文字情報は、前記の文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報であって、
翻訳前言語で示される、文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、言語翻訳情報処理システムIn a user terminal such as a computer or a portable information terminal including an input unit, a control unit, a display unit, an output unit, and a storage unit, information processing is performed by a user operation,
The storage means included in the user terminal, or the storage means connected to the user terminal via a computer network,
Image information storage means for storing image information;
Voice information storage means for storing voice information;
At least information processing means for displaying character information and voice information on the user terminal,
If necessary, a character information storage means for storing character information is provided, and an image file, an image file, and a plurality of image files inserted in an HTML file, an XML file, or the like stored in the image information storage means. Image files displayed on the user terminal, such as files such as slideshows, include text information in any location in the image, having any shape, size, etc., or image information using text information as image data. One or more character information display fields for arranging are arranged,
The character information display field is associated with a predetermined voice information file stored in the voice information storage means, and is associated with a predetermined character information file stored in the character information storage means. It is possible to set the association in advance,
The voice information stored in the voice information storage means is post-translation language voice information corresponding to the pre-translation language character information included in the character information field,
The character information stored in the character information storage means is post-translation language character information corresponding to the pre-translation language character information included in the character information field,
The information processing means provided in the storage means detects the operation of the user according to the user's action such as placing the cursor in the character information field, placing the cursor and clicking, etc. indicated in the language before translation. Processing,
A process of transmitting voice information, which is the translated language, indicating the location in the link information added to the character information field to the user terminal, outputting the voice information by voice reproduction means provided in the user terminal, and performing reproduction. When,
If the association with the predetermined character information file has been set in advance, the character information that is the translated language described above, which indicates the location in the link information added to the character information display field, is transmitted to the user terminal. Transmitting the information and displaying it on a display means of the user terminal. 請求の範囲１〜４に記載の発明において、
前記の音声情報記憶手段に記憶される音声情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語音声情報であって、前記の文字情報記憶手段に記憶される文字情報は、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する翻訳後言語文字情報であって、表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲１〜４のいずれかに記載の吹き出し状図形を用いた言語翻訳情報処理システム。In the invention described in claims 1 to 4,
The voice information stored in the voice information storage means is post-translation language voice information corresponding to the pre-translation language character information included in the balloon character information field, and is stored in the character information storage means. The character information is post-translation language character information corresponding to the pre-translation language character information included in the balloon character information field, and is a balloon character indicated by the pre-translation language arranged in the displayed balloon-shaped figure. According to the user's action such as placing a cursor on the balloon character information displayed in the information field, placing the cursor and clicking, the information processing means provided in the storage means detects the operation of the user. Processing,
The location of the link information added to the balloon-shaped character information field arranged in the balloon-shaped figure is indicated, and the audio information that is the translated language is transmitted to the user terminal. A process of outputting and reproducing by an audio reproducing means provided;
If the association with the predetermined character information file has been set in advance, the character information display field indicates the location in the link information added to the balloon character information field, 5. A language using a balloon-like graphic according to any one of claims 1 to 4, wherein a process of transmitting certain character information to a user terminal and displaying the character information on a display means of the user terminal is performed. Translation information processing system. 請求の範囲５に記載の発明において、
前記の音声情報記憶手段に記憶される翻訳後音声情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語音声情報が含まれており、
前記の音声情報記憶手段に記憶される翻訳後文字情報には、前記の吹き出し文字情報フィールドに含まれる翻訳前言語文字情報に対応する、複数の翻訳後言語からなる翻訳後言語文字情報が含まれており、
利用者が、翻訳前言語文字情報を、複数の翻訳後言語の内のいずれの言語に翻訳するかを選択する処理と、
表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の選択された翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲５に記載の吹き出し状図形を用いた言語翻訳情報処理システム。In the invention described in claim 5,
The post-translation speech information stored in the speech information storage means includes post-translation language speech information composed of a plurality of post-translation languages corresponding to the pre-translation language character information included in the balloon character information field. And
The post-translation character information stored in the voice information storage unit includes post-translation language character information including a plurality of post-translation languages corresponding to the pre-translation language character information included in the balloon character information field. And
A process in which the user selects which of a plurality of translated languages to translate the pre-translation language character information;
According to the user's actions such as placing the cursor on the balloon character information displayed in the balloon character information field, which is indicated in the pre-translation language arranged in the displayed balloon-shaped figure, or placing the cursor and clicking. A process in which an information processing unit provided in the storage unit detects an operation of the user;
Transmitting the voice information, which is the selected translated language, to the user terminal, where the location is indicated in the link information added to the balloon-shaped character information field arranged in the balloon-shaped graphic, A process of outputting and reproducing by an audio reproducing means included in the user terminal,
If the association with the predetermined character information file has been set in advance, the selected translation is displayed in the character information display field, and the location is indicated in the link information added to the balloon character information field. 6. A language translation information using a balloon-shaped graphic according to claim 5, wherein a process of transmitting character information as a post-language to a user terminal and displaying the character information on a display means provided in the user terminal is performed. Processing system. 請求の範囲４〜６に記載の発明において、
表示された吹き出し状図形中に配置された翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報には、複数の翻訳前言語からなる吹き出し文字情報があらかじめ用意されて、吹き出し状図形を含む画像ファイルが前記の画像情報記憶手段に記憶されており、
利用者が、翻訳前言語文字情報を、複数の翻訳前言語の内のいずれの言語から翻訳するかを選択する処理と、
選択された翻訳前言語からなる吹き出し文字情報フィールドを含む画像ファイルを表示する処理と、
表示された吹き出し状図形中に配置された、翻訳前言語で示される、吹き出し文字情報フィールドに表示される吹き出し文字情報にカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される、前記の翻訳後言語である文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲４〜６のいずれかに記載の吹き出し状図形を用いた言語翻訳情報処理システム。In the invention described in claims 4 to 6,
In the balloon character information displayed in the balloon character information field, which is indicated by the pre-translation language arranged in the displayed balloon-shaped figure, balloon character information including a plurality of pre-translation languages is prepared in advance. An image file including a graphic is stored in the image information storage means,
A process in which a user selects from which of a plurality of pre-translation languages the pre-translation language character information is translated,
A process of displaying an image file including a balloon character information field composed of the selected pre-translation language;
For the user's actions such as placing the cursor on the balloon character information displayed in the balloon character information field, which is displayed in the language before translation, placed in the displayed balloon-shaped figure, or placing the cursor and clicking Accordingly, a process in which the information processing means provided in the storage means detects the operation of the user,
The location of the link information added to the balloon-shaped character information field arranged in the balloon-shaped figure is indicated, and the audio information that is the translated language is transmitted to the user terminal. A process of outputting and reproducing by an audio reproducing means provided;
When the association with the predetermined character information file has been set in advance, the character information display field indicates the location in the link information added to the balloon character information field, 7. A language using a balloon-like graphic according to any one of claims 4 to 6, wherein a process of transmitting certain character information to a user terminal and displaying the character information on a display means provided in the user terminal is performed. Translation information processing system. 請求の範囲１〜７に記載の発明において、
前記の画像情報記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイルなどに挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルは、複数のＨＴＭＬファイルやＸＭＬファイルなどに挿入された複数の画像ファイル、複数のページからなる複数の画像ファイル、又は複数のページを構成する複数の画像ファイルを含むスライドショーなどのデータファイルであって、
利用者端末においては複数のページの内の所望のページを選択して表示可能であり、
前記の吹き出し状図形を用いて、選択したページの選択した吹き出し状図形に関連付けられた音声情報を再生し、文字情報を出力する処理が可能なことを特徴とする、請求の範囲１〜７のいずれかに記載の吹き出し状図形を用いた情報処理システム。In the invention described in claims 1 to 7,
Image files displayed on the user terminal such as image files inserted in HTML files or XML files stored in the image information storage means, image files, files such as slide shows including a plurality of image files, A data file such as a plurality of image files inserted into a plurality of HTML files or XML files, a plurality of image files including a plurality of pages, or a slide show including a plurality of image files constituting a plurality of pages,
On the user terminal, a desired page among a plurality of pages can be selected and displayed,
The processing according to claim 1, wherein the speech information associated with the selected balloon-shaped figure on the selected page is reproduced using the balloon-shaped figure and character information is output. An information processing system using the balloon-like graphic according to any of the above. 請求の範囲８に記載の発明において、前記の記憶手段に記憶されるデータファイルは、漫画などのストーリー性のあるコンテンツデータであって、利用者端末においては複数のページの内の所望のページを選択して表示可能であり、
前記の吹き出し状図形を用いて、選択したページの選択した吹き出し状図形に関連付けられた音声情報を再生し、文字情報を出力する処理が可能なことを特徴とする、請求の範囲８に記載の吹き出し状図形を用いたコンテンツ再生情報処理システム。In the invention described in claim 8, the data file stored in the storage means is content data having a story, such as a manga, and a user terminal stores a desired page among a plurality of pages. Can be selected and displayed,
9. The method according to claim 8, wherein a process of reproducing voice information associated with the selected balloon-shaped figure of the selected page using the balloon-shaped figure and outputting character information is possible. Content reproduction information processing system using balloon-like figures. 請求の範囲９に記載の発明において、前記の記憶手段には、漫画などのストーリー性のある複数のコンテンツデータが記憶されており、複数のコンテンツデータの中から利用者が選択して表示・再生をすることが可能なことを特徴とする、請求の範囲９に記載の吹き出し状図形を用いたコンテンツ再生情報処理システム。In the invention according to claim 9, the storage means stores a plurality of content data having a story, such as a manga, and the user selects and displays / reproduces the content data from the plurality of content data. 10. A content reproduction information processing system using a balloon-shaped graphic according to claim 9, wherein 請求の範囲１〜１０に記載の発明において、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報には、音声再生スピードの異なる複数の音声情報が、前記の音声情報記憶手段に記憶されており、
あらかじめ利用者が設定することにより、音声再生スピードの選択が可能なことを特徴とする、請求の範囲１〜１０のいずれかに記載の吹き出し状図形を用いた情報処理システム。In the invention described in claims 1 to 10,
The speech information whose location is indicated in the link information added to the speech character information field arranged in the speech graphic includes a plurality of speech information having different speech reproduction speeds. Stored in the storage means,
11. The information processing system using a balloon-shaped graphic according to any one of claims 1 to 10, wherein a voice reproduction speed can be selected by setting in advance by a user. 請求の範囲１〜１１に記載の発明において、
あらかじめ利用者が設定することにより、音声情報及び文字情報を自動再生するか否か、自動ページめくりをするか否か、音声の再生回数の選択、文字情報を表示するか否か、複数のコンテンツデータの再生順序の設定等の再生制御方法の選択が可能なことを特徴とする、請求の範囲１〜１１のいずれかに記載の吹き出し状図形を用いた情報処理システム。In the invention described in claims 1 to 11,
By setting in advance by the user, whether to automatically play audio information and text information, whether to automatically turn pages, select the number of times of audio playback, whether to display text information, 12. The information processing system according to claim 1, wherein a reproduction control method such as setting of a data reproduction order can be selected. 請求の範囲６又は７又は１１又は１２に記載の発明において、
翻訳前言語の選択、翻訳後言語の選択、音声再生スピードの選択、又は再生制御方法の選択は、ＸＭＬなどのタグ情報を用いて、利用者が選択した設定を設定ファイルとして前記の記憶手段に記憶することにより、再生時に設定ファイルを参照して選択された音声再生スピード又は再生制御方法に従い自動再生されることを特徴とする、請求の範囲６又は７又は１１又は１２のいずれかに記載の吹き出し状図形を用いた情報処理システム。In the invention described in claims 6 or 7 or 11 or 12,
The selection of the language before translation, the selection of the language after translation, the selection of the voice reproduction speed, or the selection of the reproduction control method is performed by using tag information such as XML and storing the setting selected by the user as a setting file in the storage unit. 13. The storage device according to claim 6, wherein the stored data is automatically reproduced in accordance with a sound reproduction speed or a reproduction control method selected with reference to a setting file during reproduction. An information processing system using balloon-like figures. 請求の範囲１〜１３に記載の発明において、
前記の記憶手段は、利用者端末からコンピュータネットワークを介して接続するＷＥＢサーバー、アプリケーションサーバー、データベースサーバーなどを備えるサーバーシステムであって、
画像情報を記憶する画像情報記憶手段と、
前記文字情報に関連付けられて音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末に送信して表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、アクセスした利用者端末からの要求に従い、吹き出し状図形を含むデータファイルを利用者端末に送信して表示させる処理と、
表示された吹き出し状図形中に配置された吹き出し文字情報フィールドに表示される吹き出し文字情報フィールドにカーソルを配置する、カーソルを配置してクリックする等の利用者の行動に応じ、前記の記憶手段に備えられる情報処理手段が前記のユーザーの動作を検知する処理と、
前記の吹き出し状図形中に配置された前記の吹き出し状文字情報フィールドに付加されたリンク情報に所在が示される前記の音声情報を利用者端末に送信し、利用者端末が備える音声再生手段により出力し、再生を行う処理と、
所定の文字情報ファイルへの関連付けがあらかじめ設定されていた場合には、前記の文字情報表示フィールドに、前記の吹き出し文字情報フィールドに付加されたリンク情報に所在が示される前記の文字情報を利用者端末に送信し、利用者端末が備える表示手段により表示する処理とを行うことを特徴とする、請求の範囲１〜１３のいずれかに記載の吹き出し状図形を用いたオンライン情報処理システム。In the invention described in claims 1 to 13,
The storage means is a server system including a web server, an application server, a database server, and the like connected from a user terminal via a computer network,
Image information storage means for storing image information;
Voice information storage means for storing voice information associated with the character information;
Information processing means for transmitting character information and voice information to the user terminal and displaying the information,
If necessary, a character information storage unit for storing character information is provided, and in accordance with a request from the accessed user terminal, a process of transmitting a data file including a balloon-shaped figure to the user terminal and displaying the data file,
In accordance with the user's actions such as placing a cursor in a balloon character information field displayed in a balloon character information field arranged in the displayed balloon-shaped figure, or placing and clicking the cursor, the storage means A process in which the provided information processing means detects the operation of the user,
The voice information indicating the location in the link information added to the balloon-shaped character information field arranged in the balloon-shaped figure is transmitted to a user terminal, and is output by a voice reproducing unit included in the user terminal. And perform playback,
When the association with the predetermined character information file has been set in advance, the character information display field includes the character information whose location is indicated by the link information added to the balloon character information field. 14. An online information processing system using a balloon-shaped graphic according to any one of claims 1 to 13, wherein the processing is performed by transmitting the data to a terminal and displaying the data on a display unit of the user terminal. 請求の範囲１４に記載の発明において、前記システムにはさらに、利用者端末からコンピュータネットワークを介して前記のサーバーシステムにアクセスする利用者を認証するための認証手段と、
利用者のアクセス数、利用時間、利用コンテンツデータ数、ダウンロード数、その他の情報や、利用者に関する情報などを記憶することが可能な利用情報記憶手段と、
前記利用情報記憶手段に記憶された利用情報を参照して利用料金を算出する利用料金算出手段とが備えられ、
前記の各種利用情報に応じて、利用料金を計算し課金管理することが可能なことを特徴とする、請求の範囲１４に記載の吹き出し状図形を用いたオンライン情報処理システム。In the invention according to claim 14, the system further comprises: an authentication unit for authenticating a user who accesses the server system from a user terminal via a computer network;
Usage information storage means capable of storing the number of accesses, the usage time, the number of content data used, the number of downloads, other information, and information about the user,
Usage fee calculation means for calculating a usage fee by referring to the usage information stored in the usage information storage means,
15. The online information processing system using balloon-shaped graphics according to claim 14, wherein a usage fee can be calculated and charge management can be performed according to the various usage information. 請求の範囲１４に記載の発明において、前記システムにはさらに、翻訳前の言語の文字情報及び画像情報の著作権等の権利者に関する情報を記憶する権利者情報記憶手段と、
権利者に対し支払われるライセンス・フィー算出手段とが備えられ、
権利者に還元するためのフィーを前記利用料金算出手段により算出された利用料金等に応じて算出し、管理することを特徴とする、請求の範囲１４に記載の吹き出し状図形を用いたオンライン情報処理システム。15. The invention according to claim 14, wherein the system further comprises a right holder information storage unit for storing information on a right holder such as a copyright of character information and image information of a language before translation,
Means for calculating the license fee paid to the right holder,
15. Online information using a balloon-shaped graphic according to claim 14, wherein a fee for returning to the right holder is calculated and managed according to the usage fee calculated by said usage fee calculation means. Processing system. 請求の範囲１〜１６に記載の発明において、
画像情報記憶手段、音声情報記憶手段、情報処理手段、文字情報記憶手段を備える記憶手段には、
画像情報及び吹き出し文字情報を有する印刷物等のデータを画像情報として取り込むデータ取込手段と、
取り込んだ画像情報に吹き出し文字情報フィールドを設定し、データ処理された画像情報を画像情報記憶手段に記憶する第一のデータ処理手段と、
吹き出し文字情報フィールドに含まれる文字情報に関連付けられた文字情報及び音声情報を入力し、必要に応じ翻訳後言語に変換して前記の文字情報記憶手段及び音声情報記憶手段に記憶する第二のデータ処理手段と、
を備えることを特徴とする、請求の範囲１〜１６のいずれかに記載の吹き出し状図形を用いた情報処理システム。In the invention described in claims 1 to 16,
The storage unit including the image information storage unit, the voice information storage unit, the information processing unit, and the character information storage unit includes:
Data capturing means for capturing, as image information, data such as printed matter having image information and balloon character information,
A first data processing unit that sets a balloon character information field in the captured image information and stores the data-processed image information in the image information storage unit,
Second data stored in the character information storage means and the voice information storage means by inputting character information and voice information associated with the character information included in the balloon character information field, converting the language into a translated language as necessary, Processing means;
An information processing system using a balloon-shaped graphic according to any one of claims 1 to 16, characterized by comprising: 画像情報を記憶する画像情報記憶手段と、
音声情報を記憶する音声情報記憶手段と、
文字情報及び音声情報を利用者端末において表示させる情報処理手段とが少なくとも備えられ、
必要に応じ、文字情報を記憶するための文字情報記憶手段が備えられ、前記の記憶手段に記憶されているＨＴＭＬファイルやＸＭＬファイル等に挿入された画像ファイル、画像ファイル、複数の画像ファイルを含むスライドショーなどのファイル等の利用者端末に表示される画像ファイルには、画像中の任意の場所に、任意の形状及び太さからなる線状の図形で囲まれた、一又は複数の吹き出し状図形が配置され、
前記の利用者端末に表示される画像ファイルには、必要に応じ文字情報を表示するための、一又は複数の文字情報表示フィールドが配置され、前記の画像情報に配置された前記の吹き出し状図形には、前記の吹き出し状図形で示される画像情報中の所定の座標上に吹き出し文字を含む画像情報、又は吹き出し文字情報を表示するための吹き出し文字情報フィールドが配置され、吹き出し文字を含む画像情報、又は吹き出し文字情報には、前記の音声情報記憶手段に記憶された所定の音声情報ファイルへの関連付けがされていると共に、前記の文字情報記憶手段に記憶された所定の文字情報ファイルへの関連付けをあらかじめ設定しておくことが可能であることを特徴とする、コンピュータ読み取り可能な情報記憶媒体。Image information storage means for storing image information;
Voice information storage means for storing voice information;
At least information processing means for displaying character information and voice information on the user terminal,
If necessary, a character information storage unit for storing character information is provided, including an image file, an image file, and a plurality of image files inserted in an HTML file, an XML file, or the like stored in the storage unit. An image file displayed on a user terminal such as a file such as a slide show includes one or a plurality of balloon-shaped figures surrounded by a linear figure having an arbitrary shape and thickness at an arbitrary position in the image. Is placed,
In the image file displayed on the user terminal, one or a plurality of character information display fields for displaying character information as necessary are arranged, and the balloon-shaped figure arranged in the image information is provided. The image information including a balloon character at predetermined coordinates in the image information represented by the balloon-shaped figure, or a balloon character information field for displaying the balloon character information is arranged, the image information including the balloon character Or, the balloon character information is associated with a predetermined voice information file stored in the voice information storage unit, and is associated with a predetermined character information file stored in the character information storage unit. A computer-readable information storage medium, wherein the information storage medium can be set in advance. 請求の範囲１８に記載の発明において、
前記の情報記憶媒体は、携帯電話や携帯情報端末、電子ブックプレーヤー、音声再生プレーヤーなどの携帯情報端末に装填可能であると共に、パーソナルコンピュータなどのコンピュータ装置に装填可能な小型の情報記憶媒体であって、
前記の情報記憶媒体が備える画像情報記憶手段、音声情報記憶手段、文字情報記憶手段に記憶される画像情報、又は音声情報、又は文字情報の内には、携帯情報端末において出力又は再生が可能なファイルが含まれており、又は携帯情報端末において出力又は再生が可能な形態情報端末用ファイルがコンピュータ装置用ファイルとは別に記憶されていることを特徴とする、請求の範囲１７に記載のコンピュータ読み取り可能な情報記憶媒体。In the invention according to claim 18,
The information storage medium is a small-sized information storage medium that can be loaded in a portable information terminal such as a mobile phone, a portable information terminal, an electronic book player, and a sound reproduction player, and that can be loaded in a computer device such as a personal computer. hand,
Image information, audio information, or character information stored in the image information storage unit, audio information storage unit, or character information storage unit included in the information storage medium can be output or reproduced by a portable information terminal. 18. The computer-readable medium according to claim 17, wherein a file for a form information terminal that includes a file or that can be output or reproduced on a portable information terminal is stored separately from a file for a computer device. Possible information storage medium. 請求の範囲１８又は１９に記載の発明において、
前記の情報記憶媒体にはさらに、利用者の認証情報を記憶するための認証情報記憶手段が備えられており、
コンピュータネットワークを介してダウンロードする場合や、試用版のユーザー登録をする場合などにおいて、課金処理、又はユーザー登録処理をした際に、認証許可情報が前記の認証情報記憶手段に記憶され、再生可能になることを特徴とする、請求の範囲１８又は１９のいずれかに記載のコンピュータ読み取り可能な情報記憶媒体。In the invention described in claims 18 or 19,
The information storage medium further includes an authentication information storage unit for storing authentication information of the user,
In the case of downloading via a computer network, or when registering a trial version of a user, when performing a billing process or a user registration process, the authentication permission information is stored in the authentication information storage means and can be reproduced. The computer-readable information storage medium according to claim 18, wherein the information storage medium is a computer-readable information storage medium.
JP2002502565A 2000-06-05 2001-06-05 Information processing system using balloon-shaped figures, language translation information processing system using balloon-shaped figures, online information processing system using balloon-shaped figures, and computer-readable information storage medium Pending JPWO2001095079A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000207528 2000-06-05
JP2000207528 2000-06-05
PCT/JP2001/004743 WO2001095079A1 (en) 2000-06-05 2001-06-05 Information processing system using balloon pattern, language translation information processing system using balloon pattern, on-line information processing system using balloon pattern, and computer-readable information storage medium

Publications (1)

Publication Number Publication Date
JPWO2001095079A1 true JPWO2001095079A1 (en) 2004-01-08

Family

ID=18704278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002502565A Pending JPWO2001095079A1 (en) 2000-06-05 2001-06-05 Information processing system using balloon-shaped figures, language translation information processing system using balloon-shaped figures, online information processing system using balloon-shaped figures, and computer-readable information storage medium

Country Status (3)

Country Link
JP (1) JPWO2001095079A1 (en)
AU (1) AU2001262696A1 (en)
WO (1) WO2001095079A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206191A (en) * 2017-06-07 2018-12-27 株式会社カプコン Language conversion program and language conversion apparatus

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4713115B2 (en) * 2004-09-17 2011-06-29 株式会社ジャストシステム File display device, file display method, and file display program
JP4591818B2 (en) * 2004-11-08 2010-12-01 ノーリツ鋼機株式会社 Image file playback system
JP4796530B2 (en) * 2007-03-30 2011-10-19 株式会社セルシス Manga display method and electronic equipment for displaying manga
JP4674356B2 (en) * 2007-12-20 2011-04-20 株式会社 マーフィーシステムズ Digital picture book system
JP5237773B2 (en) * 2008-12-01 2013-07-17 スパイシーソフト株式会社 Image group editing apparatus and electronic device
JP2014007561A (en) * 2012-06-25 2014-01-16 Toshiaki Ueno Content browsing device and content providing system
KR102131895B1 (en) 2017-01-31 2020-07-08 리마 주식회사 Method and program for tracking replicated webtoon

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319102A (en) * 1993-05-10 1994-11-15 Sony Corp Reproduction display device, recorder and recording medium
JPH0793368A (en) * 1993-09-22 1995-04-07 Hudson Soft Co Ltd Comic publication
JPH07249130A (en) * 1994-03-08 1995-09-26 Matsushita Electric Ind Co Ltd Electronic cartoon device
JPH10133852A (en) * 1996-10-31 1998-05-22 Toshiba Corp Personal computer, and method for managing voice attribute parameter
JPH10154185A (en) * 1996-11-21 1998-06-09 Hitachi Maxell Ltd Literary work transmission system
JPH10240953A (en) * 1997-02-24 1998-09-11 Toshiba Corp Picture display system
JP3681145B2 (en) * 1997-12-11 2005-08-10 株式会社東芝 Utterance device and utterance method
JPH11203008A (en) * 1998-01-09 1999-07-30 Canon Inc Information processor and its language switch control method
JPH11259971A (en) * 1998-03-10 1999-09-24 Sony Corp Dubbing system, dubbing method
JP4245206B2 (en) * 1998-03-26 2009-03-25 シャープ株式会社 Recording medium and display device for recording display data and information for scroll display
JPH11275268A (en) * 1998-03-20 1999-10-08 Matsushita Electric Ind Co Ltd Karaoke device and system therefor
JPH11282867A (en) * 1998-03-31 1999-10-15 Sharp Corp Data distribution system and duplicated data detection system
JPH11282848A (en) * 1998-03-31 1999-10-15 Yoshimori Kato Cd-rom internet 'king of translation'(r)
JP3968875B2 (en) * 1998-06-24 2007-08-29 ソニー株式会社 Download device and recording medium
JP2000036781A (en) * 1998-07-17 2000-02-02 Sony Corp Copyright managing device, work distributing device and work distribution/reception system
JP3569452B2 (en) * 1998-09-10 2004-09-22 株式会社Ｓｎｋプレイモア Information transmission system and information transmission method
CN1275743A (en) * 1999-05-12 2000-12-06 希科普斯公司 Multimedia recording medium, system and method for supplying multimedia information based on network
JP2001075581A (en) * 1999-09-01 2001-03-23 Sharp Corp Electronic comic production device and electronic comic outputting device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206191A (en) * 2017-06-07 2018-12-27 株式会社カプコン Language conversion program and language conversion apparatus

Also Published As

Publication number Publication date
WO2001095079A1 (en) 2001-12-13
AU2001262696A1 (en) 2001-12-17

Similar Documents

Publication Publication Date Title
US10503812B2 (en) Method and apparatus for materials in different screen sizes using an imaging sensor
TWI269245B (en) Video based language learning system
RU2213368C2 (en) Interactive web-book (internet book) system
RU2360281C2 (en) Data presentation based on data input by user
US20190196675A1 (en) Platform for educational and interactive ereaders and ebooks
US11657725B2 (en) E-reader interface system with audio and highlighting synchronization for digital books
US20070190512A1 (en) Multiuser learning system
CA2639720A1 (en) Community based internet language training providing flexible content delivery
US20230237244A1 (en) Method and apparatus applicable for voice recognition with limited dictionary
US20190110110A1 (en) Recording medium recording content display program, content display method, and information processing apparatus
JP2001014406A (en) Multimedia information, multimedia information providing system based on a recording medium network having multimedia information reproducing program, and its method
JPWO2001095079A1 (en) Information processing system using balloon-shaped figures, language translation information processing system using balloon-shaped figures, online information processing system using balloon-shaped figures, and computer-readable information storage medium
US20060166172A1 (en) Speaking words language instruction system and methods
US7219164B2 (en) Multimedia re-editor
JP2010002787A (en) Learning system, learning terminal, and learning program
TW201816636A (en) Digitized book content interaction system and method capable of adding digitized values to physical texts and providing teachers with effective digitized assistance in teaching
AU2002100284A4 (en) Interactive Electronic Publishing
KR20010000156A (en) Method for studying english by constituent using internet
JP2003140539A (en) Network aided learning system and method for the same
King Re-presenting visual content for blind people.
KR100377107B1 (en) A network-based moving picture information providing system and a method thereof
Zhang et al. Design of Multimedia Courseware Synchronous Display System for Distance Teaching
JP2023151736A (en) Learning data generation method, learning data display method, learning data reproduction method, program, and electronic device
JP2002099202A (en) System and method for supporting performance and recording medium
JP2009086597A (en) Text-to-speech conversion service system and method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060404