JP2009301055A - 電子漫画製造装置及び電子漫画製造方法 - Google Patents

Abstract

【課題】吹き出しは音声で聞きながら漫画は表示装置で見ることを可能にすることで、漫画の鑑賞を十分にし、また電子漫画装置の利用範囲を拡大する。
【解決手段】コマおよび吹き出しを含む漫画の画像からイメージデータを取得するイメージデータ取得手段と、前記イメージデータから、前記コマおよび吹き出しを取得するコマ吹き出し取得手段と、前記コマ吹き出し取得手段により取得された前記コマおよび吹き出しの順序を記憶する順序テーブルと、前記吹き出しを音声信号に変換する音声信号変換手段と、前記順序テーブルに記憶されている順序に基づいて、前記イメージデータ信号に含まれるコマまたは吹き出しの提示と、前記音声信号の提示とを同期させる同期信号を生成する同期信号生成手段と、前記イメージデータ信号、音声信号および同期信号を記録する記録手段と、を備える。
【選択図】図１

Description

本発明は、電子漫画を製造するための電子漫画製造装置およびこの電子漫画製造装置で作られた電子漫画を出力する電子漫画出力装置に関し、特に吹き出しを音声出力することを特徴とする。

電子漫画装置において、吹き出しの順序を表示する発明が特許文献１に記載されており、この公報では、漫画のコマごとの背景画と複数の吹き出しを各々イメージデータとして保存し、かつ吹き出しの順序情報を記憶するテーブルを用意し、このテーブルにしたがって順次吹き出しを表示するもの、順次吹き出しの色を変えるもの、順次吹き出しの大きさを変えるものが開示されている。

また、書籍を電子的に読み込み、この読み込み出力から文字を認識して音声を再生する装置が、例えば特許文献２に開示されている。この特許公報では、文字列方向に多数の光電変換素子が配列され改行方向に走査するエリアセンサを用いるスキャナによって文字の読み取りを行い、スキャナの読み取り出力をモデルパターンと照合して近さ量を算出し近さ量が最小となるときのモデルパターンで文字を決定することで文字認識を行い、認識した文字に対応する発音信号を、文字とその発音信号を対応させて記憶した記憶手段から読み出して、デジタルフィルタでデジタル処理し、更にアナログ信号に変換して可聴音として再生するものである。ここで、日本語の場合は基本的に１文字が発音文字として処理される。熟語は書物の活字を印刷するときに熟語の部分のみを通常のインクに変えて磁性インクを用いて印刷することにより熟語を検出し、熟語は熟語メモリから発音信号を読み出すようにしている。英文字の場合は各文字間隔とスペースの間隔の違いからワード（単語）を決定し、ワードの発音信号データが音源メモリから読み出されるようにしている。

また、特許文献３には、書籍の文字情報あるいは朗読に必要なイントネーション等に対応する音声符号等を記録媒体に記憶させ、この記録媒体から読み出した信号で予め基本単位ごとに格納したデジタル音声を文字情報あるいは音声符号に一意に対応させてデジタル音声列を生成し、このデジタル音声列をアナログ音声に変換して出力することにより、書物を音声出力するものが記載されている。

特開平７−２４９１３０号公報 特開平８−２７９０２０号公報 特開平６−２５１７１号公報

以上のように電子漫画表示装置、電子読書装置が開示されているが、電子漫画の吹き出しを吹き出しの順序にしたがって音声出力するものはなかった。電子漫画出力装置は通勤、通学の電車、バス等の乗り物内、待ち時間などの使用形態が考えられるが、吹き出しの文字は小さい上に、携帯電子端末装置では表示面積が限定されるので吹き出し文字が小さい、あるいは明瞭な表示が困難などの技術的課題がある。

本発明はこのような問題に対して、吹き出しを音声出力することにより表示装置の技術的課題を軽減し、また吹き出しは音声で聞きながら漫画は表示装置で見ることを可能にすることで、漫画の鑑賞を十分にし、また電子漫画装置の利用範囲を拡大するものである。 さらに吹き出しの読み上げ音声出力及び漫画の表示速度を制御することで、漫画の演出効果を高めるものである。

本発明は上記課題を解決するために、コマおよび吹き出しを含む漫画の画像からイメージデータを取得するイメージデータ取得手段と、前記イメージデータから、前記コマおよび吹き出しを取得するコマ吹き出し取得手段と、前記コマ吹き出し取得手段により取得された前記コマおよび吹き出しの順序を記憶する順序テーブルと、前記吹き出しを音声信号に変換する音声信号変換手段と、前記順序テーブルに記憶されている順序に基づいて、前記イメージデータ信号に含まれるコマまたは吹き出しの提示と、前記音声信号の提示とを同期させる同期信号を生成する同期信号生成手段と、前記イメージデータ信号、音声信号および同期信号を記録する記録手段と、を備える、電子漫画製造装置を提供する。

また本発明は、前記順序テーブルは、さらに、前記コマおよび吹き出しの提示の時間間隔を記録し、前記同期信号入力手段は、前記順序テーブルに記憶された時間間隔に基づいて同期信号を入力する、電子漫画製造装置を提供する。

また本発明は、さらに、前記コマおよび吹き出しの順序または時間間隔を前記順序テーブルに登録する、順序テーブル登録手段を含む、電子漫画製造装置を提供する。

また本発明は、コマおよび吹き出しを含む漫画の画像からイメージデータを取得するイメージデータ取得ステップと、前記イメージデータから、前記コマおよび吹き出しを取得するコマ吹き出し取得ステップと、前記コマ吹き出し取得ステップにより取得された前記コマおよび吹き出しの順序を順序テーブルに記憶する記憶ステップと、前記吹き出しを音声信号に変換する音声信号変換ステップと、前記順序テーブルに記憶されている順序に基づいて、前記イメージデータ信号に含まれるコマまたは吹き出しの提示と、前記音声信号の提示とを同期させる同期信号を生成する同期信号生成ステップと、前記イメージデータ信号、音声信号および同期信号を記録する記録ステップとを備える、電子漫画製造方法を提供する。

また本発明は、コマおよび吹き出しを含む漫画の画像を取得するイメージデータ取得ステップと、前記イメージデータから、前記コマおよび吹き出しを取得するコマ吹き出し取得ステップと、前記コマ吹き出し取得ステップにより取得された前記コマおよび吹き出しの順序を順序テーブルに記憶する記憶ステップと、前記吹き出しを音声信号に変換する音声信号変換ステップと、前記順序テーブルに記憶されている順序に基づいて、前記イメージデータ信号に含まれるコマまたは吹き出しの提示と、前記音声信号の提示とを同期させる同期信号を生成する同期信号生成ステップと、前記イメージデータ信号、音声信号および同期信号を記録する記録ステップと、を記録した、コンピュータ読取り可能な記録媒体を提供する。

本発明によれば、漫画本の画像をイメージデータ信号として、吹き出しを音声信号として保存することができる。また同期信号によって吹き出しの表示と読み上げ音声信号の同期をとることができる。そして、吹き出しが音声出力されるので、吹き出しを読まずに、音声出力を聴きながら漫画の画像を集中して見ることができる。しかも漫画の画像と音声出力が同期しているので、読みやすくなる。従って、従来吹き出しを読みストーリを理解することに一生懸命になり漫画の画像を十分に見ていないことがあったが、本発明によれば漫画の画像を十分に見ることができ、漫画を鑑賞することができる。さらに、本発明は吹き出しの表示が音声出力と共に制御されるので、吹き出しを見る順序が明確になり漫画のストーリーを誤解することが少なくなる。

また本発明によれば、漫画本の画像をイメージデータ信号として、吹き出しの読み順を順序データとして保存することができる。しかも吹き出し順序データはコマの順序と吹き出しの読み順を関連づけているので、コマの順番と吹き出しの順番を同期することができる。そして吹き出しは順序データにしたがって音声に変換されて出力され、この音声出力に同期して漫画が表示される。さらに漫画の表示と音声出力を制御することにより早送り再生、スローモーション再生を行うことができる。

本発明の実施例１の電子漫画製造装置の概略図である。 本発明の実施例１の電子漫画製造装置のブロック図である。 本発明の実施例１の電子漫画出力装置の外観図である。 本発明の実施例１の電子漫画出力装置のブロック図である。 本発明の実施例２の電子漫画製造装置の概略図である。 本発明の実施例２の電子漫画製造装置のブロック図である。 本発明の実施例２の電子漫画本と読み出し順テーブルの関係を説明する図である。 本発明の実施例２の電子漫画出力装置のブロック図である。 イメージデータの文章レイアウトとその縦横射影データの状態を説明する図である。 本発明の実施例２の電子漫画出力装置の自動読み上げ部分の構成を説明するブロック図である。 自動読み上げ部分の動作説明するためのフロー図である。

（実施例１）
図１はこの発明の第１実施例による電子漫画製造装置の構成を説明する概略図を示す。図２は電子漫画製造装置のブロック図である。

図１に示すように、電子漫画製造装置はスキャナ装置２によって構成され、スキャナ装置２はスキャナ面３と、このスキャナ面を覆うカバー４、スキャナ装置の電源スイッチ（図示しない）、スキャナ動作を開始させるスタートボタン５、同期ボタン６、取り込み画像を確認するための表示装置７、表示画面上のポインタを操作するポインタ８、０〜９のテンキー９、マイク１０を備える。この他、濃度調整つまみ、表示ランプ、外部マイク等を備えるが図示しない。

このスキャナ装置２において、漫画本１をスキャナ面３上に置き、スタートボタン５を押すと、スキャナ装置が動作を開始して吹き出しを含む漫画の画像がイメージデータに変換されて電子的に取り込まれる。イメージデータの変換は１頁ずつ又は１コマずつ行われる。このイメージデータの取り込みの際に、吹き出しの読み上げ音声を同時に入力する。コマ間あるいはコマ内にある文字も読み上げて入力する。読み上げ音声は、漫画の登場人物、男女、動物、任意のキャラクター、画面全体の印象、その他に応じて読み上げ人物、男女または音質や音色を変えるのが望ましい。また適当なバックミュージックや擬音、効果音を入れれば臨場感が増す。また、吹き出しの読み上げ音声は、前記イメージデータ信号の吹き出し部分を文字認識させることにより読み上げ音声信号に変換してもよい。またイメージデータの変換と読み上げ音声を同期させる同期信号を同期ボタン６を操作して入力し、読み上げ音声信号の間に挿入する。読み上げ音声の入力及び同期信号の入力は、イメージデータの取り込みと同時に表示画面を見ながら行なっても、又は漫画本１冊（あるいは１タイトル）全部のイメージデータの取り込み後、再生して一括して表示画面を見ながら入力してもよい。

図２に電子漫画製造装置のブロック図を示すように、スキャナ装置２の全体の管理・制御はCPU１１とROM１２により行われ、スキャナ面３に漫画本１を置いて、スタートボタン５を押すと、スキャナ装置が動作を開始して、光電変換部１３が走査しイメージデータに順次変換する。光電変換部１３は高解像度のものが要求されるが、少なくともルビが読み取れる解像度が必要である。この実施例では解像度３００dpiのものを使用した。イメージデータは前処理部１４を経て記憶装置１５に保存される。また同時に吹き出しおよびコマ間あるいはコマ内にある文字を読み上げる音声は、マイク１０で音声信号に変換されて、増幅器１６で増幅し、さらにA／D（アナログ／デジタル）変換器１７でデジタル信号に変換されて、音声データ信号として記憶装置１５に保存される。また適当なバックミュージックや擬音、効果音も入力する。バックミュージックや擬音、効果音は、適当な音源から直接入力してもよい。ここで音声データ信号は、音声信号を直接的に再生することができる信号、あるいは音声信号を現わすデータ等音声データを生成することができる音声元データのことを言い、この音声元データを用いる場合は音声を生成する音声生成手段を伴って使用することを意味する。さらに同期信号は同期ボタン６から波形整形器１８を経て記憶装置１５に保存される。

このようにして作成されたイメージデータ（吹き出しを含む漫画画像）信号及び読み上げの音声データ信号と同期信号は、記憶装置１５の画像領域１５a、音声領域１５b、同期信号領域１５cにそれぞれ保存される。イメージデータ信号、読み上げの音声データ信号、同期信号は、データ圧縮および暗号化処理して保存するのが望ましい。このようなイメージデータの取り込み、吹き出しの音声入力、同期信号の入力は漫画本１冊（あるいは１タイトル）全部が終了するまで続けられる。或いはスキャナ装置の電源スイッチがオフ操作されるまで続けられる。記憶装置１５は、ＲＡＭ（ランダムアクセスメモリ）、ＣＤ−Ｒ（書き込み型コンパクトディスク）、ＦＤ（フロッピー（登録商標）ディスク）、ＨＤＤ（ハードディスク）、Ｃｌｉｋ！（米国Ｉｏｍｅｇａ社の商標）ディスクと呼ばれる超小型の磁気メモリ、フラッシュメモリ等の半導体メモリを内蔵するメモリスティック、その他適当なメモリ媒体を使用してもよい。イメージデータは表示駆動部１９を経て液晶表示装置、プラズマ、エレクトロルミネッセンス等のフラットディスプレイからなる表示装置７で表示される。表示装置はXGA(１０２４×７６８ピクセル)以上UXGA(１６００×１２００ピクセル)程度の解像度のものが望ましい。

図３は電子漫画出力装置の外観図を示し、電子漫画出力装置２０は、液晶表示装置、プラズマ、エレクトロルミネッセンス等のフラットディスプレイからなる表示装置２１と、音響出力のためのスピーカ２２又はイヤホンジャック２３を主な構成部品とし、その他には頁送りボタン２４、頁戻しボタン２５、電源スイッチ（図示しない）や表示装置上のタッチキーによって構成されるカーソルキー、メモキー、アンダーラインキー等（図示しない）を備えている。この電子漫画出力装置２０は、図４にブロック図を示すように、電子漫画出力装置２０の全体の管理、制御を行なうＣＰＵ（中央処理装置）３１、ＲＯＭ（リードオンメモリ）３２、ＲＡＭ（ランダムアクセスメモリ）３３、操作部３４、液晶表示装置等のフラットディスプレイからなる表示装置２１、表示装置２１を駆動する表示駆動部３６、電子漫画出力装置２０と前記記憶装置１５とをインタフェースするＩ／Ｆ３７、Ｄ／Ａ（デジタル／アナログ）コンバータ３８、増幅器３９、及びスピーカ２２を含む。

上記電子漫画製造装置２の記憶装置１５から直接有線又は電波や赤外線のような無線等の伝送線路を介して、或いは上記電子漫画製造装置やメモリ転写装置で作られたＲＡＭ、ＣＤ−Ｒ、ＦＤ、ＨＤＤ、Ｃｌｉｋ！（米国Ｉｏｍｅｇａ社の商標）ディスク、メモリスティック、その他適当なメモリ媒体を電子漫画出力装置に差し換えて、イメージデータ（吹き出しを含む漫画画像）信号及び読み上げの音声データ信号と同期信号が、Ｉ／Ｆ３７からRAM３３の画像領域３３a、音声領域３３b、同期信号領域３３cそれぞれに取り込まれる。この取り込みの際に、上記伝送線路、またはメモリ媒体にID番号を付すと共に電子漫画出力装置を個別に特定するID番号を付し、伝送線路またはメモリ媒体のID番号と電子漫画出力装置２０のID番号の一致をとる。両者のID番号が一致するときは取り込みが行われるが、両者のID番号が一致しないときは取り込みを阻止する。これによって、不正使用を防止する。イメージデータ信号及び読み上げ音声信号と同期信号は、電子漫画製造装置でデータ圧縮および暗号化が施されているので、データ伸長および解読を行い、もとのデータに戻す。

RAM３３の画像領域３３aにメモリされたイメージデータ信号は、表示駆動部３６を経て表示装置２１で吹き出しを含む漫画のイメージデータが画像表示される。表示装置２１はルビが表示できるようXGA(１０２４×７６８ピクセル)以上UXGA(１６００×１２００ピクセル)程度の解像度のものが望ましい。また音声領域３３bにメモリされた音声データ信号は、Ｄ／Ａコンバータ３８、増幅器３９を経てスピーカ２２から出力される。同期信号によって音声データ信号の出力と吹き出しの順次表示を同期させたり、吹き出しの色を変えたり、大きさを変えたりすれば、吹き出しの音声出力に合わせて吹き出しを読むことが容易になる。そして、同期信号領域３３cにメモリされた同期信号は、イメージデータ信号と音声データ信号の同期をとり、表示頁（又はコマ）と出力音声が同期され、順番に次の頁（又はコマ）、次の音声に送られる。同期信号によって画像表示と音声出力の速度を変えることにより、スローモーション再生、早送り再生をすることができる。音声データ信号にバックミュージックや擬音、効果音が含まれている場合は、同期信号に制御されて表示頁（又はコマ）に合わせて音声出力される。スローモーション再生、早送り再生のときバックミュージックや擬音、効果音を省略してもよい。このような動作は、漫画の１タイトル、または１冊の本が終了するまで続けられる。あるいは電子漫画出力装置の終了スイッチが操作されるまで続けられる。
（実施例２）
図５はこの発明の第２実施例による電子漫画製造装置の構成を説明する概略図、図６はこの発明による電子漫画製造装置を示すブロック図である。図７は漫画本と吹き出し順序テーブルの関係を説明する図である。

図５に示すように、電子漫画製造装置はスキャナ装置４２によって構成され、スキャナ装置４２はスキャナ面４３と、このスキャナ面を覆うカバー（図示しない）、スキャナ装置の電源スイッチ（図示しない）、スキャナ動作を開始させるスタートボタン４４、同期ボタン４５、表示画面上のポインタを操作するポインタ４６、０〜９のテンキー４７、マウス４８、取り込み画像を確認するための表示装置４９を備える。この他、濃度調整つまみ、表示ランプ等を備えるが図示しない。このスキャナ装置４２において、漫画本４１をスキャナ面４３上に置き、スタートボタン４４を押すと、スキャナ装置４２が動作を開始して吹き出しを含む漫画の画像がイメージデータに変換されて電子的に取り込まれる。この電子的取り込みは１ページ分でも、１コマ分でもよい。

このイメージデータ取り込みの際に、コマの位置、吹き出しの位置、吹き出し領域（大きさ）を、マウス４８のクリック操作またはポインタ４６から入力し、漫画のコマ順、吹き出しの読み順を、テンキー４７から入力する。またコマ間あるいはコマ内にある文字の位置と読み順を、吹き出しの読み順の中にマウス４８、ポインタ４６、テンキー４７より割り込ませて入力する。コマの位置、吹き出しの位置、吹き出し領域（大きさ）、文字の位置と、コマ順、吹き出しの読み順、文字の読み順の入力は、スキャナの画像取り込みと同時に表示装置４９の画面を見ながら行なっても、又は漫画本１冊（あるいは１タイトル）全部のイメージデータの取り込み後、再生して一括して表示装置４９を見ながら入力してもよい。更にはコマ位置、吹き出し位置、吹き出し領域（大きさ）はイメージデータからコマ及び吹き出しの形状をパターン認識することにより自動的に入力されるようにしてもよい。またコマ順、吹き出しの読み順、文字の読み順は、縦方向、横方向の規則性（例えば、上から順に、左側から順に）により自動的に決定して入力されるようにしてもよい。

図６に電子漫画製造装置のブロック図を示す。スキャナ装置４２の全体の管理・制御はCPU５１とROM５２により行われ、スキャナ面４３に漫画本４１を置いて、スタートボタン４４を押すと、スキャナ装置が動作を開始して、光電変換部５３が走査しイメージデータに順次変換する。光電変換部１３は高解像度のものが要求されるが、少なくともルビが読み取れる解像度が必要である。この実施例では解像度３００dpiのものを使用した。吹き出しを含む漫画の画像はイメージデータとして前処理部５４を経て記憶装置５５の画像領域５５aに保存される。また同時にコマの位置、吹き出しの位置、吹き出し領域（大きさ）がマウス４８のクリック操作またはポインタ４６から入力され、漫画のコマ順、吹き出しの読み順がテンキー４７から入力される。またコマ間あるいはコマ内にある文字の位置、読み順もマウス４８、ポインタ４６、テンキー４７より入力される。さらに前記イメージデータと前記吹き出しの読み順とを同期させる同期信号が同期ボタン４５から入力される。これら入力信号は波形整形器５６を経て記憶装置５５の順序テーブル領域５５b及び同期信号領域５５cに保存される。イメージデータ信号、コマの位置、吹き出しの位置、吹き出し領域（大きさ）、コマ順、吹き出しの読み順、コマ間あるいはコマ内にある文字の位置、読み順、同期信号は、データ圧縮および暗号化処理して保存するのが望ましい。

記憶装置５５は、ＲＡＭ、ＣＤ−Ｒ、ＦＤ、ＨＤＤ、Ｃｌｉｋ！（米国Ｉｏｍｅｇａ社の商標）ディスク、メモリスティック、その他適当なメモリ媒体を使用してもよい。イメージデータは表示駆動部５７を経て液晶表示装置、プラズマ、エレクトロルミネッセンス等のフラットディスプレイからなる表示装置４９で表示される。

上記コマ位置、吹き出し位置、吹き出し領域（大きさ）、文字位置と、コマ順、吹き出し順、文字の読み順は図７に示す吹き出し順序テーブルとして、記憶装置５５の順序テーブル領域５５bに保存される。図７（a）は吹き出しを有する漫画の１例を示し、図７（b）は図７（a）に示した漫画の吹き出し順序テーブルを示す。この吹き出し順序テーブルにおいて、コマ位置、吹き出し位置、文字位置はXY座標で表わされ、コマ順は番号が順番に付される。また吹き出し順と文字順は、連続の番号が付される。必要に応じて吹き出しと吹き出しの間に適当な時間間隔を置く時間データを設ける。あるいは吹き出しの読み上げ時刻を順次指定する時刻データでもよい。時間テーブルあるいは読み上げ時刻データを設けることで吹き出し、文字の読み上げに緩急をつけ、より臨場感を出すことができる。時間テーブルあるいは時刻テーブルに適当な係数を掛けることにより、任意の速度で早送り再生、スローモーション再生することができる。また、必要に応じて漫画の登場人物、男女、動物、その他キャラクターや吹き出しの大きさ、文字フォント、文字ポイント数、長音記号、クエスチョンマーク、クォーテーションマークのような文字の形状、記号、大きさ或いは画像全体の印象、テキストの文体に応じてフラグを付け、音質、音色、大きさ、長さを変えるのが望ましく、またバックミュージック擬音、効果音を入れることも可能である。吹き出し文字はパターンとして記憶されても、またパターン認識されて文字コードに変換されてもよい。

以上のようなイメージデータの取り込み、コマ位置、吹き出し位置、文字位置の入力、コマ順、吹き出し順、文字の読み順の入力は、漫画本１冊（あるいは１タイトル）全部が終了するまで続けられる。或いはスキャナ装置の電源スイッチがオフ操作されるまで続けられる。

実施例２の電子漫画出力装置は表示装置、スピーカ、イヤホンジャック等を備えるが、外観は実施例１と同様であるので説明を省略し、その内部構成を図８の電子漫画出力装置のブロック図とともに説明する。電子漫画出力装置６０は、全体の管理、制御を行なうＣＰＵ（中央処理装置）６１、電子漫画出力装置６０のプログラム処理に必要とされる作業用の手順を記憶しているＲＯＭ（リードオンメモリ）６２、ＲＡＭ６４、操作部６５、液晶時表示装置等のフラットディスプレイからなる表示装置６６、表示装置６６を駆動する表示駆動部６７、電子漫画出力装置６０と記憶媒体とをインタフェースするＩ／Ｆ６８、文字認識装置６９、言語処理装置７０、音声合成装置７１、及びスピーカ７２からなる。

上記電子漫画製造装置の記憶装置５５から直接有線又は電波や赤外線のような無線等の伝送線路を介して、或いは上記電子漫画製造装置やメモリ転写装置で作られたＲＡＭ、ＣＤ−Ｒ、ＦＤ、ＨＤＤ、Ｃｌｉｋ！（米国Ｉｏｍｅｇａ社の商標）ディスク、メモリスティック、その他適当なメモリ媒体を電子漫画製造装置に差し換えて、イメージデータ（吹き出しを含む漫画画像）信号及び順序テーブルと同期信号は、Ｉ／Ｆ６８からRAM６４に取り込まれる。この取り込みの際に、上記伝送線路、またはメモリ媒体にID番号を付すと共に電子漫画出力装置を個別に特定するID番号を付し、伝送線路またはメモリ媒体のID番号と電子漫画出力装置２０のID番号の一致をとる。両者のID番号が一致するときは取り込みが行われるが、両者のID番号が一致しないときは取り込みを阻止する。これによって、不正使用を防止する。イメージデータ信号及び順序テーブルと同期信号は、電子漫画製造装置でデータ圧縮および暗号化が施されているので、データ伸長および解読を行い、もとのデータに戻す。

RAM６４の画像領域６４aにメモリされたイメージデータ信号は、表示駆動部６７を経て表示装置６６で吹き出しを含む漫画のイメージデータが画像として表示される。表示装置６６はルビが表示できるようXGA(１０２４×７６８ピクセル)以上UXGA(１６００×１２００ピクセル)程度の解像度のものが望ましい。順序テーブル領域６４bにメモリされた順序テーブル信号は、番号順にしたがってイメージデータから吹き出しが取り出されて吹き出しの文字がパターン認識され、パターン認識された吹き出しの文字は、文字認識装置６９で文字認識されて文字コードを生成し、この文字コードが言語処理装置７０で音声合成用パラメータを生成する。そしてこの音声合成用パラメータに基づいて音声合成を行い、音声出力する。画像表示と音声出力は同期信号によって同期が取られ、順次コマを移動していく。音声出力の速度、コマ移動の速度は時間テーブルあるいは時刻テーブルによって制御される。従って時間テーブルあるいは時刻テーブルに適当な係数を掛けて任意の速度で早送り、スローモーション再生することができる。また時間テーブルあるいは時刻テーブルを任意に変化させて吹き出しの読み上げ速度、コマ移動の速度に緩急を付けることができる。

ここで、吹き出しの位置検出、吹き出し文字の文字認識と、コマ間やコマ内に書かれた文字の位置検出、文字認識を行う文字認識装置６９と、言語処理装置７０、音声合成装置７１について、図９のイメージデータとその縦横射影データの状態を説明する図、図１０の自動読み上げ部分のブロック図、図１１の自動読み上げ部分の動作フロー図と共に詳細説明する。

電子漫画出力装置の動作が開始されると（ステップS1）、イメージデータ、順序データ、同期データが取り出される（ステップS2）。イメージデータは表示駆動部６７を経て表示装置６６で画像表示されるとともに、順序データに従ってイメージデータ中の吹き出しが取り出される（ステップS3）。次にステップS4では吹き出しの文字が文字データであるときはステップS7に移るが、文字データでないときは、図９に示すようにレイアウト処理部８１で、イメージデータA0としてレイアウト処理が行われる（ステップS5）。レイアウト処理は、吹き出し位置と吹き出し領域（大きさ）を順序テーブルのXY座標データにより位置検出を行う。吹き出し領域内の吹き出し文字は、イメージデータA1を縦方向と横方向に射影し、得られた縦方向射影データAvと、横方向射影データAhに基づいて吹き出し文字位置、幅、１文字分長さを検出する。吹き出しの文字が縦または横方向に記載されている場合は、上記の方法により縦書き、横書きとともに、吹き出し文字位置、幅、１文字分長さが検出されるが、文字が斜め方向に記載され、縦方向射影データAvと、横方向射影データAhが得られないときは、縦方向射影データAvと横方向射影データAhがきれいに得られるまで射影方向を回転させ、縦方向射影データAvと横方向射影データAhを得る。次に、文字認識部８２において、１文字ごとのイメージデータに切り出し、内部辞書８３から順次的に読み出した基準文字データとのパターンマッチングに基づいて、その切り出した１文字のイメージデータの文字認識を行って文字コードを確定し、確定された文字コードを言語処理装置７０に転送する（ステップS6）。このような文字認識と転送とを順次時系列的に実行する。ここで、吹き出しの文字が電子漫画製造装置でパターン認識されて文字コードに変換され、電子漫画出力装置に文字コードが与えられる場合は、上記文字認識装置６９の動作をなくして、直接文字コードを次の言語処理装置に送る。

言語処理装置７０は漢字かな変換部８４と形態素解析部８５とからなり、漢字かな変換部８４においては、時系列的に送られてくる文字コードをひらかなコードに変換する（ステップS7）。そして、形態素解析部８５は文章を単語単位と文節単位に区切る解析を行う（ステップS8）。このように処理された単位のひらかなコード列は時系列的に音声合成装置７１に転送される。言語処理装置７０では、漫画の登場人物、男女、動物、その他キャラクターや吹き出しの大きさ、文字フォント、文字ポイント数、長音記号のような文字の形状、大きさ或いは画像全体の印象、テキストの文体に応じて付されたフラッグを判別して、音質、音色、大きさ、長さを変える。音声合成装置７１の音韻・韻律制御部８６は、音韻制御や、アクセント辞書などに基づく単語のアクセント付けである韻律制御を行って音声合成用パラメータを生成する（ステップS9）。そして、音声合成装置７１においては、DSP（デジタル・シグナル・プロセッサ）８７などにより、入力した単位のひらかなコード列を音声合成用パラメータに基づいて合成音声データに変換する（ステップS10）。次いで音声出力部８８において、D／A変換やフィルタリングなどの出力処理を行う。このような処理は順次時系列的に行われ、増幅器を経てスピーカ７２から合成音声を順次出力していく（ステップS11）。

以上の動作は順序テーブルの順番が終了するまで続けられる。このようにして、漫画に書かれた吹き出しの文字やコマ間あるいはコマ内に書かれた文字が音声出力される。

文字認識をするとき、順序テーブルのフラグにより漫画の登場人物、動物、その他キャラクターや文字フォント、文字ポイント数のような形状、大きさも認識して形状、大きさに合わせた音色、大きさで合成音声を出力すれば、臨場感、雰囲気を出すことができる。そして、同期信号領域３３cにメモリされた同期信号は、イメージデータ信号と音声信号の同期をとり、表示頁（又はコマ）と出力音声が同期され、順番に次の頁（又はコマ）、次の音声に送られる。音声信号にバックミュージックや擬音、効果音が含まれている場合は、同期信号に制御されて表示頁（又はコマ）に合わせて音声出力される。このような動作は、漫画の１タイトル、または１冊の本が終了するまで続けられる。あるいは電子漫画出力装置の終了スイッチが操作されるまで続けられる。

１、４１ 漫画本
２、４２ スキャナ装置
７、４９ 表示装置
１０ マイク
１３、５３ 光電変換部
１５、５５ 記憶装置
２０、６０ 電子漫画出力装置
２１ 表示装置
２２ スピーカ
３４、６５ 操作部
３６、６７ 表示駆動部
６９ 文字認識装置
７０ 言語処理装置
７１ 音声合成装置

Claims (5)

1. コマおよび吹き出しを含む漫画の画像からイメージデータを取得するイメージデータ取得手段と、
   前記イメージデータから、前記コマおよび吹き出しを取得するコマ吹き出し取得手段と、
   前記コマ吹き出し取得手段により取得された前記コマおよび吹き出しの順序を記憶する順序テーブルと、
   前記吹き出しを音声信号に変換する音声信号変換手段と、
   前記順序テーブルに記憶されている順序に基づいて、前記イメージデータ信号に含まれるコマまたは吹き出しの提示と、前記音声信号の提示とを同期させる同期信号を生成する同期信号生成手段と、
   前記イメージデータ信号、音声信号および同期信号を記録する記録手段と、
   を備える、電子漫画製造装置。
2. 前記順序テーブルは、さらに、前記コマおよび吹き出しの提示の時間間隔を記録し、
   前記同期信号入力手段は、前記順序テーブルに記憶された時間間隔に基づいて同期信号を入力する、請求項１に記載の電子漫画製造装置。
3. さらに、前記コマおよび吹き出しの順序または時間間隔を前記順序テーブルに登録する、順序テーブル登録手段を含む、請求項１または請求項２に記載の電子漫画製造装置。
4. コマおよび吹き出しを含む漫画の画像からイメージデータを取得するイメージデータ取得ステップと、
   前記イメージデータから、前記コマおよび吹き出しを取得するコマ吹き出し取得ステップと、
   前記コマ吹き出し取得ステップにより取得された前記コマおよび吹き出しの順序を順序テーブルに記憶する記憶ステップと、
   前記吹き出しを音声信号に変換する音声信号変換ステップと、
   前記順序テーブルに記憶されている順序に基づいて、前記イメージデータ信号に含まれるコマまたは吹き出しの提示と、前記音声信号の提示とを同期させる同期信号を生成する同期信号生成ステップと、
   前記イメージデータ信号、音声信号および同期信号を記録する記録ステップと、
   を備える、電子漫画製造方法。
5. コマおよび吹き出しを含む漫画の画像を取得するイメージデータ取得ステップと、
   前記イメージデータから、前記コマおよび吹き出しを取得するコマ吹き出し取得ステップと、
   前記コマ吹き出し取得ステップにより取得された前記コマおよび吹き出しの順序を順序テーブルに記憶する記憶ステップと、
   前記吹き出しを音声信号に変換する音声信号変換ステップと、
   前記順序テーブルに記憶されている順序に基づいて、前記イメージデータ信号に含まれるコマまたは吹き出しの提示と、前記音声信号の提示とを同期させる同期信号を生成する同期信号生成ステップと、
   前記イメージデータ信号、音声信号および同期信号を記録する記録ステップと、
   を記録した、コンピュータ読取り可能な記録媒体。

Images