JP2003109022A - 図書製作システムと図書製作方法 - Google Patents

Abstract

(57)【要約】 【課題】 視聴情報源を自動分析することによって絵
本、画集、漫画、電子書等の図書文書を生成する図書製
作システムと方法とを提供する。 【解決手段】 本発明に係る図書製作システムは、文字
部分８０１と挿絵部分８０２を含む図書８０を生成する
ために用いられ、元の視聴情報データ４０を受信する視
聴情報受信モジュール１０１と、元の視聴情報データを
解読することによって視聴情報データを得る解読モジュ
ール１０２と、製作方針に基づいて視聴情報データより
文字部分８０１を取得する文字取得モジュール１０４
と、製作方針５０に基づいて視聴情報データより少なく
とも一つのキー画面を取得し挿絵部分８０２とする挿絵
取得モジュール１０５と、取得した文字部分８０１と挿
絵部分８０２とに基づいて図書８０を生成する図書生成
モジュール１０７と、を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、図書製作システム
と方法に関し、特にコンピュータソフトウェアで視聴情
報源を分析することによって、絵本、画集、漫画、電子
書等の図書文書を自動的に生成する図書製作システムと
方法に関する。

【０００２】

【従来の技術】現在、絵本、画集、漫画、電子書等の図
書を製作する際に、その内容として通常人工の絵図を利
用するか、或いはコンピュータにより単独画像を編集整
理することによって、書物を総編成する。

【０００３】しかし、デジタルカメラ、テレビチューナ
ーカード（ＴＶ Ｔｕｎｅｒ Ｃａｒｄ）、セットアッ
プボックス（Ｓｅｔｕｐ Ｂｏｘ）、ＤＶＤ，ＶＣＤ等
の電子情報機器の普及に伴い、使用者は容易にデジタル
視聴情報を得る事ができるようになったので、コンピュ
ータを利用して視聴情報源を処理することによって図書
文書を生成することは、コンピュータマルチメディア領
域での重要な応用分野となり、かつ需要も増加してい
る。

【０００４】得られた画像データが単独画像ではなく、
上述したような連続画像の視聴情報源である場合に、使
用者はまず連続画像の視聴情報源を複数の画像に分解し
てから、コンピュータによりこの複数の画像を冊子に編
集整理することができる。しかし、一般の視聴情報内容
（Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ）において、ＮＴＳＣ仕
様では、一秒間に放映できるのは大抵２９.９７枚の画
像を含む連続切り替えであり、一方ＰＡＬ仕様では、一
秒間で放映できるのは大抵２５枚の画像を含む連続切り
替えであるため、一分間の視聴情報内容は１５００〜１
８００枚の画像ともなり、これらの画像を１枚１枚編集
することは、使用者にとって非常に手間がかかり効率が
悪い。

【０００５】

【発明が解決しようとする課題】上述した内容から判る
ように、どのように視聴情報内容を効果的に利用し、絵
本、画集、漫画、電子書等の図書文書を生成するかとい
うことが、現在の重要な課題となっている。

【０００６】前述の課題に鑑み、本発明は、視聴情報源
を自動分析することによって絵本、画集、漫画、電子書
等の図書文書を生成する図書製作システムと方法を提供
することを目的とする。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明に係る図書製作システムは、文字部分及び
挿絵部分を含む図書を生成するために用いられ、元の視
聴情報データを受信する視聴情報受信モジュールと、元
の視聴情報データを解読することによって視聴情報デー
タを得る解読モジュールと、製作方針に基づいて視聴情
報データより文字部分を取得する文字取得モジュール
と、製作方針に基づいて視聴情報データより少なくとも
一つのキー画面を取得し挿絵部分とする挿絵取得モジュ
ールと、取得した文字部分と挿絵部分とに基づいて図書
を生成する図書生成モジュールとを備える。

【０００８】また、本発明に係る図書製作システムは、
更に、使用者の操作を受信することによって、図書の内
容に対して編集を行う編集モジュールと、使用者が必要
とし選択する少なくとも一つの図書フォーマットを受信
する図書フォーマット選択モジュールと、使用者が必要
とし選択する製作方針を受信する製作方針選択モジュー
ルとを備える。図書生成モジュールは、選択された図書
フォーマットを適用し、文字部分と挿絵部分とをレイア
ウト構成することによって図書を生成する。

【０００９】なお、製作方針選択モジュールの選択でき
る製作方針は、視聴情報データ中の音声情報データを分
析する音声情報（ａｕｄｉｏ）分析アルゴリズムと、視
聴情報データの字幕データを分析する字幕（ｃａｐｔｉ
ｏｎ）分析アルゴリズムと、視聴情報データのシーン／
ショット変換データを分析するシーン／ショット変換分
析アルゴリズムと、視聴情報データの画像データを分析
するとともに、画像データとあらかじめ提供された画像
模範事例データまたは物体データとを対比分析し、或い
は画像データ中の字幕画像データを分析する画像分析ア
ルゴリズムとを含む。

【００１０】従って、文字取得モジュールと挿絵取得モ
ジュールは、上述した音声情報分析アルゴリズムと、字
幕分析アルゴリズムと、シーン／ショット変換分析アル
ゴリズムと、画像分析アルゴリズムとに基づき、図書を
製作するのに必要な文字部分と挿絵部分等のデータを取
得し、そして図書生成モジュールは、上述した文字部分
と挿絵部分とを図書フォーマットに適用することによっ
て、絵本、画集、漫画、電子書等の図書文書を自動的に
生成する。

【００１１】本発明に係る図書製作方法は、元の視聴情
報データを受信する視聴情報受信ステップと、元の視聴
情報データを解読し、視聴情報データを取得する解読ス
テップと、視聴情報データより図書製作に必要な文字部
分を取得する文字取得ステップと、視聴情報デー中より
図書製作に必要な挿絵部分を取得する挿絵取得ステップ
と、取得した文字部分と挿絵部分とに基づいて図書を生
成する図書生成ステップと、を有する。

【００１２】また、本発明に係る図書製作方法は、更
に、図書の生成後、図書の内容を編集する編集ステップ
と、使用者が必要な図書フォーマットを選択する図書フ
ォーマット選択ステップと、使用者が必要な製作方針を
選択する製作方針選択ステップとを有する。ここで、図
書生成ステップでは、図書フォーマット選択ステップで
選択した図書フォーマットを適用して図書を生成する。

【００１３】本発明に係る図書製作システムと方法とに
よれば、視聴情報源を自動分析することができ、多種の
視聴情報フォーマットと組み合わせ、視聴情報内容分
析、文字判別、音声判別等の技術をすべて合わせること
により絵本、画集、漫画、電子図書等の図書文書を生成
するため、効率良く視聴情報内容を利用して図書文書を
生成することができる。

【００１４】

【発明の実施の形態】以下、本発明の好適な実施の形態
に係る図書製作システムと方法とについて、図面を参照
して説明する。

【００１５】図１に示すように、本発明の好適な実施の
形態に係る図書製作システム１は、文字部分８０１及び
挿絵部分８０２を含む図書８０を生成するために用いら
れ、視聴情報受信モジュール１０１と、解読モジュール
１０２と、製作方針選択モジュール１０３と、文字取得
モジュール１０４と、挿絵取得モジュール１０５と、図
書フォーマット選択モジュール１０６と、図書生成モジ
ュール１０７と、編集モジュール１０８と、を備える。

【００１６】本実施の形態において、図書製作システム
１は、従来のコンピュータ設備６０に応用することがで
きる。コンピュータ設備６０は、信号源インターフェイ
ス６０１と、メモリー６０２と、ＣＰＵ６０３と、入力
装置６０４と、保存装置６０５と、を備える。信号源イ
ンターフェイス６０１は、デジタルカメラのような信号
源出力装置或いはＶＣＤ、ＤＶＤ等のような信号源記録
装置と接続する、例えばＣＤ−ＲＯＭ、Ｆｉｒｅ Ｗｉ
ｒｅ（ＩＥＥＥ １３９４ Ｉｎｔｅｒｆａｃｅ）、Ｕ
ＳＢ等のインターフェイス装置である。メモリー６０２
は、ＤＲＡＭ或いはＥＥＰＲＯＭ等のどれか一種或いは
数種の、コンピュータ装置に設置された一時保存メモリ
ーである。ＣＰＵ６０３は、ＡＬＵ、一時保存機器、コ
ントロール機器等のようなどれか一種の従来のＣＰＵ構
造を採用することによって各種データの処理と演算とを
行ない、コンピュータ設備６０中の各部の動作をコント
ロールする。入力装置６０４は、使用者自らが情報を入
力し、或いは各ソフトモジュールの装置を操作するもの
であり、例えばマウス、キーボード等である。保存装置
６０５は、ハードディスク、ソフトディスク等のどれか
一種或いは数種からなるコンピュータ読み取り可能なデ
ータ保存装置である。

【００１７】本実施の形態における各モジュールは、保
存装置６０５或いは記録媒体に保存されるソフトウェア
モジュールである。ＣＰＵ６０３は、各モジュールを読
み取った後、コンピュータ設備６０の各デバイスを通じ
て各モジュールの機能を実行する。また、本実施の形態
に係るソフトウェアモジュールは、ＡＳＩＣチップ等の
ようなハードウェアに製作することもできる。

【００１８】以下、本実施の形態における各モジュール
の機能について詳細に説明する。

【００１９】本実施の形態において、視聴情報受信モジ
ュール１０１は、元の視聴情報データ４０を受信する。
解読モジュール１０２は、元の視聴情報データ４０を解
読することによって、視聴情報データ４１を取得する。
以後、元の視聴情報データを視聴情報データ４０とし、
解読された視聴情報データを視聴情報データ４１として
示す。製作方針選択モジュール１０３は、使用者の操作
を受信することによって必要な製作方針５０を選択す
る。文字取得モジュール１０４は、製作方針５０に基づ
いて、視聴情報データ４１より文字部分８０１を取得す
る。挿絵取得モジュール１０５は、製作方針５０に基づ
いて、視聴情報データ４１より少なくとも一つのキー画
面を取得し、挿絵部分８０２とする。図書フォーマット
選択モジュール１０６は、使用者の選択を受信すること
によって少なくとも一つの図書フォーマット７０を提供
する。図書生成モジュール１０７は、図書フォーマット
７０を適用し、取得したすべての文字部分８０１と挿絵
部分８０２とに基づいて図書８０を生成する。編集モジ
ュール１０８は、図書８０を生成した後、使用者の操作
を受信し、図書８０の内容を編集する。

【００２０】また、視聴情報受信モジュール１０１は、
信号源インターフェイス６０１と連携する。例えば、視
聴情報受信モジュール１０１は、Ｆｉｒｅ Ｗｉｒｅ
（ＩＥＥＥ １３９４ Ｉｎｔｅｒｆａｃｅ）を介し
て、デジタルカメラに保存された元の視聴情報データ４
０を取得するか、或いはＣＤ−ＲＯＭを介してＶＣＤや
ＤＶＤに保存された元の視聴情報データ４０を取得す
る。元の視聴情報データ４０は、各種視聴情報取得装
置、或いはデジタルカメラ、ＴＶチューナーカード、セ
ットアップボックス等のような受信装置、及びＤＶＤ、
ＶＣＤのような各種視聴情報データ保存装置によって、
保存、送信、放送、受信される視聴情報源であり、各種
情報データフォーマット（ＭＰＥＧ−１、ＭＰＥＧ−
２、ＭＰＥＧ−４、ＡＶＩ、ＡＳＦ、ＭＯＶ等）によっ
て保存、送信、放送、受信されることができる。

【００２１】解読モジュール１０２は、入力された元の
視聴情報データ４０の視聴情報フォーマット、エンコー
ド方式、圧縮方式に対して、解読を行ない、エンコード
前のデータ或いは、エンコード前に近似したデータに転
換還元する。例えば、エンコード方式が非可逆圧縮方式
（Ｌｏｓｓｙ Ｃｏｍｐｒｅｓｓｉｏｎ）である場合、
解読後エンコード前に近似したデータのみを得ることに
よって、視聴情報データ４１を生成する。視聴情報デー
タ４１は、音声情報データ４１１と、字幕データ４１２
と、画像データ４１３と、を含む。音声情報データ４１
１は、視聴情報データ４１で発する音声である。字幕情
報データ４１２は、画像データ４１３に合わせてディス
プレイに表示する字幕スーパー（ｃａｐｔｉｏｎ ｓｔ
ｒｅａｍ）である。画像データ４１３は、視聴情報デー
タ４１が表示するすべての単独画像であり、通常毎秒２
５枚の単独画像或いは２９.９７枚の画像の連続放映に
よって構成される。

【００２２】製作方針選択モジュール１０３は、入力装
置６０４と連携することにより、使用者が入力装置６０
４を利用して図書８０を製作する際に従うべき方針を選
択する。本実施の形態で提供する製作方針５０は、音声
情報分析アルゴリズム（演算法則）５０１と、字幕分析
アルゴリズム（演算法則）５０２と、画像分析アルゴリ
ズム（演算法則）５０３と、シーン／ショット変換分析
アルゴリズム（演算法則）５０４と、を有する。

【００２３】音声情報分析アルゴリズム５０１は、視聴
情報データ４１の音声情報データ４１１を分析するとと
もに、特徴抽出（Ｆｅａｔｕｒｅｓ Ｅｘｔｒａｃｔｉ
ｏｎ）と特徴整合（Ｆｅａｔｕｒｅ Ｍａｔｃｈｉｎ
ｇ）方式を利用して分析を行う。音声情報データ４１１
の特徴は、例えばスペクトル特徴（ＳｐｅｃｔｒａｌＦ
ｅａｔｕｒｅｓ）と、音量（Ｖｏｌｕｍｅ）と、ゼロク
ロス数（Ｚｅｒｏ Ｃｒｏｓｓｉｎｇ Ｒａｔｅ）と、
音調（Ｐｉｔｃｈ）等を有する。

【００２４】スペクトル特徴（Ｓｐｅｃｔｒａｌ Ｆｅ
ａｔｕｒｅｓ）が抽出された後、ノイズ減少（Ｎｏｉｓ
ｅ Ｒｅｄｕｃｔｉｏｎ）、分割（Ｓｅｇｍｅｎｔａｔ
ｉｏｎ）を介して、高速フーリエ変換（Ｆａｓｔ Ｆｏ
ｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）によって、音声情報
データ４１１を周波数帯域（Ｆｒｅｑｕｅｎｃｙ）へ転
換し、その後、頻度ウエーブ・フィルタにより、一つの
スペクトル特徴方向量を組成する特徴値を抽出する。音
量は、容易に計測できる特徴であり、二乗平均平方根
（ＲＭＳ、Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ）でその
特徴値を代表し、その後、音量分析によって分割（Ｓｅ
ｇｍｅｎｔａｔｉｏｎ）を実行し、即ち、サイレンス検
出（Ｓｉｌｅｎｃｅ Ｄｅｔｅｃｔｉｏｎ）によって音
声情報データ４１１の段落境界（Ｂｏｕｎｄａｒｉｅ
ｓ）を決定する。ゼロクロス数は、各段落（Ｃｌｉｐ
ｓ）の音声波形（Ｗａｖｅｆｏｒｍ）とゼロ軸とが交差
する回数を計算した結果である。音調は、音声波形の基
本周波である。

【００２５】音声情報データ４１１は、上述した音声情
報特徴及びその特徴値によって構成された特徴方向量と
音声情報テンプレート（Ａｕｄｉｏ ｔｅｍｐｌａｔｅ
ｓ）の特徴を利用して分析対比を行うことによって、必
要な音声情報データ４１１を取得するとともに、言語音
声判別技術によって文字部分８０１を取得し、また視聴
情報データ４１から必要とする音声情報データ４１１と
対応する映像データ４１３を取得し、挿絵部分８０２と
する。

【００２６】本実施の形態において、音声情報分析アル
ゴリズム５０１は、音楽（Ｍｕｓｉｃ）、言語音声（Ｓ
ｐｅｅｃｈ）、動物の泣き声（Ａｎｉｍａｌ Ｓｏｕｎ
ｄ）、男声（Ｍａｌｅ Ｓｐｅｅｃｈ）、女声（Ｆｅｍ
ａｌｅ Ｓｐｅｅｃｈ）等のような音声情報サンプル類
別をあらかじめ提供し、使用者の検索したい音声情報類
別を選択ことができる。このため、特徴整合は、許容範
囲内で音声情報データ４１１との特徴方向量（Ｆｅａｔ
ｕｒｅ Ｖｅｃｔｏｒ）が最短ユークリッド距離（Ｅｕ
ｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ）を持つ音声情報サ
ンプル類別を検索する。この最も近い音声情報サンプル
類別は使用者の選択した音声情報類別と同様である場
合、前記音声情報データ４１１が検索条件と一致するこ
とになる。

【００２７】また最短幾何距離の逆関数（Ｉｎｖｅｒｓ
ｅ）で選択した音声情報データ４１１の信頼度（Ｃｏｎ
ｆｉｄｅｎｃｅ）を表示し、一致した音声情報サンプル
類別の音声情報データ４１１より対応する視聴情報画面
段落（Ｃｌｉｐｓ）を探し出すとともに、このような視
聴情報画面段落の各画面中から、必要とする画像を選択
し、挿絵部分８０２とする。

【００２８】また、視聴情報データ４１が字幕スーパー
を含む場合、選択した音声情報データ４１１の対応した
視聴情報データ４１内の字幕スーパーを解読し、図書８
０の文字部分８０１とする。視聴情報データ４１が、字
幕スーパーを含まない場合、選択した音声情報データ４
１１内の音声情報データを解読するとともに、言語音声
分析（Ｓｐｅｅｃｈ Ａｎａｌｙｓｉｓ）を利用して、
言語音声と文字（Ｖｏｉｃｅ ｔｏ Ｔｅｘｔ）の転換
処理を行うことによって、図書８０の文字部分８０１と
する。なお、音声情報分析アルゴリズム５０１の演算の
複雑度は、画像或いは視覚（Ｖｉｓｕａｌ）分析よりも
低く、画像或いは視覚（Ｖｉｓｕａｌ）分析の案内及び
補助データとすることもできる。

【００２９】字幕分析アルゴリズム５０２は、視聴情報
データ４１における字幕データ４１２を分析するととも
に、字幕を備えた視聴情報画面を選別する。言い換える
と、視聴情報データ４１が字幕スーパーを含む場合、字
幕スーパーを解読し、文字部分８０１とするとともに、
字幕と対応かつ同調する第一視聴情報画面を検索し、挿
絵部分８０２とする。一方、視聴情報データ４１が字幕
スーパーを含まず、字幕が視聴情報映像に含まれる場
合、文字判別技術で字幕を視聴情報映像より抽出し、文
字部分８０１とするとともに、選別取得した視聴情報デ
ータに対して画像処理をし、字幕を移動除去する（前後
の視聴情報映像のデータにより演算処理を行う）ことに
よって、無字幕視聴情報画像を取得し、挿絵部分８０２
とする。なお、文字判別技術は、主に光学的手法による
文字認識技術（ＯＣＲ、Ｏｐｔｉｃａｌ Ｃｈａｒａｃ
ｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を利用して文字判別
を行う。

【００３０】画像分析アルゴリズム５０３は、視聴情報
データ４１の画像データ４１３を分析し、色彩、模様、
形状、動作、位置等の基本視覚特徴を分析判断の根拠と
する。本実施の形態において、字幕が視聴情報画像に含
まれる場合、文字判別技術によって字幕を視聴情報画像
より抽出し、文字部分８０１とする。また、視聴情報デ
ータ４１と画像模範事例データ５０３１とを比較するこ
とによって、画像視覚特徴の大きく類似した画面を検索
するか、画像視覚特徴の大きく相違する画面を検索し、
挿絵部分８０２とする。或いは、視聴情報データ４１と
物体データ５０３２とを比較し、例えば顔発見（Ｆａｃ
ｅ Ｄｅｔｅｃｔｉｏｎ）技術によって、視聴情報デー
タ４１から人の顔を備える視聴情報画面を検索し、挿絵
部分８０２とする。

【００３１】なお、本実施の形態において、画像模範事
例データ５０３１或いは物体データ５０３２における視
覚特徴の大きく類似する画面、或いは画像視覚特徴が大
きく相違する画面を選択し、それを選別画面基準に合う
視聴情報データ４１とする際に、同一ショットは、画面
を一つのみ選別し、挿絵部分８０２とするように設定す
ることができる。

【００３２】シーン／ショット変換分析アルゴリズム５
０４は、視聴情報データ４１における画像データ４１３
のシーン／ショット変換を分析するとともに、視聴情報
データ４１における画像データ４１３のシーン／ショッ
ト変換後の一番目の条件に一致した画面を選別し、図書
８０の挿絵部分８０２及び視聴情報データ４１の段落の
分割点とする。すなわち、視聴情報データ４１が字幕ス
ーパーを含む場合、視聴情報データ４１の段落内の字幕
データ４１２を解読するし、図書８０の文字部分８０１
とする。一方、視聴情報データ４１が字幕スーパーを含
まない場合、視聴情報データ４１の段落内の音声情報デ
ータ４１１を解読するとともに、言語音声分析によって
言語音声と文字の転換処理を行ない、図書８０の文字部
分８０１とする。

【００３３】一般的に、視聴情報データ４１は、視聴情
報列（Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）であり、通常多
くのシーンより構成され、各シーンはまた、複数のショ
ットより構成される。映画では最小単位はショットであ
り、映画は多くのショットが積み重なってできている。
劇では、最小単位はシーン或いは場面というものであ
り、シーンは各物語或いは題材の段落を表し、各シーン
は明確な事件発生起点や、明確な終了点を備え、このよ
うな一定時間範囲中でのものは、シーン或いは場面と呼
ぶ。通常、一つのショットは、複数の視覚特性（例え
ば、色彩、模様、形状、動作）が一致する画面（Ｆｒａ
ｍｅｓ）から構成され、撮影機の移動方向と撮影アング
ルの変化によって変化する。例えば、撮影機が異なる撮
影方向より同じ場面を撮った場合、異なったショットが
得られる。また、撮影機が同じ撮影方向より異なる場面
を撮った場合、異なったショットが得られる。

【００３４】ショットは、基本視覚特性により区分され
るため、視覚情報データ４１を複数の連続したショット
に分割するのは相当容易なことである。この技術は、主
に基本視覚特性の統計データ例えば視覚特性ヒストグラ
ムを分析するため、一つの画面の視覚特性と一つ前の画
面の視覚特性との差が所定の程度に達した際に、この画
面と一つ前の画面の間で分割する。このような分割ショ
ット技術は、視聴情報編集ソフトにも応用される。

【００３５】このように、連続して関連性を持ったショ
ットを一つのシーンに集成する目的は、シーン変換分析
にある。厳格に言えば、視聴情報データ４１の語意と内
容を理解しなければならないが、音声情報と視覚特性と
を合わせて分析すれば、相当合理的なシーン変換分析を
実現することができる。一般的に、シーン変換を行う際
に、音声情報特性（音楽、言語音声、雑音、静寂音）と
視覚特性（色彩、動作等）の性質変化を同時に発生す
る。ショットの分割は、視覚特性のみに対して分析を行
うが、シーン変換分析は、同時に音声情報特性と視覚特
性の分析に依存しなければならない。

【００３６】文字取得モジュール１０４と挿絵取得モジ
ュール１０５とは、保存装置６０５のソフトウェアモジ
ュールに保存することができ、ＣＰＵ６０３の演算を通
して、製作方針５０に基づいて必要な文字部分８０１と
挿絵部分８０２とを取得することによって、図書８０の
内容を製作する。

【００３７】図書フォーマット選択モジュール１０６が
提供する図書フォーマット７０は、絵本、画集、電子
書、漫画等のようなものであり、芸術家式フィルタ（Ａ
ｒｔｉｓｔｉｃ Ｆｉｌｔｅｒｓ）、スケッチフィルタ
（Ｓｋｅｔｃｈ Ｆｉｌｔｅｒｓ）、エッジフィルタ
（Ｅｄｇｅ Ｆｉｌｔｅｒｓ）のような異なったフィル
タに合わせ、取得した挿絵部分８０２を利用することに
よって、使用者の得たい映像処理効果を得る。なお、図
書フォーマット７０と各種フィルタは、保存装置６０５
に保存される。

【００３８】図書生成モジュール１０７は、保存装置６
０５のソフトウェアモジュールに保存することができ、
ＣＰＵ６０３の演算によって、図書フォーマット７０を
適用する。さらに、大小調整（Ｒｅｓｃａｌｉｎｇ）、
画像合成（Ｉｍａｇｅ Ｃｏｍｐｏｓｉｎｇ）、製作図
枠等の画像処理（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）
のような機能を利用して、取得した文字部分８０１と挿
絵部分８０２とを処理することによって、使用者の選択
した図書フォーマット７０とフォント、サイズと合わ
せ、図書８０を生成する。

【００３９】最後に、編集モジュール１０８は、入力装
置６０４と連携することによって、使用者が、図書８０
生成後に入力装置６０４の操作を利用して、更に図書８
０の内容を編集することができる。

【００４０】以下、本発明の好適な実施の形態に係る図
書製作方法の流れについて説明する。

【００４１】図２に示すように、本発明の好適な実施の
形態に係る図書製作方法２では、ステップ２０１におい
て、例えばデジタルカメラ中に記録したデータを送信線
を経由して信号源インターフェイス６０１に送信するよ
うに、信号源インターフェイス６０１が元の視聴情報デ
ータ４０を受信し、図書８０を製作するための画面と内
容を視聴情報受信モジュール１０１に提供する。

【００４２】ステップ２０２において、解読モジュール
１０２は、元の視聴情報データ４０のフォーマットを識
別し、解読することによって、視聴情報データ４１を生
成する。元の視聴情報データ４０は、例えばＩｎｔｅｒ
ｌａｃｅｄ ＭＰＥＧ−２フォーマットである場合、す
なわち、一つの情報枠が、二つの情報領域より組成され
るため、このステップにおいて、先にＭＰＥＧ−２フォ
ーマットの解読を行ない、その後補間法（Ｉｎｔｅｒｐ
ｏｌａｔｉｏｎ）によって、交錯を解き視聴情報データ
４１を得る。

【００４３】ステップ２０３において、文字取得モジュ
ール１０４と挿絵取得モジュール１０５は、製作方針５
０に基づいて視聴情報データ４１を分析することによっ
て文字部分８０１と挿絵部分８０２とを取得する。さら
に音声情報分析アルゴリズム５０１、字幕分析アルゴリ
ズム５０２、画像分析アルゴリズム５０３、シーン／シ
ョット変換分析アルゴリズム５０４に基づいて、視聴情
報データ４１の各々の視聴情報画面と内容（音声情報内
容を含む）に対して分析検索を行うとともに、製作方針
５０に合う文字部分８０１と挿絵部分８０２とを選別取
得する。例えば、視聴情報データ４１が字幕スーパーを
含む場合、視聴情報データ４１の字幕スーパーを解読す
ることによって文字部分８０１とするが、視聴情報デー
タ４１が字幕スーパーを含まない場合、視聴情報データ
４１の音声を解読し、言語音声分析によって言語音声と
文字との転換処理を行なって文字部分８０１とするとと
もに、字幕スーパー或いは音声情報と対応する画像中か
らキー画面を取得し、挿絵部分８０２とする。なお、本
実施の形態では、複数のキー画面を選択して挿絵部分８
０２とすることもできる。図３に示すように、元の視聴
情報データ４０は、解読後視聴情報データ４１を得て、
視聴情報データ４１は複数の単独画像３０１（毎秒２５
枚或いは２９.８７枚）を含み、製作方針５０に基づい
た分析検索後、前記複数の単独画像中からキー画面３０
２を取得し、挿絵部分８０２とする。

【００４４】ステップ２０４において、視聴情報データ
４１のすべての内容の分析対比が完成しているかを判断
し、視聴情報データ４１のすべての内容の分析対比が未
完成の場合、再びステップ２０３を行う。一方、視聴情
報データ４１のすべての内容の分析対比が完成した場
合、ステップ２０５を行う。

【００４５】ステップ２０５において、図書８０が図書
フォーマット７０の適用を必要とするか否かを判断し、
図書８０が図書フォーマット７０の適用を必要とする場
合、ステップ２０６を行う。一方、図書８０が図書フォ
ーマット７０の適用を必要としない場合、ステップ２０
７を行う。

【００４６】ステップ２０６において、図書フォーマッ
ト選択モジュール１０６は、使用者に必要な図書フォー
マット７０を提供する。図書フォーマット７０は、図、
画像、写真、絵を有する図書類(例えば漫画、絵本、画
集、電子書等)及び各種レイアウト（Ｌａｙｏｕｔ）を
含む。

【００４７】ステップ２０７において、図書生成モジュ
ール１０７は、ステップ２０３で取得する文字部分８０
１と挿絵部分８０２に基づいて、またステップ２０６を
行った場合、ステップ２０６で提供する図書フォーマッ
ト７０を適用するとともに、芸術家式フィルタ、スケッ
チフィルタ、境界線フィルタ等のような異なったフィル
タを利用し、挿絵部分８０２を処理することによって、
必要な画像処理効果を得る。さらに、大小調整、画像合
成、図枠製作等の画像処理機能を利用し、図書フォーマ
ット７０に一致する画像画面を得る。その後、文字部分
８０１と挿絵部分８０２とを図書フォーマット７０とフ
ォント、サイズとに合わせて、転換処理を行ない、図書
８０を生成する。

【００４８】ステップ２０８において、使用者が手動で
図書８０を編集することを行うかどうかを判断する。使
用者が手動で図書８０の編集を行おうとする場合、ステ
ップ２０９を行う。

【００４９】ステップ２０９において、使用者は編集モ
ジュール１０８を利用し、図書８０の内容を下見（Ｐｒ
ｅｖｉｅｗ）、改善（Ｒｅｆｉｎｅ）、修正（Ｍｏｄｉ
ｆｙ）する。例えば、使用者は、図書８０の重要内容の
文字部分に対して線を引いたり、或いは文字を太くした
り、他の図案等を挿入したりすることができる。

【００５０】

【発明の効果】本発明に係る図書製作システムと方法に
よれば、視聴情報データ４１を分析することによって、
視聴情報データ４１の音声情報データ４１１、字幕デー
タ４１２、画像データ４１３に対して視聴情報内容を分
析することができるため、文字判別、音声判別等の技術
に合わせて、視聴情報データを有効的に利用することが
でき、図書文書を生成することができる。

【００５１】上述されたのはわずかに例を挙げたにすぎ
ず、これに限られるものではない。本発明の精神と範囲
から離れることはなく、本発明に対して行われる修正或
いは変更は、いかなるものもすべて本発明の申請する特
許の範囲に含まれるべきである。

【図面の簡単な説明】

【図１】本発明の好適な実施の形態に係る図書製作シス
テムの構成を示す説明図である。

【図２】本発明の好適な実施の形態に係る図書製作方法
の流れを示すフローチャートである。

【図３】本発明の好適な実施の形態に係る図書製作方法
においてキー画面を取得する説明図である。

【符号の説明】

１ 図書製作システム １０１ 視聴情報受信モジュール １０２ 解読モジュール １０３ 製作方針選択モジュール １０４ 文字取得モジュール １０５ 挿絵取得モジュール １０６ 図書フォーマット選択モジュール １０７ 図書生成モジュール １０８ 編集モジュール ２ 図書製作方法 ２０１〜２０９ 図書製作方法のステップ ３０１ 単独画像 ３０２ キー画面 ４０ 元の視聴情報データ ４１ 視聴情報データ ４１１ 音声情報データ ４１２ 字幕データ ４１３ 画像データ ５０ 製作方針 ５０１ 音声情報分析アルゴリズム（演算法則） ５０２ 字幕分析アルゴリズム（演算法則） ５０３ 画像分析アルゴリズム（演算法則） ５０３１ 画像模範事例データ ５０３２ 物体データ ５０４ シーン／ショット変換分析アルゴリズム（演
算法則） ６０ コンピュータ設備 ６０１ 信号源インターフェイス ６０２ メモリー ６０３ ＣＰＵ ６０４ 入力装置 ６０５ 保存装置 ７０ 図書フォーマット ８０ 図書 ８０１ 文字部分 ８０２ 挿絵部分

Claims (9)

【特許請求の範囲】
1. 【請求項１】 元の視聴情報データを受信する視聴情報
   受信モジュールと、前記元の視聴情報データを解読する
   ことによって視聴情報データを得る解読モジュールと、
   製作方針に基づいて前記視聴情報データより文字部分を
   取得する文字取得モジュールと、製作方針に基づいて前
   記視聴情報データより少なくとも一つのキー画面を取得
   して挿絵部分とする挿絵取得モジュールと、取得した前
   記文字部分と前記挿絵部分とに基づいて図書を生成する
   図書生成モジュールとを備える、ことを特徴とする図書
   製作システム。
2. 【請求項２】 前記図書を生成した後、使用者の操作を
   受信することによって前記図書の内容を編集する編集モ
   ジュールをさらに備える、ことを特徴とする請求項１に
   記載の図書製作システム。
3. 【請求項３】 使用者の選択を受信することによって少
   なくとも一つの図書フォーマットを提供し、前記図書生
   成モジュールが該図書フォーマットを適用して前記図書
   を生成する、図書フォーマット選択モジュールをさらに
   備える、ことを特徴とする請求項１に記載の図書製作シ
   ステム。
4. 【請求項４】 使用者の選択を受信することによって製
   作方針を提供する製作方針選択モジュールをさらに備え
   る、ことを特徴とする請求項１に記載の図書製作システ
   ム。
5. 【請求項５】 元の視聴情報データを受信する視聴情報
   受信ステップと、前記元の視聴情報データを解読し、視
   聴情報データを取得する解読ステップと、製作方針に基
   づいて、前記視聴情報データより文字部分を取得する文
   字取得ステップと、前記製作方針に基づいて、前記視聴
   情報データより、キー画面を取得し、挿絵部分とする挿
   絵取得ステップと、前記文字部分と前記挿絵部分とに基
   づいて前図書を生成する図書生成ステップとを有する、
   ことを特徴とする図書製作方法。
6. 【請求項６】 前記図書の生成後、使用者の操作を受信
   することによって該図書の内容を編集する編集ステップ
   をさらに有する、ことを特徴とする請求項５に記載の図
   書製作方法。
7. 【請求項７】 使用者の選択を受信することによって少
   なくとも一つの図書フォーマットを提供し、前記図書生
   成ステップにおいて、該図書フォーマットを適用して前
   記図書を生成する図書フォーマット選択ステップをさら
   に有する、ことを特徴とする請求項５に記載の図書製作
   方法。
8. 【請求項８】 使用者の選択を受信することによって製
   作方針を提供する製作方針選択ステップをさらに有す
   る、ことを特徴とする請求項５に記載の図書製作方法。
9. 【請求項９】 請求項５から請求項８の何れか１項に記
   載の図書製作方法をコンピュータに実行させるためのプ
   ログラムを記録した、ことを特徴とする記録媒体。