JP2003109022A - 図書製作システムと図書製作方法 - Google Patents
図書製作システムと図書製作方法Info
- Publication number
- JP2003109022A JP2003109022A JP2002109590A JP2002109590A JP2003109022A JP 2003109022 A JP2003109022 A JP 2003109022A JP 2002109590 A JP2002109590 A JP 2002109590A JP 2002109590 A JP2002109590 A JP 2002109590A JP 2003109022 A JP2003109022 A JP 2003109022A
- Authority
- JP
- Japan
- Prior art keywords
- book
- viewing information
- information data
- module
- production
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000010422 painting Methods 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 39
- 230000000007 visual effect Effects 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000001851 vibrational circular dichroism spectroscopy Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000556720 Manga Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Or Creating Images (AREA)
- Character Discrimination (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本、画集、漫画、電子書等の図書文書を生成する図書製
作システムと方法とを提供する。 【解決手段】 本発明に係る図書製作システムは、文字
部分801と挿絵部分802を含む図書80を生成する
ために用いられ、元の視聴情報データ40を受信する視
聴情報受信モジュール101と、元の視聴情報データを
解読することによって視聴情報データを得る解読モジュ
ール102と、製作方針に基づいて視聴情報データより
文字部分801を取得する文字取得モジュール104
と、製作方針50に基づいて視聴情報データより少なく
とも一つのキー画面を取得し挿絵部分802とする挿絵
取得モジュール105と、取得した文字部分801と挿
絵部分802とに基づいて図書80を生成する図書生成
モジュール107と、を備える。
Description
と方法に関し、特にコンピュータソフトウェアで視聴情
報源を分析することによって、絵本、画集、漫画、電子
書等の図書文書を自動的に生成する図書製作システムと
方法に関する。
書を製作する際に、その内容として通常人工の絵図を利
用するか、或いはコンピュータにより単独画像を編集整
理することによって、書物を総編成する。
ーカード(TV Tuner Card)、セットアッ
プボックス(Setup Box)、DVD,VCD等
の電子情報機器の普及に伴い、使用者は容易にデジタル
視聴情報を得る事ができるようになったので、コンピュ
ータを利用して視聴情報源を処理することによって図書
文書を生成することは、コンピュータマルチメディア領
域での重要な応用分野となり、かつ需要も増加してい
る。
上述したような連続画像の視聴情報源である場合に、使
用者はまず連続画像の視聴情報源を複数の画像に分解し
てから、コンピュータによりこの複数の画像を冊子に編
集整理することができる。しかし、一般の視聴情報内容
(Video Content)において、NTSC仕
様では、一秒間に放映できるのは大抵29.97枚の画
像を含む連続切り替えであり、一方PAL仕様では、一
秒間で放映できるのは大抵25枚の画像を含む連続切り
替えであるため、一分間の視聴情報内容は1500〜1
800枚の画像ともなり、これらの画像を1枚1枚編集
することは、使用者にとって非常に手間がかかり効率が
悪い。
ように、どのように視聴情報内容を効果的に利用し、絵
本、画集、漫画、電子書等の図書文書を生成するかとい
うことが、現在の重要な課題となっている。
を自動分析することによって絵本、画集、漫画、電子書
等の図書文書を生成する図書製作システムと方法を提供
することを目的とする。
めに、本発明に係る図書製作システムは、文字部分及び
挿絵部分を含む図書を生成するために用いられ、元の視
聴情報データを受信する視聴情報受信モジュールと、元
の視聴情報データを解読することによって視聴情報デー
タを得る解読モジュールと、製作方針に基づいて視聴情
報データより文字部分を取得する文字取得モジュール
と、製作方針に基づいて視聴情報データより少なくとも
一つのキー画面を取得し挿絵部分とする挿絵取得モジュ
ールと、取得した文字部分と挿絵部分とに基づいて図書
を生成する図書生成モジュールとを備える。
更に、使用者の操作を受信することによって、図書の内
容に対して編集を行う編集モジュールと、使用者が必要
とし選択する少なくとも一つの図書フォーマットを受信
する図書フォーマット選択モジュールと、使用者が必要
とし選択する製作方針を受信する製作方針選択モジュー
ルとを備える。図書生成モジュールは、選択された図書
フォーマットを適用し、文字部分と挿絵部分とをレイア
ウト構成することによって図書を生成する。
る製作方針は、視聴情報データ中の音声情報データを分
析する音声情報(audio)分析アルゴリズムと、視
聴情報データの字幕データを分析する字幕(capti
on)分析アルゴリズムと、視聴情報データのシーン/
ショット変換データを分析するシーン/ショット変換分
析アルゴリズムと、視聴情報データの画像データを分析
するとともに、画像データとあらかじめ提供された画像
模範事例データまたは物体データとを対比分析し、或い
は画像データ中の字幕画像データを分析する画像分析ア
ルゴリズムとを含む。
ジュールは、上述した音声情報分析アルゴリズムと、字
幕分析アルゴリズムと、シーン/ショット変換分析アル
ゴリズムと、画像分析アルゴリズムとに基づき、図書を
製作するのに必要な文字部分と挿絵部分等のデータを取
得し、そして図書生成モジュールは、上述した文字部分
と挿絵部分とを図書フォーマットに適用することによっ
て、絵本、画集、漫画、電子書等の図書文書を自動的に
生成する。
報データを受信する視聴情報受信ステップと、元の視聴
情報データを解読し、視聴情報データを取得する解読ス
テップと、視聴情報データより図書製作に必要な文字部
分を取得する文字取得ステップと、視聴情報デー中より
図書製作に必要な挿絵部分を取得する挿絵取得ステップ
と、取得した文字部分と挿絵部分とに基づいて図書を生
成する図書生成ステップと、を有する。
に、図書の生成後、図書の内容を編集する編集ステップ
と、使用者が必要な図書フォーマットを選択する図書フ
ォーマット選択ステップと、使用者が必要な製作方針を
選択する製作方針選択ステップとを有する。ここで、図
書生成ステップでは、図書フォーマット選択ステップで
選択した図書フォーマットを適用して図書を生成する。
よれば、視聴情報源を自動分析することができ、多種の
視聴情報フォーマットと組み合わせ、視聴情報内容分
析、文字判別、音声判別等の技術をすべて合わせること
により絵本、画集、漫画、電子図書等の図書文書を生成
するため、効率良く視聴情報内容を利用して図書文書を
生成することができる。
に係る図書製作システムと方法とについて、図面を参照
して説明する。
形態に係る図書製作システム1は、文字部分801及び
挿絵部分802を含む図書80を生成するために用いら
れ、視聴情報受信モジュール101と、解読モジュール
102と、製作方針選択モジュール103と、文字取得
モジュール104と、挿絵取得モジュール105と、図
書フォーマット選択モジュール106と、図書生成モジ
ュール107と、編集モジュール108と、を備える。
1は、従来のコンピュータ設備60に応用することがで
きる。コンピュータ設備60は、信号源インターフェイ
ス601と、メモリー602と、CPU603と、入力
装置604と、保存装置605と、を備える。信号源イ
ンターフェイス601は、デジタルカメラのような信号
源出力装置或いはVCD、DVD等のような信号源記録
装置と接続する、例えばCD−ROM、Fire Wi
re(IEEE 1394 Interface)、U
SB等のインターフェイス装置である。メモリー602
は、DRAM或いはEEPROM等のどれか一種或いは
数種の、コンピュータ装置に設置された一時保存メモリ
ーである。CPU603は、ALU、一時保存機器、コ
ントロール機器等のようなどれか一種の従来のCPU構
造を採用することによって各種データの処理と演算とを
行ない、コンピュータ設備60中の各部の動作をコント
ロールする。入力装置604は、使用者自らが情報を入
力し、或いは各ソフトモジュールの装置を操作するもの
であり、例えばマウス、キーボード等である。保存装置
605は、ハードディスク、ソフトディスク等のどれか
一種或いは数種からなるコンピュータ読み取り可能なデ
ータ保存装置である。
存装置605或いは記録媒体に保存されるソフトウェア
モジュールである。CPU603は、各モジュールを読
み取った後、コンピュータ設備60の各デバイスを通じ
て各モジュールの機能を実行する。また、本実施の形態
に係るソフトウェアモジュールは、ASICチップ等の
ようなハードウェアに製作することもできる。
の機能について詳細に説明する。
ュール101は、元の視聴情報データ40を受信する。
解読モジュール102は、元の視聴情報データ40を解
読することによって、視聴情報データ41を取得する。
以後、元の視聴情報データを視聴情報データ40とし、
解読された視聴情報データを視聴情報データ41として
示す。製作方針選択モジュール103は、使用者の操作
を受信することによって必要な製作方針50を選択す
る。文字取得モジュール104は、製作方針50に基づ
いて、視聴情報データ41より文字部分801を取得す
る。挿絵取得モジュール105は、製作方針50に基づ
いて、視聴情報データ41より少なくとも一つのキー画
面を取得し、挿絵部分802とする。図書フォーマット
選択モジュール106は、使用者の選択を受信すること
によって少なくとも一つの図書フォーマット70を提供
する。図書生成モジュール107は、図書フォーマット
70を適用し、取得したすべての文字部分801と挿絵
部分802とに基づいて図書80を生成する。編集モジ
ュール108は、図書80を生成した後、使用者の操作
を受信し、図書80の内容を編集する。
信号源インターフェイス601と連携する。例えば、視
聴情報受信モジュール101は、Fire Wire
(IEEE 1394 Interface)を介し
て、デジタルカメラに保存された元の視聴情報データ4
0を取得するか、或いはCD−ROMを介してVCDや
DVDに保存された元の視聴情報データ40を取得す
る。元の視聴情報データ40は、各種視聴情報取得装
置、或いはデジタルカメラ、TVチューナーカード、セ
ットアップボックス等のような受信装置、及びDVD、
VCDのような各種視聴情報データ保存装置によって、
保存、送信、放送、受信される視聴情報源であり、各種
情報データフォーマット(MPEG−1、MPEG−
2、MPEG−4、AVI、ASF、MOV等)によっ
て保存、送信、放送、受信されることができる。
視聴情報データ40の視聴情報フォーマット、エンコー
ド方式、圧縮方式に対して、解読を行ない、エンコード
前のデータ或いは、エンコード前に近似したデータに転
換還元する。例えば、エンコード方式が非可逆圧縮方式
(Lossy Compression)である場合、
解読後エンコード前に近似したデータのみを得ることに
よって、視聴情報データ41を生成する。視聴情報デー
タ41は、音声情報データ411と、字幕データ412
と、画像データ413と、を含む。音声情報データ41
1は、視聴情報データ41で発する音声である。字幕情
報データ412は、画像データ413に合わせてディス
プレイに表示する字幕スーパー(caption st
ream)である。画像データ413は、視聴情報デー
タ41が表示するすべての単独画像であり、通常毎秒2
5枚の単独画像或いは29.97枚の画像の連続放映に
よって構成される。
置604と連携することにより、使用者が入力装置60
4を利用して図書80を製作する際に従うべき方針を選
択する。本実施の形態で提供する製作方針50は、音声
情報分析アルゴリズム(演算法則)501と、字幕分析
アルゴリズム(演算法則)502と、画像分析アルゴリ
ズム(演算法則)503と、シーン/ショット変換分析
アルゴリズム(演算法則)504と、を有する。
情報データ41の音声情報データ411を分析するとと
もに、特徴抽出(Features Extracti
on)と特徴整合(Feature Matchin
g)方式を利用して分析を行う。音声情報データ411
の特徴は、例えばスペクトル特徴(SpectralF
eatures)と、音量(Volume)と、ゼロク
ロス数(Zero Crossing Rate)と、
音調(Pitch)等を有する。
atures)が抽出された後、ノイズ減少(Nois
e Reduction)、分割(Segmentat
ion)を介して、高速フーリエ変換(Fast Fo
urier Transform)によって、音声情報
データ411を周波数帯域(Frequency)へ転
換し、その後、頻度ウエーブ・フィルタにより、一つの
スペクトル特徴方向量を組成する特徴値を抽出する。音
量は、容易に計測できる特徴であり、二乗平均平方根
(RMS、Root Mean Square)でその
特徴値を代表し、その後、音量分析によって分割(Se
gmentation)を実行し、即ち、サイレンス検
出(Silence Detection)によって音
声情報データ411の段落境界(Boundarie
s)を決定する。ゼロクロス数は、各段落(Clip
s)の音声波形(Waveform)とゼロ軸とが交差
する回数を計算した結果である。音調は、音声波形の基
本周波である。
報特徴及びその特徴値によって構成された特徴方向量と
音声情報テンプレート(Audio template
s)の特徴を利用して分析対比を行うことによって、必
要な音声情報データ411を取得するとともに、言語音
声判別技術によって文字部分801を取得し、また視聴
情報データ41から必要とする音声情報データ411と
対応する映像データ413を取得し、挿絵部分802と
する。
ゴリズム501は、音楽(Music)、言語音声(S
peech)、動物の泣き声(Animal Soun
d)、男声(Male Speech)、女声(Fem
ale Speech)等のような音声情報サンプル類
別をあらかじめ提供し、使用者の検索したい音声情報類
別を選択ことができる。このため、特徴整合は、許容範
囲内で音声情報データ411との特徴方向量(Feat
ure Vector)が最短ユークリッド距離(Eu
clidean Distance)を持つ音声情報サ
ンプル類別を検索する。この最も近い音声情報サンプル
類別は使用者の選択した音声情報類別と同様である場
合、前記音声情報データ411が検索条件と一致するこ
とになる。
e)で選択した音声情報データ411の信頼度(Con
fidence)を表示し、一致した音声情報サンプル
類別の音声情報データ411より対応する視聴情報画面
段落(Clips)を探し出すとともに、このような視
聴情報画面段落の各画面中から、必要とする画像を選択
し、挿絵部分802とする。
を含む場合、選択した音声情報データ411の対応した
視聴情報データ41内の字幕スーパーを解読し、図書8
0の文字部分801とする。視聴情報データ41が、字
幕スーパーを含まない場合、選択した音声情報データ4
11内の音声情報データを解読するとともに、言語音声
分析(Speech Analysis)を利用して、
言語音声と文字(Voice to Text)の転換
処理を行うことによって、図書80の文字部分801と
する。なお、音声情報分析アルゴリズム501の演算の
複雑度は、画像或いは視覚(Visual)分析よりも
低く、画像或いは視覚(Visual)分析の案内及び
補助データとすることもできる。
データ41における字幕データ412を分析するととも
に、字幕を備えた視聴情報画面を選別する。言い換える
と、視聴情報データ41が字幕スーパーを含む場合、字
幕スーパーを解読し、文字部分801とするとともに、
字幕と対応かつ同調する第一視聴情報画面を検索し、挿
絵部分802とする。一方、視聴情報データ41が字幕
スーパーを含まず、字幕が視聴情報映像に含まれる場
合、文字判別技術で字幕を視聴情報映像より抽出し、文
字部分801とするとともに、選別取得した視聴情報デ
ータに対して画像処理をし、字幕を移動除去する(前後
の視聴情報映像のデータにより演算処理を行う)ことに
よって、無字幕視聴情報画像を取得し、挿絵部分802
とする。なお、文字判別技術は、主に光学的手法による
文字認識技術(OCR、Optical Charac
ter Recognition)を利用して文字判別
を行う。
データ41の画像データ413を分析し、色彩、模様、
形状、動作、位置等の基本視覚特徴を分析判断の根拠と
する。本実施の形態において、字幕が視聴情報画像に含
まれる場合、文字判別技術によって字幕を視聴情報画像
より抽出し、文字部分801とする。また、視聴情報デ
ータ41と画像模範事例データ5031とを比較するこ
とによって、画像視覚特徴の大きく類似した画面を検索
するか、画像視覚特徴の大きく相違する画面を検索し、
挿絵部分802とする。或いは、視聴情報データ41と
物体データ5032とを比較し、例えば顔発見(Fac
e Detection)技術によって、視聴情報デー
タ41から人の顔を備える視聴情報画面を検索し、挿絵
部分802とする。
例データ5031或いは物体データ5032における視
覚特徴の大きく類似する画面、或いは画像視覚特徴が大
きく相違する画面を選択し、それを選別画面基準に合う
視聴情報データ41とする際に、同一ショットは、画面
を一つのみ選別し、挿絵部分802とするように設定す
ることができる。
04は、視聴情報データ41における画像データ413
のシーン/ショット変換を分析するとともに、視聴情報
データ41における画像データ413のシーン/ショッ
ト変換後の一番目の条件に一致した画面を選別し、図書
80の挿絵部分802及び視聴情報データ41の段落の
分割点とする。すなわち、視聴情報データ41が字幕ス
ーパーを含む場合、視聴情報データ41の段落内の字幕
データ412を解読するし、図書80の文字部分801
とする。一方、視聴情報データ41が字幕スーパーを含
まない場合、視聴情報データ41の段落内の音声情報デ
ータ411を解読するとともに、言語音声分析によって
言語音声と文字の転換処理を行ない、図書80の文字部
分801とする。
報列(Video Sequence)であり、通常多
くのシーンより構成され、各シーンはまた、複数のショ
ットより構成される。映画では最小単位はショットであ
り、映画は多くのショットが積み重なってできている。
劇では、最小単位はシーン或いは場面というものであ
り、シーンは各物語或いは題材の段落を表し、各シーン
は明確な事件発生起点や、明確な終了点を備え、このよ
うな一定時間範囲中でのものは、シーン或いは場面と呼
ぶ。通常、一つのショットは、複数の視覚特性(例え
ば、色彩、模様、形状、動作)が一致する画面(Fra
mes)から構成され、撮影機の移動方向と撮影アング
ルの変化によって変化する。例えば、撮影機が異なる撮
影方向より同じ場面を撮った場合、異なったショットが
得られる。また、撮影機が同じ撮影方向より異なる場面
を撮った場合、異なったショットが得られる。
るため、視覚情報データ41を複数の連続したショット
に分割するのは相当容易なことである。この技術は、主
に基本視覚特性の統計データ例えば視覚特性ヒストグラ
ムを分析するため、一つの画面の視覚特性と一つ前の画
面の視覚特性との差が所定の程度に達した際に、この画
面と一つ前の画面の間で分割する。このような分割ショ
ット技術は、視聴情報編集ソフトにも応用される。
ットを一つのシーンに集成する目的は、シーン変換分析
にある。厳格に言えば、視聴情報データ41の語意と内
容を理解しなければならないが、音声情報と視覚特性と
を合わせて分析すれば、相当合理的なシーン変換分析を
実現することができる。一般的に、シーン変換を行う際
に、音声情報特性(音楽、言語音声、雑音、静寂音)と
視覚特性(色彩、動作等)の性質変化を同時に発生す
る。ショットの分割は、視覚特性のみに対して分析を行
うが、シーン変換分析は、同時に音声情報特性と視覚特
性の分析に依存しなければならない。
ュール105とは、保存装置605のソフトウェアモジ
ュールに保存することができ、CPU603の演算を通
して、製作方針50に基づいて必要な文字部分801と
挿絵部分802とを取得することによって、図書80の
内容を製作する。
提供する図書フォーマット70は、絵本、画集、電子
書、漫画等のようなものであり、芸術家式フィルタ(A
rtistic Filters)、スケッチフィルタ
(Sketch Filters)、エッジフィルタ
(Edge Filters)のような異なったフィル
タに合わせ、取得した挿絵部分802を利用することに
よって、使用者の得たい映像処理効果を得る。なお、図
書フォーマット70と各種フィルタは、保存装置605
に保存される。
05のソフトウェアモジュールに保存することができ、
CPU603の演算によって、図書フォーマット70を
適用する。さらに、大小調整(Rescaling)、
画像合成(Image Composing)、製作図
枠等の画像処理(Image Processing)
のような機能を利用して、取得した文字部分801と挿
絵部分802とを処理することによって、使用者の選択
した図書フォーマット70とフォント、サイズと合わ
せ、図書80を生成する。
置604と連携することによって、使用者が、図書80
生成後に入力装置604の操作を利用して、更に図書8
0の内容を編集することができる。
書製作方法の流れについて説明する。
形態に係る図書製作方法2では、ステップ201におい
て、例えばデジタルカメラ中に記録したデータを送信線
を経由して信号源インターフェイス601に送信するよ
うに、信号源インターフェイス601が元の視聴情報デ
ータ40を受信し、図書80を製作するための画面と内
容を視聴情報受信モジュール101に提供する。
102は、元の視聴情報データ40のフォーマットを識
別し、解読することによって、視聴情報データ41を生
成する。元の視聴情報データ40は、例えばInter
laced MPEG−2フォーマットである場合、す
なわち、一つの情報枠が、二つの情報領域より組成され
るため、このステップにおいて、先にMPEG−2フォ
ーマットの解読を行ない、その後補間法(Interp
olation)によって、交錯を解き視聴情報データ
41を得る。
ール104と挿絵取得モジュール105は、製作方針5
0に基づいて視聴情報データ41を分析することによっ
て文字部分801と挿絵部分802とを取得する。さら
に音声情報分析アルゴリズム501、字幕分析アルゴリ
ズム502、画像分析アルゴリズム503、シーン/シ
ョット変換分析アルゴリズム504に基づいて、視聴情
報データ41の各々の視聴情報画面と内容(音声情報内
容を含む)に対して分析検索を行うとともに、製作方針
50に合う文字部分801と挿絵部分802とを選別取
得する。例えば、視聴情報データ41が字幕スーパーを
含む場合、視聴情報データ41の字幕スーパーを解読す
ることによって文字部分801とするが、視聴情報デー
タ41が字幕スーパーを含まない場合、視聴情報データ
41の音声を解読し、言語音声分析によって言語音声と
文字との転換処理を行なって文字部分801とするとと
もに、字幕スーパー或いは音声情報と対応する画像中か
らキー画面を取得し、挿絵部分802とする。なお、本
実施の形態では、複数のキー画面を選択して挿絵部分8
02とすることもできる。図3に示すように、元の視聴
情報データ40は、解読後視聴情報データ41を得て、
視聴情報データ41は複数の単独画像301(毎秒25
枚或いは29.87枚)を含み、製作方針50に基づい
た分析検索後、前記複数の単独画像中からキー画面30
2を取得し、挿絵部分802とする。
41のすべての内容の分析対比が完成しているかを判断
し、視聴情報データ41のすべての内容の分析対比が未
完成の場合、再びステップ203を行う。一方、視聴情
報データ41のすべての内容の分析対比が完成した場
合、ステップ205を行う。
フォーマット70の適用を必要とするか否かを判断し、
図書80が図書フォーマット70の適用を必要とする場
合、ステップ206を行う。一方、図書80が図書フォ
ーマット70の適用を必要としない場合、ステップ20
7を行う。
ト選択モジュール106は、使用者に必要な図書フォー
マット70を提供する。図書フォーマット70は、図、
画像、写真、絵を有する図書類(例えば漫画、絵本、画
集、電子書等)及び各種レイアウト(Layout)を
含む。
ール107は、ステップ203で取得する文字部分80
1と挿絵部分802に基づいて、またステップ206を
行った場合、ステップ206で提供する図書フォーマッ
ト70を適用するとともに、芸術家式フィルタ、スケッ
チフィルタ、境界線フィルタ等のような異なったフィル
タを利用し、挿絵部分802を処理することによって、
必要な画像処理効果を得る。さらに、大小調整、画像合
成、図枠製作等の画像処理機能を利用し、図書フォーマ
ット70に一致する画像画面を得る。その後、文字部分
801と挿絵部分802とを図書フォーマット70とフ
ォント、サイズとに合わせて、転換処理を行ない、図書
80を生成する。
図書80を編集することを行うかどうかを判断する。使
用者が手動で図書80の編集を行おうとする場合、ステ
ップ209を行う。
ジュール108を利用し、図書80の内容を下見(Pr
eview)、改善(Refine)、修正(Modi
fy)する。例えば、使用者は、図書80の重要内容の
文字部分に対して線を引いたり、或いは文字を太くした
り、他の図案等を挿入したりすることができる。
よれば、視聴情報データ41を分析することによって、
視聴情報データ41の音声情報データ411、字幕デー
タ412、画像データ413に対して視聴情報内容を分
析することができるため、文字判別、音声判別等の技術
に合わせて、視聴情報データを有効的に利用することが
でき、図書文書を生成することができる。
ず、これに限られるものではない。本発明の精神と範囲
から離れることはなく、本発明に対して行われる修正或
いは変更は、いかなるものもすべて本発明の申請する特
許の範囲に含まれるべきである。
テムの構成を示す説明図である。
の流れを示すフローチャートである。
においてキー画面を取得する説明図である。
算法則) 60 コンピュータ設備 601 信号源インターフェイス 602 メモリー 603 CPU 604 入力装置 605 保存装置 70 図書フォーマット 80 図書 801 文字部分 802 挿絵部分
Claims (9)
- 【請求項1】 元の視聴情報データを受信する視聴情報
受信モジュールと、前記元の視聴情報データを解読する
ことによって視聴情報データを得る解読モジュールと、
製作方針に基づいて前記視聴情報データより文字部分を
取得する文字取得モジュールと、製作方針に基づいて前
記視聴情報データより少なくとも一つのキー画面を取得
して挿絵部分とする挿絵取得モジュールと、取得した前
記文字部分と前記挿絵部分とに基づいて図書を生成する
図書生成モジュールとを備える、ことを特徴とする図書
製作システム。 - 【請求項2】 前記図書を生成した後、使用者の操作を
受信することによって前記図書の内容を編集する編集モ
ジュールをさらに備える、ことを特徴とする請求項1に
記載の図書製作システム。 - 【請求項3】 使用者の選択を受信することによって少
なくとも一つの図書フォーマットを提供し、前記図書生
成モジュールが該図書フォーマットを適用して前記図書
を生成する、図書フォーマット選択モジュールをさらに
備える、ことを特徴とする請求項1に記載の図書製作シ
ステム。 - 【請求項4】 使用者の選択を受信することによって製
作方針を提供する製作方針選択モジュールをさらに備え
る、ことを特徴とする請求項1に記載の図書製作システ
ム。 - 【請求項5】 元の視聴情報データを受信する視聴情報
受信ステップと、前記元の視聴情報データを解読し、視
聴情報データを取得する解読ステップと、製作方針に基
づいて、前記視聴情報データより文字部分を取得する文
字取得ステップと、前記製作方針に基づいて、前記視聴
情報データより、キー画面を取得し、挿絵部分とする挿
絵取得ステップと、前記文字部分と前記挿絵部分とに基
づいて前図書を生成する図書生成ステップとを有する、
ことを特徴とする図書製作方法。 - 【請求項6】 前記図書の生成後、使用者の操作を受信
することによって該図書の内容を編集する編集ステップ
をさらに有する、ことを特徴とする請求項5に記載の図
書製作方法。 - 【請求項7】 使用者の選択を受信することによって少
なくとも一つの図書フォーマットを提供し、前記図書生
成ステップにおいて、該図書フォーマットを適用して前
記図書を生成する図書フォーマット選択ステップをさら
に有する、ことを特徴とする請求項5に記載の図書製作
方法。 - 【請求項8】 使用者の選択を受信することによって製
作方針を提供する製作方針選択ステップをさらに有す
る、ことを特徴とする請求項5に記載の図書製作方法。 - 【請求項9】 請求項5から請求項8の何れか1項に記
載の図書製作方法をコンピュータに実行させるためのプ
ログラムを記録した、ことを特徴とする記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW090122705 | 2001-09-13 | ||
TW090122705A TWI244005B (en) | 2001-09-13 | 2001-09-13 | Book producing system and method and computer readable recording medium thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003109022A true JP2003109022A (ja) | 2003-04-11 |
Family
ID=21679315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002109590A Pending JP2003109022A (ja) | 2001-09-13 | 2002-04-11 | 図書製作システムと図書製作方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20040205655A1 (ja) |
JP (1) | JP2003109022A (ja) |
TW (1) | TWI244005B (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002015043A1 (fr) * | 2000-08-17 | 2002-02-21 | E Media Ltd. | Procede de preparation d'une publication, publication electronique utilisant le procede, procede d'affichage afferent et systeme de reseau |
JP4112968B2 (ja) * | 2002-12-26 | 2008-07-02 | 富士通株式会社 | ビデオテキスト処理装置 |
AU2003900137A0 (en) * | 2003-01-14 | 2003-01-30 | Canon Kabushiki Kaisha | Process and format for reliable storage of data |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
EP1959449A1 (en) * | 2007-02-13 | 2008-08-20 | British Telecommunications Public Limited Company | Analysing video material |
KR101642947B1 (ko) * | 2015-01-16 | 2016-08-10 | 네이버 주식회사 | 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램 및 만화 데이터 표시 장치 |
KR101937850B1 (ko) * | 2015-03-02 | 2019-01-14 | 네이버 주식회사 | 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램 및 만화 데이터 표시 장치 |
KR101726844B1 (ko) * | 2015-03-25 | 2017-04-13 | 네이버 주식회사 | 만화 데이터 생성 시스템 및 방법 |
KR101890831B1 (ko) * | 2017-01-11 | 2018-09-28 | 주식회사 펍플 | 전자책 서비스 제공방법 및 그를 위한 컴퓨터 프로그램 |
CN109168024B (zh) * | 2018-09-26 | 2022-05-27 | 平安科技(深圳)有限公司 | 一种目标信息的识别方法及设备 |
CN113672754B (zh) * | 2021-07-26 | 2024-02-09 | 北京达佳互联信息技术有限公司 | 图像获取方法、装置、电子设备及存储介质 |
CN116320622B (zh) * | 2023-05-17 | 2023-08-18 | 成都索贝数码科技股份有限公司 | 一种广播电视新闻视频转图文稿制作系统和制作方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6288719B1 (en) * | 1998-10-26 | 2001-09-11 | Eastman Kodak Company | System and method of constructing a photo album |
US6362900B1 (en) * | 1998-12-30 | 2002-03-26 | Eastman Kodak Company | System and method of constructing a photo album |
US6571271B1 (en) * | 1999-05-03 | 2003-05-27 | Ricoh Company, Ltd. | Networked appliance for recording, storing and serving digital images |
US6499016B1 (en) * | 2000-02-28 | 2002-12-24 | Flashpoint Technology, Inc. | Automatically storing and presenting digital images using a speech-based command language |
US7031553B2 (en) * | 2000-09-22 | 2006-04-18 | Sri International | Method and apparatus for recognizing text in an image sequence of scene imagery |
US6823084B2 (en) * | 2000-09-22 | 2004-11-23 | Sri International | Method and apparatus for portably recognizing text in an image sequence of scene imagery |
US20020144293A1 (en) * | 2001-03-27 | 2002-10-03 | Koninklijke Philips Electronics N.V. | Automatic video retriever genie |
US20030043172A1 (en) * | 2001-08-24 | 2003-03-06 | Huiping Li | Extraction of textual and graphic overlays from video |
-
2001
- 2001-09-13 TW TW090122705A patent/TWI244005B/zh not_active IP Right Cessation
-
2002
- 2002-01-03 US US10/034,390 patent/US20040205655A1/en not_active Abandoned
- 2002-04-11 JP JP2002109590A patent/JP2003109022A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20040205655A1 (en) | 2004-10-14 |
TWI244005B (en) | 2005-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20030068087A1 (en) | System and method for generating a character thumbnail sequence | |
US20210150793A1 (en) | Matching mouth shape and movement in digital video to alternative audio | |
US8416332B2 (en) | Information processing apparatus, information processing method, and program | |
US9594959B2 (en) | Videolens media engine | |
JP4200741B2 (ja) | ビデオコラージュの作成方法および装置、ビデオコラージュ表示装置、ビデオコラージュ作成プログラム | |
US9961403B2 (en) | Visual summarization of video for quick understanding by determining emotion objects for semantic segments of video | |
US8938393B2 (en) | Extended videolens media engine for audio recognition | |
US20020051081A1 (en) | Special reproduction control information describing method, special reproduction control information creating apparatus and method therefor, and video reproduction apparatus and method therefor | |
JP3793142B2 (ja) | 動画像加工方法及び装置 | |
US20140245463A1 (en) | System and method for accessing multimedia content | |
WO2012020668A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2012020667A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
EP1635575A1 (en) | System and method for embedding scene change information in a video bitstream | |
JP2006319980A (ja) | イベントを利用した動画像要約装置、方法及びプログラム | |
US20060078288A1 (en) | System and method for embedding multimedia editing information in a multimedia bitstream | |
JP2003109022A (ja) | 図書製作システムと図書製作方法 | |
US20080320046A1 (en) | Video data management apparatus | |
JP2014209707A (ja) | 映像再生装置および映像再生方法 | |
EP4345814A1 (en) | Video-generation system | |
JP2010109852A (ja) | 映像インデクシング方法、映像録画再生装置、及び映像再生装置 | |
KR101985669B1 (ko) | 동영상을 이용한 카툰 생성장치 및 방법 | |
Valdés et al. | On-line video abstract generation of multimedia news | |
CN1202471C (zh) | 图书制作系统与方法 | |
KR102280062B1 (ko) | 동영상을 요약하는 방법 및 장치 | |
JP2003333523A (ja) | キャラクタ・サムネイル系列生成システム及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050117 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071031 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080326 |