JP2005100434A

JP2005100434A - データ処理装置及びデータ処理方法

Info

Publication number: JP2005100434A
Application number: JP2004309872A
Authority: JP
Inventors: Akira Suga; 章菅; Akira Mamiya; 明間宮
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-10-25
Filing date: 2004-10-25
Publication date: 2005-04-14

Abstract

【課題】マルチメディア文書の大きさを簡便に管理する。
【解決手段】マルチメディア文書編集情報記憶手段３４に記憶された文書は、それが編集されているとデータ容量算出手段により、その大きさが算出され、その値はデータ容量表示手段により表示される。また、データ容量制御手段５３は、予め設定された値を保持しており、その値と算出されたデータの大きさとを比較して、予め設定された大きさを文書が越えていれば警告を表示する。また、マルチメディアデータ制御用ライブラリ群５にはマルチメディア文書のデータを再生する為のライブラリが登録されており、文書の出力が指示された場合、それに含まれるデータの種類を調べ、それに合わせたライブラリを選択して動的なリンクを行い、データを再生する。
【選択図】図１

Description

本発明は、例えば文字，静止画，音声，動画等、マルチメディアデータを扱うデータ処理装置及び方法に関する。

近年、パーソナルコンピュータやワークステーション、及びネットワークの急速な進歩によって、従来は紙という媒体によって配布していた文書を、磁気記録媒体や、光記録媒体、ネットワークを介して配布し、コンピュータによって閲覧するような形態の文書が普及しつつある。このような形態の文書では、文字、静止画のみならず、動画や音声も扱えるため、表現力が飛躍的に向上する。このようなコンピュータ上で閲覧することを前提とし、文字、静止画、音声、動画等を含む文書をマルチメディア文書と呼ぶことにする。従来、このような文書を編集する手段としては、ワードプロセッサ等、従来の文字と静止画を扱う編集機能を拡張し、動画データを扱えるようにしただけのものが多かった。

しかしながら、従来の文書編集手段では、特定の記憶容量以内に文書を納めるのが困難であった。動画や音声のデータは一般的に容量が大きく、例えばフレキシブルディスクにデータを納める場合には、文書を編集してからファイル管理プログラムによりファイル容量を確認し、データ容量がフレキシブルディスクの容量を越えていた場合、フレキシブルディスクの容量にデータを納めるために数回にわたって試行錯誤で再編集する必要があり、非常に面倒であった。

本発明は上記従来例に鑑みてなされたもので、ファイル容量の増大を防ぐことができるデータ処理装置及びデータ処理方法を提供することを目的とする。

上記目的を達成するために本発明に係るデータ処理装置は以下の構成を備える。すなわち、データ容量制限値を表示するよう表示画面を制御する表示制御手段と、ユーザにより選択されたデータのデータ容量を算出する算出手段と、前記データ容量制限値と前記算出手段により算出されたデータ容量とを比較する比較手段と、前記比較手段による比較の結果、ユーザにより選択されたデータのデータ容量が大きければ、その旨出力する出力制御手段とを備えることを特徴とする。

本発明のデータ処理装置によれば、マルチメディア文書の編集中にデータ及び該データを再生するために必要な再生手段等の容量に関する情報を表示し、編集中にあらかじめ設定した容量を越えた場合は警告を表示すると共に、あらかじめ設定した容量以下となるようデータを圧縮することで所定のファイル容量に納まるように編集する作業が効率化される効果がある。

図１は、本実施例のマルチメディア文書の編集及び再生に用いるシステムのハードウェア構成を示した図である。図１の様な構成は、専用機として構成することも可能であるし、パーソナルコンピュータやワークステーション及び周辺機器を用いて構成することもできる。

図１において１０１はデータ処理を行うＣＰＵ、１０２はＣＰＵ１０１が処理するデータの一時的記憶に用いる主メモリ、１０３は読み出し専用のプログラムやデータを記憶するためのＲＯＭ、１０４はＣＰＵと周辺装置のデータの通信路であるデータバス、１０５はデータを画面に表示させるための表示制御部、１０６は表示制御部より送られた画面表示データを記憶するＶＲＡＭ、１０７はＶＲＡＭ１０６に記憶されたデータをアナログデータに変換するＤＡ変換部、１０８は画面表示データを表示するディスプレイである。１１０はデータを恒久的、もしくは一時的に記憶するための、ハードディスクメモリ、１０９はハードディスクメモリ１１０をデータバス１０４に接続するためのハードディスクインターフェイス、１１２はハードディスクメモリ１１０と同様にデータを恒久的、もしくは一時的に記憶するためのメモリカード、１１１はメモリカード１１２をデータバス１０４に接続するためのメモリカードインターフェイス部である。１１４はEtherNet等のネットワークであり、１１３はネットワーク１１４をデータバス１０４に接続するためのネットワークインターフェイス部である。１１６はデータを恒久的、もしくは一時的に記憶するための、フレキシブルディスク装置であり、１１５はフレキシブルディスク装置１１６をデータバス１０４に接続するためのフレキシブルディスクインターフェイス部である。１１８はキーボードであり、１１７はキーボード１１８をＣＰＵ１０１に接続するためのキーボードインターフェイス部である。１２０はマウス、１１９はマウス１２０をＣＰＵ１０１に接続するためのマウスインターフェイス部である。１２２は音声データを入力するためのマイク、１２３は音声データを再生するためのスピーカーであり、１２１はマイク１２２、スピーカー１２３をデータバス１０４に接続するためのサウンドインターフェイス部である。

図２は本実施例のマルチメディア文書編集システムのソフトウェア構成を示す図である。

図２において、１はマルチメディア文書編集システム、２００はＯＳ、２０１と２０２はＯＳ２００がマルチメディアのデータを再生するためにＯＳに追加されたソフトウェアであり、２０１がマルチメディアデータ再生コアプログラム、２０２はマルチメディアデータ制御用ライブラリサブセットである。このようなマルチメディア機能拡張されたＯＳの下では、例えばワードプロセッサで作成する文書中に動画データを埋め込んだ場合、文書の閲覧者が動画データの再生を指示すると、まずマルチメディアデータ再生コアプログラム２０１が起動され、マルチメディアデータ制御用ライブラリサブセット２０２の中から、再生を指示されたフォーマットの動画データの再生に必要なプログラムを動的にリンクし、該動画データの再生を行う（動的なリンクに関してはマイクロソフトウィンドウズ（登録商標）プログラマーズリファレンス参照）。したがって、ワードプロセッサー自体に動画データの再生機能がなくても動画データの再生を行うことができるようになっている。

２はマルチメディア文書編集ソフトウェア群であり、マルチメディアデータを含む文書の編集を行うマルチメディア文書編集プログラム３、マルチメディア文書の構造を解析し閲覧手段の核となるマルチメディア文書制御コアプログラム４、マルチメディア文書中で扱う可能性のあるマルチメディアデータを加工したり再生したりする際に必要とする種々のマルチメディアデータの制御ライブラリを集めたマルチメディアデータ制御用ライブラリ群５から構成される。

１１はマルチメディア素材データ群であり、第１テキストデータ１２から第ｉテキストデータ１３までのｉ個の文字データ群、第１動画データ１４から第ｊ動画データ１７までのｊ個の動画データ群、第１静止画データ２０から第ｋ静止画データ２１までのｋ個の静止画データ群、第１音声データ１４から第ｌ音声データ１５までのｌ個のの音声データ群、第１イラストデータ（線画データ）１８から第ｍイラストデータ１９までのｍ個のイラストデータ群から構成されている。これらの素材データはマルチメディア文書の編集社が種々の手段で収集したデータであり、様々なデータフォーマットを含んでいる場合が多い。

６は編集者がマルチメディア文書編集プログラム３によって作成したマルチメディア文書ファイルであり、マルチメディア文書中の各マルチメディアデータの配置等を示すマルチメディア文書構造データ７、マルチメディア文書制御コアプログラム８（通常はマルチメディア文書制御コアプログラム４がそのまま複製される）、マルチメディア制御用ライブラリサブセット９（マルチメディア文書に埋め込んだデータの再生に必要なライブラリのみがマルチメディアデータ制御用ライブラリ群５から選択される）、マルチメディア素材データ群１１から文書に埋め込むために選択され加工されたデータであるマルチメディアデータ群１０から構成される。

図３はマルチメディア文書編集プログラム３の構成を示した図である。図３において、３１はマルチメディア文書読み込み手段であり、ハードディスクメモリ１１０等に記憶された編集済みのマルチメディア文書ファイル６を読み込む。３２はマルチメディア素材データ群１１から文書に埋め込みたいデータを読み込むマルチメディアデータ読み込み手段である。３３はマルチメディアデータ属性解析手段であり、読み込んだデータがマルチメディア文書データであればマルチメディア文書構造データ７を解析してマルチメディア文書編集情報記憶手段３４に記憶し、読み込んだデータがマルチメディア素材データであれば、ヘッダ情報等の解析によって、マルチメディアの属性情報をマルチメディア文書編集情報記憶手段３４に記憶する。マルチメディア属性解析手段３３は実際にはマルチメディア制御コアプログラム４に含まれるため、該機能を用いる時はマルチメディア文書編集プログラム制御手段３０がマルチメディア制御コアプログラム４に該処理を行うよう司令する。読み込んだマルチメディア文書に含まれていたマルチメディア素材データと、直接読み込まれたマルチメディア素材データはマルチメディアデータ一時記憶手段２０３に記憶される。

マルチメディア文書編集情報記憶手段３４にはマルチメディア文書の背景の色や絵柄を示すマルチメディア文書バックグランド情報３５、マルチメディア文書に埋め込んだマルチメディア素材データの再生や加工に必要なライブラリの一覧を示すマルチメディアデータ制御ライブラリテーブル３６、第１ページマルチメディア文書属性情報３８から第ｑページマルチメディア文書属性情報４８までのｑページのマルチメディア文書属性情報から構成される。

１ページ分のマルチメディア文書属性情報は、第１マルチメディアデータ属性情報と、関連データの表示やページ送り等文書を制御するための情報である第１マルチメディア文書制御情報４６から第ｐマルチメディア文書制御情報４７までのｐ個のマルチメディア文書制御情報で構成される。

１つのマルチメディアデータ属性情報は第１マルチメディアデータ属性情報のごとく、マルチメディアデータの識別をするためのデータＩＤ４０、マルチメディアデータのフォーマットを指定するデータ種別４１、マルチメディアデータの表示位置と大きさを示す表示位置矩形情報４２、マルチメディアデータの表示方法等の手続きを示すデータ制御手続き４３、関連データのＩＤ４４、マルチメディアデータのマルチメディア文書データファイル６内での位置と大きさを示すファイル内位置情報３７から構成される。

５０はマルチメディア文書表示手段であり、マルチメディア文書編集情報記憶手段３４の情報を元にしてディスプレイ１０８にマルチメディア文書を表示する。マルチメディア文書表示手段５０は実際にはマルチメディア制御コアプログラム４に含まれるため、該機能を用いる時はマルチメディア文書編集プログラム制御手段３０がマルチメディア制御コアプログラム４に該処理を行うよう司令する。

マルチメディア文書制御コアプログラム４はマルチメディアデータ属性情報３９中のデータ種別４１に対応したライブラリをマルチメディアデータ制御ライブラリテーブル３６から決定し、マルチメディアデータ制御用ライブラリ群５から必要なライブラリを選択し、動的にリンクすることでマルチメディアデータの表示若しくは再生を行う。

マルチメディアデータ属性変更手段４９はマウス１２０やキーボード１１８の指示によってマルチメディア文書編集情報記憶手段３４の情報に変更を加え、変更結果をマルチメディア文書表示手段５０を介してディスプレイ１０８に反映させる。

マルチメディアデータ属性変更手段４９は実際にはマルチメディア制御コアプログラム４に含まれるため、該機能を用いる時はマルチメディア文書編集プログラム制御手段３０がマルチメディア制御コアプログラム４に該処理を行うよう司令する。

マルチメディア文書制御コアプログラム４は、マルチメディアデータ属性情報３９中のデータ種別４１に対応したライブラリをマルチメディア制御ライブラリテーブル３６から決定し、マルチメディアデータ制御用ライブラリ群５から必要なライブラリを選択し、動的にリンクすることでマルチメディアデータの属性の変更を行う。

５１はデータ容量算出手段であり、マルチメディア文書編集情報記憶手段３４の情報からマルチメディア文書のデータ容量を算出し、データ容量表示手段５２に表示する。マルチメディア文書のデータ容量には、マルチメディア文書構造データ７すなわちマルチメディア文書編集情報記憶手段３４の内容をファイル化した際の容量と、マルチメディア文書制御コアプログラム８のファイル容量と、マルチメディア文書中に用いたマルチメディアデータ群１０のファイル容量と、マルチメディアデータ群１０のデータを表示再生するために必要なマルチメディア制御用ライブラリ群５のサブセットであるマルチメディアデータ再生用ライブラリセット９のファイル容量が含まれる。また、データ容量算出手段５１は、編集作業中にマウス１２０やキーボード１１８の指示によって編集対象として選択しているマルチメディアデータの容量をマルチメディアデータ属性変更手段４９から得、データ容量表示手段５２に表示する。

５３はデータ容量制御手段であり、編集者によってあらかじめ指示された所定の容量値と比較し、もし、編集中のマルチメディア文書が該容量値を上回った場合は警告を表示する。また、データ容量制御手段５３は編集者の指示によって、マルチメディア文書が該容量値を下回るようマルチメディアデータをデータ圧縮する機能も有する。データ圧縮が指示された場合、データ容量制限手段５３はマルチメディア文書制御コアプログラム４に対してデータ圧縮を指示する。マルチメディア文書制御コアプログラム４はマルチメディアデータ制御用ライブラリ群５から、編集中のマルチメディア文書に含まれるマルチメディアデータのデータ圧縮に必要なライブラリを動的にリンクし、マルチメディアデータの圧縮を行う。圧縮されたマルチメディアデータは再びマルチメディアデータ一時記憶手段２０３に記憶されるが、非可逆な圧縮では画質が劣化するため、圧縮前の状態に戻せるよう、圧縮前のデータも保持される。

５４はマルチメディア文書書込み手段であり、編集結果をマルチメディア文書ファイル６に書き込む。３０はマルチメディア文書編集プログラム３の全体の動作を制御するマルチメディア文書編集プログラム制御手段である。

図２５はマルチメディア文書制御コアプログラム４及び８の構成を示す図であり、マルチメディアデータ属性解析手段３３、マルチメディア文書表示手段５０、マルチメディアデータ属性変更手段４９、マルチメディア文書構造データアドレス記憶手段７３から構成される。

図４はマルチメディアデータ制御ライブラリ群５の構成を示す図であり、第１静止画フォーマット制御用ライブラリ６０から第ｒ静止画フォーマット制御用ライブラリ６１、までのｒ個の静止画フォーマットの静止画データを制御するライブラリ群と、第１動画フォーマット制御用ライブラリ６２から第ｓ動画フォーマット表示手段６３までのｓ個の動画フォーマットの動作を制御するライブラリ群と、第１音声フォーマット制御ライブラリ６４から第ｔ音声フォーマット制御ライブラリ６５までのｔ個の音声フォーマットの音声を制御するライブラリ群と、第１イラストフォーマット制御用ライブラリ６６から第ｕイラストフォーマット制御用ライブラリ６７までのｕ個のイラストフォーマットのイラストを制御するライブラリから構成される。

図２４は１つのマルチメディア制御ライブラリの構成を示した図である。６８はマルチメディアデータ制御ライブラリであり、マルチメディアデータの表示を行うマルチメディアデータ表示手段６９、動画や音声データの場合には所定のシークエンスで再生を行うマルチメディアデータ再生手段７０、データを圧縮してファイルに格納する際に用いるマルチメディアデータ圧縮手段７１、ファイルから圧縮されたデータを伸長して取り出す際のマルチメディア伸長手段７２等のデータ手段を備えている。

図５はマルチメディア文書編集プログラム３においてマルチメディア文書のファイル容量が所定の容量を越えた場合に警告表示するための設定を行う際の画面表示例を示している。図５において８０はマルチメディア文書編集プログラム３のウィンドウである。８１はマウス１２０によって画面の特定箇所を指示するためのマウスカーソルである。マウスはボタンを備えており、該ボタンを利用者が押して放す動作を一般的にクリックすると称し、所定間隔以内に２回のクリックする動作をダブルクリックすると称する。また、特性位置を指示し、そこでマウスのボタンを押さえたままマウスを移動させる動作をドラッグするという。８２は主としてファイルの操作に関連したコマンドを内蔵したファイルメニュー、８３は主として特定のデータに対する編集操作に関連したコマンドを内蔵した編集メニュー、８４は主として設定に関連したコマンドを内蔵した設定メニューである。マウスカーソル８１で設定メニュー８４をクリックすると、設定ダイアログ８５が表示される。８６はデータ容量制限値入力フィールドであり、直接キーボード１１８からマルチメディア文書のデータ容量の所望の制限値を入力することができる。８７はデータ容量計算オプション設定ボタン領域である。

ボタン８８とボタン８９はどちらか一方しか選択できないようになっており、ボタン８８を選択するとデータ容量はマルチメディアコアプログラム８とマルチメディアデータ再生用ライブラリサブセット９の容量を含んで計算されるが、ボタン８９を選択するとマルチメディアコアプログラム８とマルチメディアデータ再生用ライブラリサブセット９の容量を含まずに計算される。９０は了承ボタンであり、了承ボタン９０をクリックすると設定が有効になり、設定ダイアログ８５は非表示となる。

図２２は、本発明のマルチメディア文書編集システムにおいて、マルチメディア文書を編集する際に利用者のデータインポート操作によるマルチメディア文書のデータ容量の変化を監視し、予め利用者が定めた容量を超えた際に警告を発する際の動作を説明するフローチャートである。また、図２３は本発明のマルチメディア文書編集システムにおいて、マルチメディア文書を編集する際に利用者のトリミング範囲の指定操作によるマルチメディア文書のデータ容量の変化を監視し、予め利用者が定めた容量を超えた際に警告を発する際の動作を説明するフローチャートである。これから図２２と図２３に示されたステップの動作を他の図を用いて説明する。

図６はマルチメディア文書編集プログラム３によってマルチメディア文書を新規作成する際の画面表示例を示した図である。図６においてファイルメニュー９２をクリックするとファイル関連のコマンドの項目の一覧が表示される。９１は新規作成メニュー項目であり、図６は新規作成メニュー項目９１を選択した後の画面となっているため、名称未設定のマルチメディア文書編集ウィンドウ２０４が表示されている。その際、マルチメディア文書ウィンドウ２０４内はデフォルトの背景色で塗り潰されており、該背景情報がマルチメディア文書バックグランド情報３５に記憶されている。９２はマルチメディア文書読み込みメニュー項目である。９３はマルチメディア文書に含ませたいマルチメディア素材データをマルチメディアデータ群１０から選択するためのマルチメディアデータ読み込みメニュー項目である。９４は図６の説明で設定したデータ容量の設定値以内に納まるようにマルチメディア素材データを圧縮するための圧縮メニュー項目である。９５は編集したマルチメディア文書を名前を変えてファイルに保存するための”名前を変えて保存する”メニュー項目である。９６は編集したマルチメディア文書をファイルに保存する保存メニュー項目である。９７はプログラムを終了するための終了メニュー項目である。９８はマルチメディア文書のデータ容量の合計値を表示するトータルデータ容量表示であり、データ容量算出手段５１が算出した値をデータ容量表示手段５２が表示する。新規作成時にはマルチメディアデータ群１０とマルチメディアデータ再生用ライブラリサブセット９は空なのでマルチメディア文書制御コアプログラム８とマルチメディア文書構造データ７の合計容量のみが表示される。すなわち図２２ステップＳ５０１として背景用データおよびマルチメディアデータ文書制御コアプログラムの容量加算値としてトータル容量が計算表示される。

図２２のステップＳ５０２と図２３ステップＳ５０９は編集対象のマルチメディア文書にインポートするデータを指定する共通のステップであり、図７は該ステップにおいて読み込むマルチメディア素材データを指定する際の表示画面例である。１３０は読み込みマルチメディアデータ選択ダイアログであり、図６においてマルチメディアデータ読み込みメニュー項目をクリックすることで表示される。１３１はディスクドライブを指定するディスクドライブ指定リスト、１３２はディレクトリを指定するディレクトリ指定リスト、１３３はマルチメディアデータのフォーマットを指定するフォーマット指定リスト、１３４はファイル名を指定するファイル名指定リストである。

ファイル名指定リスト１３４で指定したファイル名がファイル名入力フィールド１３５に表示されるので、読み込みボタン１３６をクリックすることで読み込みマルチメディアデータ選択ダイアログ１３０は非表示となり、指定マルチメディア素材データファイルがマルチメディア素材データ読み込み手段３２によって読み込まれる。指定されたマルチメディア素材データの読み込み時には図３で説明したようにマルチメディアデータ属性解析手段３３がマルチメディアデータの属性をヘッダ情報等から解析し、マルチメディア文書編集情報記憶手段３４に記憶する。その際、データＩＤ４０にはマルチメディアデータ属性情報解析手段３３が一意に１つのマルチメディア文書内のマルチメディア素材データを特定できる様な識別番号を与える。また、マルチメディアデータ制御ライブラリテーブル３６には読み込んだデータの表示や編集に必要なマルチメディアデータ制御ライブラリ名がエントリ番号と共に記憶される。データ制御手続き４３には読み込んだマルチメディアデータの表示や編集に必要な手段の一覧とそれらの手段が含まれるマルチメディアデータ制御ライブラリ名のマルチメディア制御ライブラリテーブル３６内でのエントリ番号が記憶される。

図８はマルチメディアデータ属性変更手段４９が、読み込んだマルチメディア素材データの表示範囲の変更をする際にマルチメディア文書表示手段５０を介して表示する表示画面例を示している。１４０は読み込んだ静止画データである。読み込んだ時点では図２２ステップＳ５０３でマルチメディア文書のトータル容量にインポートした静止画データ１４０のデータの容量がデータ容量算出手段５１によって算出される。図２２ステップＳ５０４でマルチメディアデータ属性解析手段で静止画データ１４０の表示に新規なマルチメディアデータ制御手段が必要かどうか判断され、必要であれば図２２ステップＳ５０５でデータ容量算出手段５１はデータのトータル容量に新規に必要なライブラリの容量を加算しトータル容量としてトータル容量表示９８に表示する。図２２ステップＳ５０６で予め設定したデータ容量を越えているかをデータ容量制御手段５３が判断する。その際予め設定したデータ容量を越えた際は図２２ステップＳ５０７で警告表示し、越えない場合は図２２ステップＳ５０８で警告しない。警告表示例として図８のトータル容量表示９８のごとく反転表示する。１４１は静止画データの外枠である。静止画データ１４０上の任意の点をクリックすると外枠１４１は太線表示になり、静止画データ１４０の編集対象として選択されていることが示される。その時点で、図２３ステップＳ５１０において選択されたデータすなわち静止画データ１４０のデータ容量がデータ容量算出手段５１によって算出され、選択データ容量表示９９に表示される。マウスカーソル８１は静止画データの外枠１４１の上にくると両端矢印の形状となり、その状態のままドラッグすることで枠１４１の大きさが変わる。このデータトリミング範囲の指定操作が図２３ステップＳ５１１に相当する。枠１４１の大きさに応じてデータ容量算出手段５１はデータ容量を際計算し、選択データ容量表示９９に反映する。枠１４１に囲まれた部分のデータのみが最終的なマルチメディア文書に保存される。また、トータルデータ容量表示９８には静止画データ１４０のデータ容量と静止画データ１４０の表示に必要なマルチメディアデータ制御ライブラリサブセット９の容量が加算される。ここで図２３ステップＳ５１３の判断ステップでデータ容量制限手段５３はトータルのデータ容量がデータ容量の設定値を越えていないと判断し図２３ステップＳ５１５の警告非表示のステップでデータ容量制限手段５３は警告表示しない。

図９はマルチメディアデータ属性変更手段４９が、読み込んだマルチメディア素材データの表示位置の変更をする際にマルチメディア文書表示手段５０を介して表示する表示画面例を示している。ここで静止画データ１４０の表示範囲は図８にて説明した操作によって縮小され、選択データ容量表示９９の値も図８より小さな値となっている。マウスカーソル８１の形状は枠１４１の内側では図９の様な形状に変化する。その状態でドラッグすることで静止画データ１４０の表示位置を変更することができる。静止画データ１４０の表示位置と表示範囲を示す座標Ｐ１（ｘ１，ｙ１）とＰ２（ｘ２，ｙ２）はマルチメディアデータ属性変更手段４９によって逐次静止画データ１４０の表示位置矩形情報４２に反映される。

図１０と図１１は、マルチメディアデータ属性変更手段４９が、文字の入力をする際にマルチメディア文書表示手段５０を介して表示する表示画面例を示している。図１０において１４２は文字入力ツールアイコンであり、文字入力ツールアイコンをクリックすると同時にマウスカーソルが図１１に示したカーソル８１の様な形状となり、文字列１４４のマルチメディア文書ウィンドウ２０４への入力が可能になる。その際、静止画データ１４０は自動的に非選択状態になるため細線になる。文字列１４４等マルチメディアデータが直接入力された場合は、マルチメディアデータ属性変更手段４９によって第ｎマルチメディアデータ属性情報４６が新規に作成される。

図１２は更に動画データ１４５を読み込んだ際の表示画面例である。ここでトータルのデータ容量がデータ容量の設定値を越えたことを検知しデータ容量制限手段５３は警告表示としてトータルデータ容量表示９８の表示を反転表示する。

図２２と図２３は以上説明したデータ容量算出手段５１とデータ容量制限手段５３の動作を示すフローチャートである。

図１３はデータ容量の設定値以下にデータ容量を削減するためにデータ圧縮を行わせるための操作を示している。図１３のような圧縮メニュー項目９４をクリックするとデータ容量制限手段５３は圧縮可能なデータを第１マルチメディアデータ属性情報３８に代表される全てのマルチメディアデータ属性情報から検索し、マルチメディア文書制御コアプログラム４に対し該当マルチメディアデータを圧縮するよう指示する。マルチメディア文書制御コアプログラム４はマルチメディア制御ライブラリテーブル３６から必要なライブラリを検索し動的にリンクすることでデータ圧縮手段７１を取得し、マルチメディア文書のデータ容量がデータ容量の設定値以下になるよう該当圧縮データを圧縮する。圧縮されたデータはマルチメディアデータ一時記憶手段２０３に記憶されるが、圧縮前のデータもそのまま保存される。

図１４はデータ圧縮中の表示を示す図であり、圧縮中であることを示す圧縮進捗表示１４６が表示される。図１５は圧縮後の表示画面を示した図である。圧縮の結果トータルのデータ容量がトータルデータ容量表示９８に示されるように、設定値以下になったためデータ容量制御手段５３は警告のために反転表示を解消する。一旦圧縮されたマルチメディアデータ一時記憶手段２０３に記憶されたデータはマルチメディア制御用ライブラリ群５に含まれる対応するデータ再生手段によって伸長され表示される。１４７は静止画データ１４０を過度に圧縮したために生じるブロック歪みである。

図１６はデータが圧縮された状態から圧縮される前の状態に復元するための操作を示す図である。編集メニュー８３をクリックすると編集を施したマルチメディア文書を１つ前のステップの状態に戻すための復元メニュー項目１４８、選択したデータを削減しＯＳが提供する一般にクリップボードと呼ばれる共有データ領域に移動するための切り取りメニュー項目１４９、選択したデータをクリップボードに複製するための複製メニュー項目１５０、クリップボード領域のデータをマルチメディア文書に読み込むための張り付けメニュー項目１５１、選択したデータを削除するための削除メニュー項目１５２が表示される。復元メニュー項目１４８をクリックするとマルチメディアデータ一時記憶手段２０３に記憶された圧縮前のデータに復元される。

図１７は復元後の画面表示である。ブロック歪み１４７は解消されるが、データ容量も元に戻るためトータルデータ容量表示９８の表示が再び反転表示になる。

図１８、図１９、図２０、図２１は動画データから不要な領域を削除するための編集手順を説明する図である。図１８において１５４は動画データ１４５を逆転再生するための逆転再生ボタン、１５６は再生を止め、画像を制止させる停止ボタン、１５７は動画データを再生するための再生ボタン、１５８は動画データ中の再生開始位置を指定する再生位置指定スライドバーである。再生位置指定スライドバー１５８をマウスカーソルでドラッグすることによって不要な領域の最初の画面を指定する。次に、キーボード１１８の所定のキー（例としてはシフトキー）を押しながら再生位置指定スライドバー１５８を不要な領域の最後の画面が現れるまでドラッグする。その時点で画面表示は図１９のようになり、動画データ中、不要な領域として選択してデータ範囲を示す選択データ範囲表示１５９が判定表示されると共に、選択した範囲のデータ容量をデータ容量算出手段５１が算出し、選択データ容量表示９９に表示する。次に、編集メニュー８３から削除メニュー項目１５２をクリックすると選択した不要なデータ領域が動画データ１４５から削除され、図２の如く削除された領域の１フレーム前のデータが動画データ１４５の表示領域に表示される。また、トータルデータ容量が設定容量以下になったためトータルデータ容量表示９９の判定状態が解除される。

以上説明したように編集した編集済みのマルチメディア文書は、マルチメディア文書書込み手段５４によってマルチメディア文書ファイル６に保存される。マルチメディア文書編集情報記憶手段３４に記憶されたマルチメディア文書の構造を示すデータはマルチメディア文書構造データ７に保存される。マルチメディア文書制御コアプログラム４のマルチメディア文書構造データアドレス記憶手段７３にはマルチメディア文書構造データ７へのオフセット（マルチメディア文書構造データ７を別ファイルとする場合はファイル名）が記録された後にマルチメディア文書制御コアプログラム８としてマルチメディア文書ファイル６に保存される。マルチメディアデータ制御ライブラリ群５からマルチメディア文書の再生に必要なライブラリがマルチメディアデータ制御ライブラリテーブル３６より選択され、マルチメディアデータ再生用ライブラリサブセット９に書き込まれる。マルチメディアデータ一時記憶手段２０３から最終的に用いられる加工済みのマルチメディアデータがマルチメディアデータ群１０に書き込まれる。

図２７はマルチメディア文書再生システムの構成を示す図である。図２７において６００はマルチメディア文書再生システムであり、２００はＯＳ、２０１と２０２はＯＳがマルチメディアのデータを再生するためにＯＳに追加されたソフトウェアであり、２０１がマルチメディアデータ再生コアプログラム、２０２はマルチメディアデータ制御用ライブラリサブセットである。６は編集者が作成したマルチメディア文書ファイルであり、マルチメディア文書中の各マルチメディアデータの配置等を示すマルチメディア文書構造データ７、マルチメディア文書制御コアプログラム８、マルチメディアデータ制御ライブラリサブセット９、マルチメディアデータ群１０から構成される。図２７においてマルチメディアデータ制御コアプログラム２０１とマルチメディアデータ制御用ライブラリサブセット２０２はＯＳが標準でサポートするフォーマットの動画や音声の再生機能を持つが、異なるフォーマットの動画や音声や静止画やイラストが文書に含まれていた場合は用いることができない。図２６は本発明のシステムにより作成したマルチメディア文書再生時のフローチャートを示している。

再生時には、図２６ステップＳ５１６においてまずマルチメディア文書制御コアプログラム８を起動すると、図２６ステップＳ５１７においてマルチメディアマルチメディア文書構造データアドレス記憶手段７３に記憶された情報よりマルチメディア文書構造データ７を読み込み、図２６ステップＳ５１８においてマルチメディアデータ属性解析手段３３が属性情報を解析し、図２６ステップＳ５１９において該解析済み属性情報より、マルチメディア文書表示手段５０が表示に必要なライブラリをマルチメディアデータ再生用ライブラリサブセット９から動的にリンクし、図２６ステップＳ５２０においてマルチメディアデータをマルチメディアデータ群１０から読み出して、マルチメディア文書を表示する。

以上説明したように、本実施例のマルチメディア文書編集システムでは、編集した文書が、含むマルチメディアデータの再生表示に必要な手段を有するライブラリをライブラリ群から選択し、文書ファイルに自動的に書き込む手段を有することで、再生側のコンピュータに該当マルチメディアフォーマットに対する再生手段がなくても表示再生を可能にする。また、マルチメディア文書中にあらわれるフォーマットのマルチメディアデータの表示再生に必要なライブラリのみを選択し、書き込むためのファイル容量の増大を防ぐ効果もある。

また、本実施例のマルチメディア文書編集システムでは、マルチメディア文書の編集中にデータ及び該データを再生するために必要な再生手段等の容量に関する情報を表示し、編集中にあらかじめ設定した容量を越えた場合は警告を表示すると共に、あらかじめ設定した容量以下となるようデータを圧縮する手段を備えることで所定のファイル容量に納まるように編集する作業が効率化される効果がある。

尚、本発明は、複数の機器から構成されるシステムに適用しても１つの機器から成る装置に適用しても良い。また、本発明は、システム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。

実施例のマルチメディア文書の編集及び再生に用いるシステムのハードウェア構成を示した図である。実施例のマルチメディア文書編集システムのソフトウェア構成を示す図である。マルチメディア文書編集プログラム３の構成を示した図である。マルチメディアデータ制御ライブラリ群５の構成を示す図である。マルチメディア文書編集プログラム３においてマルチメディア文書のファイル容量が所定の容量を越えた場合に警告表示するための設定を行う際の画面表示例の図である。マルチメディア文書編集プログラム３によってマルチメディア文書を新規作成する際の画面表示例を示した図である。読み込むマルチメディア素材データを指定する際の表示画面例の図である。マルチメディアデータ属性変更手段４９が、読み込んだマルチメディア素材データの表示範囲の変更をする際にマルチメディア文書表示手段５０を介して表示する表示画面例の図である。マルチメディアデータ属性変更手段４９が、読み込んだマルチメディア素材データの表示位置の変更をする際にマルチメディア文書表示手段５０を介して表示する表示画面例の図である。マルチメディアデータ属性変更手段４９が、文字の入力をする際にマルチメディア文書表示手段５０を介して表示する表示画面例の図である。マルチメディアデータ属性変更手段４９が、文字の入力をする際にマルチメディア文書表示手段５０を介して表示する表示画面例の図である。更に動画データ１４５を読み込んだ際の表示画面例の図である。データ容量の設定値以下にデータ容量を削減するためにデータ圧縮を行わせるための操作を示す図である。データ圧縮中の表示を示す図である。圧縮後の表示画面を示した図である。データが圧縮された状態から圧縮される前の状態に復元するための操作を示す図である。復元後の画面表示を示す図である。動画データから不要な領域を削除するための編集手順を説明する図である。動画データから不要な領域を削除するための編集手順を説明する図である。動画データから不要な領域を削除するための編集手順を説明する図である。動画データから不要な領域を削除するための編集手順を説明する図である。データ容量算出手段５１とデータ容量制限手段５３の動作を示すフローチャートである。データ容量算出手段５１とデータ容量制限手段５３の動作を示すフローチャートである。１つのマルチメディア制御ライブラリの構成を示した図である。マルチメディア文書制御コアプログラム４及び８の構成を示す図である。マルチメディア文書再生時のフローチャートである。マルチメディア文書再生システムの構成を示す図である。

Claims

データ容量制限値を表示するよう表示画面を制御する表示制御手段と、
ユーザにより選択されたデータのデータ容量を算出する算出手段と、
前記データ容量制限値と前記算出手段により算出されたデータ容量とを比較する比較手段と、
前記比較手段による比較の結果、ユーザにより選択されたデータのデータ容量が大きければ、その旨出力する出力制御手段と
を備えることを特徴とするデータ処理装置。
前記算出手段により算出されたデータ容量を逐次表示することを特徴とする請求項１に記載のデータ処理装置。
前記出力制御手段は、前記算出手段により算出されたデータ容量を反転表示することを特徴とする請求項１または２に記載のデータ処理装置。
ユーザにより選択されたデータを圧縮するための圧縮手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載のデータ処理装置。
前記圧縮手段は、ユーザにより選択されたデータを前記データ容量制限値以下になるよう圧縮することを特徴とする請求項４に記載のデータ処理装置。
データ容量制限値を表示するよう表示画面を制御する表示制御工程と、
ユーザにより選択されたデータのデータ容量を算出する算出工程と、
前記データ容量制限値と前記算出工程により算出されたデータ容量とを比較する比較工程と、
前記比較工程による比較の結果、ユーザにより選択されたデータのデータ容量が大きければ、その旨出力する出力制御工程と
を備えることを特徴とするデータ処理方法。
前記算出工程により算出されたデータ容量を逐次表示することを特徴とする請求項６に記載のデータ処理方法。
前記出力制御工程は、前記算出工程により算出されたデータ容量を反転表示することを特徴とする請求項６または７に記載のデータ処理方法。
ユーザにより選択されたデータを圧縮するための圧縮工程をさらに備えることを特徴とする請求項６乃至８のいずれか１項に記載のデータ処理方法。
前記圧縮工程は、ユーザにより選択されたデータを前記データ容量制限値以下になるよう圧縮することを特徴とする請求項９に記載のデータ処理方法。