JP2007529951A - 動画シーケンス合成用ディジタルビデオシステム - Google Patents

Abstract

取得した画像シーケンス群から表現作品を合成する画像処理システム（１０）であって、画像シーケンス群撮影用のカメラ（１２）と、撮影済画像シーケンス群一時記憶用の電子式ランダムアクセスメモリ（１６）と、事前にプログラムされている命令群を第１記録媒体から受け取るための入力読取手段と、画像シーケンス（６４）閲覧用のディスプレイ（１８）及びオペレータ指示受取用のオペレータインタフェースを有し上記命令群に従いオペレータ向けディスプレイ表示を行いそれに対するオペレータ指示をオペレータインタフェースを介し受け取る制御パネルと、上記オペレータ指示に従い電子式ランダムアクセスメモリ（１６）内撮影済画像シーケンス群をアレンジして表現作品に仕立てる上記命令群実行用の制御ロジックプロセッサ（２０）と、表現作品を記録媒体に記録するための出力書込手段と、を備える。

Description

本発明は動画の撮影及び表示に関し、特に、一般使用者(consumer)がより納得のいく動画作品を制作できる装置及び方法に関する。

民生市場においては、着実な品質向上、低価格化及び使用性向上が相俟って、ビデオカムコーダが急速に普及しその使用機会が拡大している。こうしたビデオカムコーダを初めとするディジタル式動画撮影表示装置は、磁気式、光学式又は電子式の記録媒体を用いた記録技術の進歩の恩恵を受けている。例えば、ディジタルビデオテープ、メモリカード（登録商標；以下同様）、光ディスク、大容量ＲＡＭ（ランダムアクセスメモリ）等のコンポーネントの進歩である。しかしながら、カムコーダの人気が高まるにつれ、その出力画像について、程度の差こそあれ何らかの不満を漏らす使用者が多くなってきている。民生用カムコーダの出力画像を見て不満に思い或いは不愉快に感じることとなる原因は多々あるが、そのうち一つは、画像のプロフェッショナルが撮影及び編集した出力画像と比べると質的な隔たりがあることであろう。この問題は、装置の使用法に誤りがあって生じるわけではなく、むしろ、画像を見る人が納得できるような脚本や物語性（構想）がないまま撮影や編集が行われるために生じるのが普通である。また、制作した動画シーケンスを事後的に修正・編集することも可能ではあるが、そうすることは、大抵の使用者にとり、勝手のよいものでもないし容易なことでもない。

ディジタル画像撮影装置やそのアクセサリの製造業者は、この問題を克服すべく様々な努力を重ねてきた。例えば、本願出願人が特許権を保持する米国特許に係る特許文献１（Ｓａｒｂａｄｈｉｋａｒｉ ｅｔ ａｌ．）に記載の着脱式記録装置は、カメラ動作拡張ファイル、追加グラフィックオーバレイグラフィクス及び線種、並びに最適化、圧縮及び画像拡張用各種ビルトインアルゴリズムを、電子カメラにロードするのに使用できる。また、本願出願人が特許権を保持する米国特許に係る特許文献２（Ｆｒｅｄｌｕｎｄ ｅｔ ａｌ．）に記載の電子動画カメラシステムは、画像に特殊効果を施して出力することが可能なシステムである。この文献には、自動的に又はカメラのオペレータからの指示に従い動作するプログラムが組み込まれた着脱式動画記録媒体を作成する装置が記載されている。このプログラムは、撮影した動画ストリームを編集してその見栄えを整え、またカメラに指示してその撮影特性を変化させて、例えば焦点、ハイライト効果、セグエ、フェードアウト等の効果を発生させまた調整する。

特許文献２に記載の方法及び装置にて採用された手法の一つに、光ディスク、Ｆｌａｓｈ（登録商標；以下省略）ＥＰＲＯＭ等の大容量ランダムアクセス型記録装置を利用する、という手法がある。この手法は、特に画像拡張に関して重要な先進的技術であり、こうしたランダムアクセス型記録装置を用いることによって、予め記録しておいた画像シーケンスを撮影した画像シーケンス内の適切な位置に挿入することや、予め準備しておいた特殊効果を撮影した画像シーケンス内の該当する位置の画像に施すことが可能になり、ひいてはシーンが突然切り替わるといった不具合のない上出来の動画表現作品を表示させることが可能になる。これは、カセットテープ上に記録されている連続的な画像ストリームにアクセスして処理していたら、実現できないことである。なお、大容量ＦｌａｓｈＥＰＲＯＭを用いた画像撮影装置の例としては、米国ニュージャージー州セコーカスに米国拠点があるＰａｎａｓｏｎｉｃから入手できるＳＤマルチＡ／Ｖレコーダというカムコーダがある。

米国特許第５４７７２６４号明細書 米国特許第６２９２２１９号明細書 米国特許第５９１４７４８号明細書 米国特許第６００５９７２号明細書 米国特許第６０７２９３３号明細書 米国特許出願公開第２００２／００７７１８号明細書

特許文献１及び２に記載されている手法によれば、シーンからシーンへの切り替わりをうまく処理すること等が可能であるが、撮影されたシーンそのものをより面白いものにするという点で多大な改良の余地がある。例えば、これらの文献に記載の手法においては、トランジション効果、線種選別、特殊効果等、予め準備されている画像拡張手段を利用できるとはいえ、そうした画像拡張手段をいつどのようにして使用するか決定する作業は使用者に委ねられている。更に、これらの文献に記載の手法は、そもそもプロフェッショナル風の流儀で得られるような仕上がりを狙ったものではない。プロフェッショナルの流儀では、まず脚本を書き、構図を決め、映画撮影専門のカメラマンが撮影し、そして画像を編集する。より詳細には、まず映画制作上都合がよいスケジュールを決め、そのスケジュールに従って映画撮影スタジオ内で各シーンを撮影した後、撮影した画像をストーリボード即ち脚本が記されているボードに従い編集設備にて合成するのが常識である。アマチュアとは違い、撮影した動画をそのままの順序で組み合わせて動画シーケンスとするようなことは、まず以てない。このことからその有益性が解るように、一般使用者がイベント時に画像撮影を行う際利用でき、より完成度の高い画像を得ることができるようなかたちで、ストーリボード機能を実現することが求められている。また、使用者を案内して撮影させそのシーンのコンテンツを最適化させる機能や、被写体や視聴者やイベント種別に適合するよう画像シーケンスをカスタマイズする機能を設けることも、一般使用者にとり有益なことである。

また、一般使用者が動画を撮影するのはイベント時が多い。とりわけ、誕生日、祝祭日、家族の集い、パーティ、卒業式、結婚記念日等のイベントでは、使用者は、その場を撮影して保存し愉快な体裁で表示させたいと願うものである。特許文献１及び２に記載の機能も、イベント時電子撮影画像をより楽しいものにする有益なユーティリティ乃至特殊効果手段ではあるが、使用者による画像及びそのシーケンスの撮影を助力し楽しいやり方で表示させられるようにする必要性は、なお残っている。

また、動画撮影装置を用いて家族や友人のポートレイトを撮影し、それを組み込んだ素晴らしい動画作品やユーモラスな動画作品を制作できるようにすることも望まれている。例えば、家族や友人を捉えた動画をミュージックビデオやパロディショーに挿入することができれば、わくわくするような作品になるであろう。

このように、ディジタルビデオシステムを用い適切な動画シーケンス群を取得できるようにする命令や、取得した動画シーケンスから動画作品を自動合成できるようにする命令が組み込まれた電子撮影システムを、実現することが求められている。

本発明の目的の一つは、画像及びそのシーケンスをより楽しく電子撮影したいという一般使用者の希望を満足させることにある。

本発明の実施形態の一つは、概略、取得した画像シーケンス群から表現作品を合成する画像処理システムであって、
（ａ）画像シーケンス群撮影用のカメラと、
（ｂ）撮影済画像シーケンス群一時記憶用の電子式ランダムアクセスメモリと、
（ｃ）事前にプログラムされている命令群を第１記録媒体から受け取るための入力読取手段と、
（ｄ）（ｉ）画像シーケンス閲覧用のディスプレイ及び（ｉｉ）オペレータ指示受取用のオペレータインタフェースを有し、上記命令群に従いオペレータ向けディスプレイ表示を行いそれに対するオペレータ指示をオペレータインタフェースを介し受け取る制御パネルと、
（ｅ）上記オペレータ指示に従い電子式ランダムアクセスメモリ内撮影済画像シーケンス群をアレンジして表現作品に仕立てる上記命令群実行用の制御ロジックプロセッサと、
（ｆ）上記表現作品を第２記録媒体に記録するための出力書込手段と、
を備える。

本発明の他の実施形態は、電子式に撮影された画像シーケンス群から表現作品を作成する方法であって、
（ａ）個々の画像シーケンスの撮影用にプログラムされている命令群を取得するステップと、
（ｂ）個々の画像シーケンスの配列案を示す電子ストーリボードを上記命令群に従い合成するステップと、
（ｃ）カメラのオペレータ向けに案内を表示して個々の画像シーケンスの取得を催促するステップと、
（ｄ）撮影した画像シーケンスをメモリに記憶させるステップと、
（ｅ）電子ストーリボードに従い画像シーケンス群から表現作品を合成するステップと、
（ｆ）その表現作品を記録媒体に記録するステップと、
を有する。

有益なことに、本発明によれば、テーマやイベント種別に相応しい画像コンテンツを撮影できるよう、視覚、聴覚又はその双方に訴えカメラのオペレータを案内することができる。

これもまた有益なことに、本発明によれば、編集や撮影の手順に煩わされることなく従ってより楽しく、カメラのオペレータが画像を電子撮影することができる。

これもまた有益なことに、本発明によれば、カメラのオペレータが未熟でも、プロフェッショナルの水準に近く完成度の高い外観を有する画像及びそのシーケンスを、作成することができる。

そしてまた有益なことに、本発明によれば、イベント種別やテーマに従って撮影された画像シーケンスを、オペレータが特定の被写体向け或いは特定の視聴者向けにカスタマイズすることができる。

以下、別紙図面を参照しつつ、本発明の実施形態について解りやすく且つ詳細に説明する。本件技術分野における習熟者（いわゆる当業者）であれば、以下の説明を参照することにより、既に説明したものもそれ以外のものも含め、本発明の目的、構成及び効果を明白に理解できるであろう。

また、本発明の構成上の特徴はこの明細書に添付する特許請求の範囲にて明白且つ一義的に定義されているが、別紙図面と併せ以下の説明を参照すれば、本発明をより好適に理解できるであろう。

更に、以下の記述は、本発明に係る装置の構成要素やそれらの間の直接的な連携に特に注目した説明であり、以下の説明中で詳細に図示乃至説明していない構成要素については、当業者にとり周知の様々な形態を採り得るものと理解されたい。

図１に、本発明の一実施形態に係り静止画や動画の撮影及び処理に使用される撮影装置１０のブロック構成を模式的に示す。この撮影装置１０を構成するコンポーネントは大略カメラ１２及び撮影ドックアセンブリ３０の２個であり、そのうちのカメラ１２は、二次元画像の電子的撮影用に画像撮影記録装置１４を備えている。画像撮影記録装置１４は撮影用光学系及び電子センサ回路（例えば既存のＣＣＤ）を有しており、またそれをサポートする部材としてＲＡＭ１６及びディスプレイ１８が設けられている。制御ロジックプロセッサ２０にはカメラ１２を動作させるための動作ロジックが組み込まれており、またこの制御ロジックプロセッサ２０はインタフェース回路２２と連携して撮影ドックアセンブリ３０や外部入力装置と通信する。

撮影ドックアセンブリ３０は入力インタフェース部２４及び出力インタフェース部２６を備えている。入力インタフェース部２４は、各種記録装置や各種入力通信チャネルから入力されるソフトウェア及びデータを受け取る。データやソフトウェアの入力は、例えば磁気式や光学式の記録装置によって行うことができる。そうした記録装置の例としては、フロッピー（登録商標；以下同様）ディスク、メモリカード、着脱式磁気ハードディスクドライブ、光学式媒体（ＣＤやＤＶＤ）等がある。データやソフトウェアの入力は、また、各種ネットワーク通信機構や各種スタンドアローン通信機構を利用し有線ポートや無線ポートを介して行うこともできる。そうした機構の例としては、イーサネット（登録商標）、ＩＲ（赤外線）、ＲＦ（無線）、Ｂｌｕｅｔｏｏｔｈ（登録商標；以下同様）等の装置がある。また、出力インタフェース部２６は、音声入力／再生回路２８、プリンタ３２及び記録媒体向けホストをサポートしている。画像、音声或いはその双方を出力する際、出力形態としてはハードコピー出力やファイル等の形態を使用することができ、出力機構としては各種有線／無線通信媒体又は記録媒体を使用することができる。

強調すべきことに、図１に示した撮影装置１０におけるカメラ１２及びこれをサポートする撮影ドックアセンブリ３０の構成部材は、図示したものと異なる様々なかたちで配置、構成することができる。図１に示したのは本発明に係る方法を動作させるのに必要な基本的な構成要素であり、その実現形態は様々となり得る。図１に示した全体構成を有する撮影装置１０であれば、プログラム済命令群を受け取ることができ、またそれら命令群に従って且つ撮影イベント／撮影テーマに相応しい形態で、画像及び音声コンテンツを取得、処理及び再生することができる。

図２に、カメラ１２及びメモリカード状の着脱式記録デバイス３４の一例斜視外観を示す。図中、オペレータインタフェースパネル３６はカメラ１２の動作を制御するためのパネルであり、この例ではディスプレイ１８がタッチスクリーンの形態を採っているので、オペレータがディスプレイ１８を用いカメラ１２に対する追加指示を入力することができる。また、画像撮影や画像再生に係る各種機能を使用するときには、スタンド３８を用いてカメラ１２を面上に着座させることができる。

図３に、撮影ドックアセンブリ３０上にセットした状態のカメラ１２を示す。図中、ＣＤ／ＤＶＤポート４０は、ＣＤやＤＶＤ等の光学式記録ディスク４２から、事前にプログラムされている命令群に加え事前に格納されている音声コンテンツ・画像コンテンツを受け取るための入力機構として設けられている。また、ＣＤ／ＤＶＤポート４０はリード／ライト機能を有する入出力機構とすることもでき、そのようにすれば、撮影した画像シーケンス（及び場合によっては音声コンテンツ）を後刻再生又は保存用に記録媒体に書き込むこともできる。また、この図には示していないが、別種ポートを用い、メモリカードその他の記録媒体からの入力やそれらへの出力を行えるようにしてもよい。

本発明に従い動作させるとき撮影装置１０はディジタルディレクタ（ディジタル的に実現された映画監督）として機能する。ディジタルディレクタは、オペレータを案内する機能や画像を自動処理するユーティリティを提供するので、熟練していないオペレータでもディジタルディレクタの助力で撮影を行い画像シーケンス群を取得し、それらからなる表現作品を作成し、しかもその見栄えをプロフェッショナルが仕上げたかのような出来映えにすることができる。議論の余地なく理解できるように、この撮影装置１０は、イベント種別やテーマに即した画像表現作品を作成するのに特に相応しいものである。

プログラム済命令群・画像群取得
撮影装置１０をディジタルディレクタとして機能させるためには、まず最初に、関心対象とされている特定のテーマ又はイベントに適した一組のプログラム済命令群（ディジタルディレクタ命令群）を、撮影装置１０に与える必要がある。その際、ディジタルディレクタ動作用に各種の画像（ディジタルディレクタ画像群）や特殊効果手段を、併せて与えてもよい。プログラム済命令群や画像群を与えるには、例えば、それら命令群、画像群等がコード化され記録されている媒体（ディジタルディレクタ媒体）、例えばＤＶＤ等の光学式媒体として作成された媒体を用いればよい。ディジタルディレクタ媒体をテーマ又はイベント種別に応じ複数バージョンに分けておけば、使用者は、テーマ又はイベント種別に応じ何れかのバージョンを選択することによって、テーマ又はイベント種別に応じたディジタルディレクタを利用することができる。ディジタルディレクタ媒体により好適にサポートできる典型的なイベント乃至活動としては、スポーツ、趣味、（ボーイ）スカウト活動、野外キャンプ体験、芸術、音楽、旅行等があり、ディジタルディレクタ媒体によりサポートできるテーマとしては、ユーモア、ロマンス、家族の集い、ベビーシャワー（誕生前祝賀会）、赤ちゃんと子供等がある。

なお、ディジタルディレクタ動作を実現又はサポートする媒体としては、この他に、ディスケット等の形態を採る各種磁気式媒体がある。Ｆｌａｓｈメモリ等のメモリカードもディジタルディレクタ媒体として使用できる。インターネット等の有線又は無線接続を介したディジタルディレクタ命令群乃至画像群の伝送等も使用できる。

このようにディジタルディレクタ命令群及び画像群をロード又はダウンロードすることによって、撮影装置１０による動作や編集に個性が付与されるため、つまるところ、画像コンテンツや音声コンテンツをもとにした表現作品の合成方法をカスタマイズすることができ、それによってそのイベント種別やテーマに際立って相応しい表現作品を制作することができる。即ち、後述する手順に従いディジタルディレクタを使用して撮影を行うことにより、オペレータは、被写体の年齢、性別、興味関心等に相応しい画像表現作品を制作することができる。なお、以下の説明では、イベントの中でもとりわけ注目を浴びやすい重要なイベントであるバースデイパーティを、例として採り上げることとする。

操作手順−ディジタルディレクタカスタマイズ準備
ディジタルディレクタを動作させる際使用者が手始めにするべきことは、ディジタルディレクタとして動作させるためのソフトウェア（ディジタルディレクタソフトウェア）を、撮影装置１０にロードすることである。例えば図３においては、電子ストーリボードソフトウェア並びにこれをサポートする画像群及び特殊効果群を、ディジタルディレクタソフトウェア又はその一部として光学式記録ディスク４２たるＤＶＤからロードしている。即ち、この図の例では、画像撮影を行う準備としてオペレータにより撮影ドックアセンブリ３０内に光学式記録ディスク４２が差し込まれている。撮影ドックアセンブリ３０内に入れられた光学式記録ディスク４２上のディジタルディレクタソフトウェアは、使用者に対して対話的な問合せ（プロンプト）を行い幾つかの項目について事前選択乃至指定を求め、それを通じて、画像撮影セッションの対象となるイベントやテーマをより詳細に特定する。例えば、ディジタルディレクタが発する誕生日テーマ向けプロンプトは、オペレータに対し、誕生日を祝われる人の年齢、性別、氏名等の情報を特定するよう求めるプロンプトとなろう（但しこれは一例に過ぎないのでこれとは異なるものになることもある）。図４にその一例を示すように、こうしたプロンプトは、カメラ１２のタッチスクリーンディスプレイ１８上に表示させるとよい。

図５ａ〜図５ｄに、スクリーン表示される一連の典型的なプロンプトの例を示す。順々に述べる通り、これらのプロンプトに応ずることによってオペレータはディジタルディレクタの動作を簡便にカスタマイズすることができ、またタッチスクリーンボタン４４を用いて指示（オペレータ指示）を与えることによってオペレータは以後の動作手順・操作手順を簡便に好適化することができる。テキスト（文字）の入力には、図５ｄに示されるオンスクリーンキーボード４６を用いればよい。また、オンスクリーンキーボード４６に代えてカメラの音声認識機能を使用し、話者音声をテキストに変換するようにしてもよい。取り込んだ音声をテキスト代わりに又はテキスト補強用に使用することもできる。

図９ａに、以上の初期化乃至準備段階で生成される電子ストーリボード７０を概念的に示す。映画制作時に使用される周知のストーリボードと同様、この電子ストーリボード７０も、画像シーケンスの配置順序指定に使用される。電子ストーリボード７０には、例えば、グラフィクス５４やタイトル文字６８の他に、画像シーケンス取得時にその撮影した画像シーケンス６４に割り当てられる何個かのプラニング済セグメント７６が含まれ、更に撮影された画像シーケンス６４と撮影された画像シーケンス６４の間に位置するトランジション６６が含まれる。トランジション６６とは、特許文献２に記載の各種手法、例えばフェード、グラフィクス、セグエ等の手法を用いて、或いはその他都合のよい仕組みによって、撮影済画像シーケンス６４から撮影済画像シーケンス６４へとシーンを切り替えていく効果が施された部分である。

また、図９ａにおける電子ストーリボード７０の描写は非常に概念的なものである。即ち、図９ａは、撮影された画像シーケンス群を繰り入れるプランを作成し、そのプランに従い、ディジタルディレクタデータの一部としてロードされている事前記録済画像群及び特殊効果群をも繰り入れる、という基本原理を示す図である。実際には、撮影により得られる画像シーケンス６４の配置順序をその撮影に先立って決めるやり方は数多くあり、本発明の実施に際してはそれら数多くのやり方のうちの何れを用いてもかまわない。また、電子ストーリボード７０の生成手法としては、事前カスタマイズを認めず自動生成するというやり方が最も単純であるが、図５ａ〜図５ｄでは、それより完成度の高いやり方、即ちオペレータが入力する被写体プロフィールデータに基づき電子ストーリボード７０がカスタマイズされるやり方を示している。

本願における「画像シーケンス」なる用語は、動画及び静止画の何れをも包含する意味で用いられている。周知の通り、静止画であっても、例えば単純に複数フレームに亘り繰り返すことによって、表現作品たる動画にその一部として繰り入れることができ、また、Ｋｅｎ Ｂｕｒｎｓ監督の「Ｔｈｅ Ｃｉｖｉｌ Ｗａｒ」等の作品群により注目を浴びたような、擬似動画風表現（例えば静止画をゆっくりとズーム及びパンして視覚的な注目を惹くやり方）に使用することもできる。

操作手順−ディジタルディレクタ発オペレータ案内
図６ａ〜図６ｏに、ディジタルディレクタソフトウェアがオペレータ向けに発する一連の案内の例を示す。これらの案内は画像撮影毎に行われる案内であり、これらの繰り返しにより画像シーケンス群を取得することによって、電子ストーリボード７０を完成させることができる。

まず、図６ａに示すように、案内４８及び（もしあれば）ヒント５０がディスプレイ１８により表示され、オペレータに示される。例えば、どのような画像を撮影することが求められているか、カメラ使用や照明その他の環境条件に関するＴＩＰＳ（ささやかな知恵）にはどのようなものがあるか、等が示される。また、図６ｂに示すように、ディジタルディレクタからオペレータに対し、この画像撮影手順における各種のオプションを提案するメッセージ５２を、発することもできる。オペレータがこの提案に応じた場合は、例えば図６ｃに示されるように、グラフィクス５４の追加等が行われることとなる。同様に、オペレータがディジタルディレクタからの提案に応ずれば、図６ｆに示されるように、静止画５６が画像シーケンスの一種として挿入されることとなる。更に、図６ｇに例示するように、グラフィクス編集オプション５８を示すこともできる。

また、図６ｈ、図６ｉ及び図６ｊにその画面例を示すように、ビデオカラオケシーケンスを挿入することもできる。この機能を使用する場合、オペレータは、図６ｈに例示されるが如き案内４８に従い、提示される幾つかの選択肢の中から何れかを選んでいく。ビデオカラオケシーケンスの撮影を開始させるには、オペレータは、図６ｉ中の曲目演奏プロンプト６０を操作するだけでよい。望みなら、図７に示すように、この時点でカメラ１２をスタンド３８上にセットし、オペレータ等も仲間に加えて楽しむことができる。このとき、ディスプレイ１８上には、曲目例えば歌の演奏と並行して実際のシーンを表示させてもよいし、図６ｊに示すように単にグラフィクス５４を表示させるだけでもよい。また、カラオケ演奏中に歌詞アニメーションプロンプト６２内に文字を楽しい形態で表示させ、その場に集っている人達を愉快に案内することもできる。更に、カメラ出力をテレビジョンに接続し、文字をより読みやすく表示させることもできる。なお、撮影した画像は、このシーケンス中に表示させてもよいし表示させなくてもよい。

図６ｌ、図６ｍ及び図６ｎに、撮影されたシーンのコンテンツに様々なテキストによるグラフィクス５４を付加し、ディスプレイ１８上に表示した状態を示す。そして、ここで例示している手順は、図６ｐに示されるように、最後のシーンのコンテンツへのグラフィクス５４の追加によって終了する。このとき、視覚的な面白さを増すには、テキストによるグラフィクス５４を静止させておくのではなく、動かしたりその外観を変化させて表示するのが望ましい。例えば図６ｐで言えば、文字「Ｔｈｅ Ｅｎｄ」をゆっくりとフェードインさせ、ケーキの上のキャンドルの炎を揺らめかせ、風船をゆっくりと回転させ、そしてシーンの終わりで風船を弾けさせるとよい。

電子ストーリボード７０の仕上げ
図９ｂに、図６ａ〜図６ｐに例示した一連の指示に従って画像を撮影及び処理した結果を概念的に示す。図９ａに示されていた電子ストーリボード７０は、今や、当該電子ストーリボード７０により指定された順序になるよう複数個の撮影済画像シーケンス６４が取り込まれた表現作品７２へと、変貌を遂げている。勿論、電子ストーリボード７０に対しては、画像撮影中に発せられたオペレータ指示に応じ動的に変更が施されているが、撮影装置１０のオペレータに対するプロンプト手順や撮影装置１０の操作・動作は、最初に作成された電子ストーリボード７０に基づき実行されているので、当初の電子ストーリボード７０の大まかな構造は維持されている。また、注目すべきことに、使用者による画像シーケンス撮影順序と、電子ストーリボード７０上における画像シーケンスの順序とが、同じになるとは限らない。

図８に、電子ストーリボード７０を仕上げるため撮影装置１０内の制御ロジック処理回路が実行するステップ群の概要を示す。まず、初期化ステップ１００においては、動作開始に先立ち、オペレータにより命令群がロードされる。必要であれば画像コンテンツもロードされる。実行されないこともあるプロンプトステップ１１０においては、オペレータに対するプロンプトにより、撮影する被写体のプロフィールに関する情報を取得する。これは、例えば図５ａに例示した要領で行う。ストーリボード合成ステップ１２０においては、撮影装置１０が電子ストーリボード７０又はこれに等価・均等なものを準備する。画像撮影ステップ１３０においては、オペレータに対するプロンプトにより、画像シーケンスを撮影させる。撮影する画像シーケンスは上述の通り静止画でも動画でもよい。テストステップ１４０においては、電子ストーリボード７０を仕上げるのに必要な画像シーケンスを全て取得し終えたかどうかが判別される。必要なら画像撮影ステップ１３０を繰り返させる。必要な画像シーケンスを全て取得し終えたと判別されたら、取得済画像シーケンス群が合成ステップ１５０にて処理され、電子ストーリボード７０により割り当てられている順序に従い配列（アレンジ）される。これによって、表現作品７２が作成される。

ディジタルディレクタソフトウェアにセグエの機能が組み込まれていれば、合成ステップ１５０にて、画像シーケンスと画像シーケンスとの間のトランジションとしてセグエを使用することができる。これについては、本願出願人が特許権を保持する米国特許に係る特許文献２（Ｆｒｅｄｌｕｎｄ ｅｔ ａｌ．）を参照されたい。この文献の開示内容についてはこの参照を以て本願に繰り入れることとする。ディジタルディレクタは、例えば個々のトランジション毎にテーマと整合する適当なセグエを自動的に選択し、そのトランジションを以て終わる画像シーケンスとそのトランジションを以て始まる画像シーケンスとを整合させる。

また、表現作品７２に代え部分的に未完成のままストーリボード７０を使用者に示すようにしてもよい。或いは、図示しない最終的な編集ステップを設け、使用者に確認やセグメント除去を行わせるようにしてもよい。或いは、以前に撮影しておいた画像シーケンス群を使用者がストーリボード７０に割り当てることができるようにしておけば、使用者は、ディジタルディレクタによる案内の下に撮影した画像シーケンス群に限られることなく、それ以外の画像シーケンス群を用い最終的な表現作品７２を仕上げることもできる。最後の記録ステップ１６０においては、撮影装置１０が、表現作品７２を記録媒体に書き込む。このとき使用する記録媒体は例えばＤＶＤとする。このＤＶＤは未使用のブランクＤＶＤであってもよいし、或いは、最初の初期化ステップ１００にてプログラム済命令群をロードするのに用いたＤＶＤそのものであってもよい。

また、注目すべきことに、オペレータ指示に従い電子式ランダムアクセスメモリ内撮影済画像シーケンス群をアレンジし表現作品に仕立てる事前プログラム済命令群実行用制御ロジックプロセッサを、カメラ内に置かない形態でも、本発明を実施できる。即ち、こうした機能は撮影装置１０の下流にあるライタ（書込手段）や図示しないコンピュータによっても実行できる。

特殊効果
表現作品７２を更にカスタマイズするには特殊効果を使用すればよい。使用できる特殊効果は数多くある。その例としては、スローモーション、加速モーション、オートロトスコープ、プログラマブル時間遅延、時間軸反転、画像鏡像化、幾何学的歪生成等がある。特殊効果を施すタイミングは、画像シーケンス撮影時でもよいし、表現作品７２を仕上げる最終的な処理を行っているときでもよい。こうした特殊効果手段は、ディジタルディレクタソフトウェアの一部として構成しておき、特定の画像シーケンスに対し自動適用させることができる。例えば、バースデイボーイがバースデイケーキの上のキャンドルの炎を吹き消す画像シーケンスを、まずは順方向（通常方向）スローモーションで見せそれに続いて逆方向スローモーションで見せるようにすれば、あたかも魔法でキャンドルの炎を点し直したかのように見せることができる。同様に、時間軸反転を用いれば、包装を解いたプレゼントが再び包装される画像や、切り分けたケーキが元通りにホールになる画像を、見せることができる。

また、何個かの画像シーケンスについてグラフィックテンプレートを用いることもできる。静止画か動画かにより制約されることもない。使用できるテンプレートとしては例えば装飾性の強い或いはテーマに即した線種を含むものがあり、そうしたテンプレートを使用する際には、ドラッグアンドドロップ等の手法で静止画又は動画をテンプレート内に嵌め込めばよい。但し、適切なものである限り、ドラッグアンドドロップに限らず他種のユーザインタフェース技術を用いることもできる。また、１個のテンプレート内に同時に複数個の画像が嵌め込まれ表示されるようにしてもよい。テンプレートは、更に、複数個の静止画からなる印刷出力用フォーマット、例えば写真画質プリント、アルバムページ、カレンダーページ、インデクスプリント、写真集、カード、招待状等を作成する際や、同じく複数個の静止画からなるディジタルスライドショーを作成する際にも、使用できる。この他、アバタやオーバレイ等のグラフィックコンテンツも使用できる。

更に、補助的なサウンドクリップを追加することもできる。追加するサウンドクリップは、予めディジタルディレクタ媒体により実装しておくとよい。こうした補助サウンドクリップを利用すれば、例えば笑い声トラック、音楽、音響効果等の音声コンテンツと、撮影時に取得した音声コンテンツとをミキシングすることや、後者の代わりに前者を入れることができる。

以上の説明から理解できるように、ディジタルディレクタを用いることにより、ディジタル画像撮影による効果と、格納済画像シーケンスに対するランダムアクセスによる効果とを享受することができるだけでなく、特許文献１及び２により開示されている各種画像撮影・画像処理ツールを効果的に利用することが可能になる。しかも、プロンプト及びそれに対する応答（指示）による手順並びに画像シーケンス群の自動合成によってそれを実現しているため、画像撮影プロセスをカスタマイズできまた単純化することができる。こうしたディジタルディレクタ機能を使用することによって、やや熟練度の足りないオペレータを手際よく案内し、必要な一連のステップを実行して、テーマ又はイベント種類に即した面白い動画表現作品を手際よく制作することが可能になる。ディジタルディレクタは画像シーケンス取得時におけるタイミング合わせや順序決定の心労からオペレータを解放するので、オペレータはその時々に扱っている単独のシーケンスに集中することができる。また、ディジタルディレクタによって、電子ストーリボードに従い画像コンテンツがアレンジされそれにトランジション効果や特殊効果グラフィクス要素が随時追加されるため、カメラ使用者がアマチュアであっても、ディジタルディレクタの助力により、プロフェッショナル仕上げのような外観及び仕上がりの出力を得ることができる。また、実施の仕方次第では、オペレータが、撮影したばかりの画像シーケンスを直ちにリビューすること、それも、最終的な表現作品で使用されるであろう各種の特殊効果、テキストによるグラフィクス等と共にリビューすることが、可能になる。そして、最終的に得られた画像シーケンスの見た目が気に入らない場合でも、オペレータは、撮影した被写体を再び撮影できる条件がある場合は、新たな画像シーケンスを直ちに撮り直すこともできる。

第２実施形態−ミュージックビデオスクリプト
本発明の第２実施形態は、ミュージックビデオをスクリプト（脚本・台本）として用い、使用者が納得のいく作品（プログラム）を制作できるようにするものである。本実施形態にてディジタルビデオカメラに与えられるディジタルディレクタ特にそのプログラム済命令群は、音声サウンドトラック（ポピュラーソング等）、動画トラック（ミュージックビデオシーン等）、並びに画像フレーム合成用命令群及び擬似カメラモーション再現用命令群を含む制御トラックから構成されている。新たな動画シーケンスの撮影は音声サウンドトラックを再生しながら行われるので、撮影される被写体は自分の動きをタイミング的に音楽に合わせることができる。撮影されたライブ画像は次いで上掲の動画トラックと組み合わせられ、それによって、そのライブ画像と、ディジタルディレクタから与えているミュージックビデオのシーンと、を共に含む新たな動画シーケンスが作成される。

これを実施する場合は、静止している背景の前面で被写体が動いているライブ画像を撮影し、取得したライブ画像の背景を別の背景に差し替えるようにするのが望ましい。この種の画像処理を実行する際には、まず、背景コンテンツだけの初期画像を何個か取得及び格納・記憶しておく。このようにすれば、ライブ画像の撮影に続いてその背景をマスクし、別の背景例えば動画トラックにより与えられている動画背景シーケンスへと置き換えることができる。この点については、本願出願人が特許権を保持する米国特許に係る特許文献３（Ｐａｒｕｌｓｋｉ ｅｔ ａｌ．）を参照されたい。なお、この文献の開示内容はこの参照を以て本願に繰り入れることとする。

図１０ａ〜図１０ｇに基本的な画像フレーム例を一組示す。これらの図は画像フレーム８０の合成の仕方を示している。画像フレーム合成に際しては、まず初めにカメラ１２の位置を決め背景画像８２、例えば図１０ａに示す画像を撮影する。次いで、ディジタルディレクタ用にロードされているものの中から、編集するミュージックビデオシーケンスに相応しい背景をもたらしてくれる記録済画像８４、例えば図１０ｂに示す画像を選択する。次いで、図１０ｃに示すように、図１０ａのそれと同じ背景をバックにして何人かの被写体８６を撮影する。被写体８６が撮影されると、図１に示した画像撮影記録装置１４は背景画像８２を記録済画像８４に置き換える。その際には被写体８６に関しマスキング手法を適用する。それによって、図１０ｄに示すような合成画像８８が作成される。なお、背景画像８２に置き換える画像として使用者が撮影した画像シーケンスを使用することもできる。また、できあがった合成画像８８に不満がある場合、画像撮影記録装置１４によりズーム手順を実行して合成画像８８を処理することもできる。図１０ｅ、図１０ｆ及び図１０ｇに示す処理後の画像の中から納得のいくものを選べばよい。

また、前景ライブ画像の背景動画トラック内への合成形態・合成手順をディジタルディレクタにより提供される制御トラックによって定めておく、というやり方を採るのが望ましい。制御トラックにはカメラ制御情報を含めることができ、またこのカメラ制御情報には、背景動画トラックを撮影した際のカメラ１２のモーション（例えばズーム、パン、回転）を示す情報が含まれているので、制御トラックを参照して合成を行うことにより、ライブカメラ画像においてそれと同じカメラモーションをディジタル的に模擬、再現することができる。例えば、ある画像シーケンスにおける背景動画を、ズームインしながらゆっくりと左にパンさせることができる。この手法を用いるときは、ミュージックビデオシーケンス撮影中も、カメラ１２それ自体を静止させたままでよく、また実際のズーム位置その他の設定についても変えないでよい。こうした制御トラックを利用することによって、カメラ１２を用いて撮影したディジタル動画シーケンスを、画像撮影処理装置１４それ自体の内部でディジタル的に処理、操作し、見かけ上パン及びズームしている動画シーケンスを得ることができる。即ち、カメラ１２の取扱技術や撮影技術に取り立てて熟達していなくても、ディジタルディレクタにより、見た目に面白くまた写実的なシーケンスを作成することができる。

本発明の一実施形態に係る脚本付ミュージックビデオ作品撮影手順の各ステップの流れを図１１に、またその一連のプロンプト表示画面を図１２ａ〜図１２ｅに、それぞれ示す。まず、転送ステップ２００は例えば使用者による指定に応じ開始されるステップであり、このステップにおいては画像撮影記録装置１４にミュージックビデオ用の音声がロードされる。選択ステップ２０２においては、後により詳細に説明するが、画像撮影中に再生する曲が特定される。セットアップ指示ステップ２０４においては、カメラ１２のオペレータに対してセットアップ手順が示される。続く背景撮影ステップ２０６においては、カメラ１２により背景画像８２が撮影される。次いで、被写体８６が所定の位置に着いたら、コンテンツ撮影ステップ２０８が実行される。このステップ２０８においては、曲を口ずさむ被写体８６の姿が撮影される。この画像コンテンツ撮影の後、画像撮影記録装置１４は、複数の処理ステップを実行する。即ち、背景抽出ステップ２１０においては実際の背景画像から各被写体８６の画像を抽出し、シミュレーションステップ２１２においてはパン、ズームその他のカメラ効果を模擬、再現し、続く合成ステップ２１４においては各被写体８６の画像を記録済画像８４と結合し、そしてミキシングステップ２１６においては音声を付加する。合成ステップ２１４では、更に、ディジタルディレクタソフトウェアの一部として与えられている各種背景セグメントを合成画像セグメント内に散在的に嵌め込む処理を、実行することもできる。図１０ａ〜図１０ｇに示した例で言えば、水に浸っているオール、水面に映える太陽、水中を泳ぐ魚等のクローズアップ画像を、背景セグメントとして嵌め込むことができる。そして、最終的に得られた動画表現作品は、適当な動画記録媒体に記録することができる。ディジタルディレクタソフトウェア及び各種コンテンツが記録されているＤＶＤに動画表現作品を記録してもよい。

カメラ１２のディスプレイ１８に表示されるプロンプトは、オペレータが各種指定、各種選択を行うのに有用である。図１１に示した手順のうちの画像撮影に関わる部分は、そうした指定や選択に従って実行される。まず、図１２ａに示す選択プロンプト９０は、オペレータが曲及び全体テーマを指定できるよう表示されるプロンプトであり、このプロンプト画面上には曲指定用の曲選択ボタン９２ａ及びテーマ指定用のテーマ選択ボタン９２ｂが表示される。図１２ｂに示す曲選択メニュー９４ａは、オペレータが図１２ａ中の曲選択ボタン９２ａを押したときに表示されるメニューであり、図１２ｃに示すテーマ選択メニュー９４ｂは、オペレータが図１２ａ中のテーマ選択ボタン９２ｂを押したときに表示されるメニューである。図１２ｄに示す初期化プロンプト９６は、セットアップ指示ステップ２０４にてミュージックビデオシーケンスを開始させるためのプロンプトであり、図１１中の後のステップはこれの後に実行される。図１２ｅに示す歌詞プロンプト９８は、ミュージックビデオ作成中にディスプレイ１８上に表示されるプロンプトである。このとき、図１２ｅに示すように合成画像８８を動的に表示させてもよいし、画像フレーム合成前なら撮影中の被写体８６を簡略に表示するだけでもよいし、歌詞だけをディスプレイ１８上に表示させてもよい。

図１３に、例えばＭＰ３フォーマットの音声ファイル１７０として格納されている音声と、格納されている背景動画シーケンス１７２及び使用者が撮影した動画シーケンス１７４との時間的関係を、タイミングチャートにより示す。この図に示すように、ディジタルディレクタは、ディジタルストーリボード技術を使用して、合成画像セグメント８８に背景動画セグメント８２がちりばめられた合成動画シーケンス１７６を生成する。

このようにして得られるミュージックビデオは個性のあるミュージックビデオ、即ちユーザ自身が作成者でありまたユーザ自身が指定した曲によりフィーチャされたビデオであると同時に、何人かの被写体８６がその主人公として好適にフィーチャされたビデオでもある。そのビデオ中のライブシーンは、あたかも、俳優が歌に合わせて演技したものを撮影したかの如くであり、しかも合成画像の記録、格納とその歌とが同調している。

第３実施形態−ユーモラスな又は話題性のある脚本による手順
本発明の第３実施形態は、ランダムに再生できるユーモラス脚本による作品等、各種の話題性のあるシーケンスを作成可能とする実施形態である。本実施形態におけるディジタルディレクタは、複数の参加者を撮影するようユーザを案内する。カメラ１２ひいては画像撮影記録装置１４は、撮影に先立ち参加者に対し画像又は音声によるプロンプト、例えば幾つかの質問に対する答えを求めるプロンプトや、何かの所作をするよう求めるプロンプトを発する。次いで、プロンプトに対し回答している或いは所作をしている参加者の姿が撮影され、その姿を捉えたセグメントは脚本に従い適宜変形され、ディジタルディレクタにより随時再生されることとなる。

図１４ａ〜図１４ｃに、ユーモラスなシーケンスの基本例に係る一連の表示画面を示す。まず、図１４ａに示すお勧めプロンプト１８０、即ちどのような脚本に従って撮影するかについて提案するプロンプトが、何通りかディスプレイ１８に表示される。オペレータは、表示された手順を受け入れてもよいし、それとは違う手順を指定することもできる。この後、先の実施形態にて説明したように、何種類かのプロンプトが表示されまた幾通りかの案内が発せられる。図１４ｂにおいては、質問を発したり何かの所作をするよう求める等してその被写体８６をまごつかせつつ、その被写体８６の反応を録画している。記録した画像は、指定されている脚本に従い調整して再生する。例えば、図１４ｃに示すように、ユーモラスな効果が生じるように元々の質問の中身を変えてしまい、カメラ１２本体のディスプレイ１８上で画像を再生させる。質問は、例えば好きな食べ物、飲み物、スポーツチーム、活動、歴史的事実等の名前等を問う質問とする。求める所作は、例えば表情をゆがませる所作等とする。撮影したセグメントには再生用に適当なナレーションをちりばめるとよい。また、特殊効果を施し、ニュース番組の再映、古い映画、ニュース映画等であるかのような外見を作ってもよい。

図１５ａ〜図１５ｄに、ユーモラス脚本付シーケンスの他の使用例を示す。これらの例においては、図１５ａに示すお勧めプロンプト１８０に対して肯定の返事を返し何人かの被写体８６の姿を撮影すると、図１５ｂ、図１５ｃ及び図１５ｄに示すように、画像合成時に声無し吹き出し（心の中の台詞を示す吹き出し）１８２等のグラフィクスが追加される。これらの声無し吹き出し１８２の中に動きのない文字を表示させてもよいし、また声無し吹き出し１８２を透過性グラフィックオーバレイとしゆっくりと見え始めるようにしてもよい。

ディジタルディレクタを脚本に従い動作させそれによって作品を制作する方法は、他にもいろいろある。より相応しくより納得のいく物語を作成するには、編集、ランダム再生、繰り返し再生、所作反転（巻き戻し）等の効果を用いることも有効である。また、脚本がより複雑なものであってもよい。例えば、互いに別々の被写体８６が登場する複数のシーンを組み合わせて、夢物語を制作してもよい。また、このディジタルディレクタユーティリティを用いて、脚本に則った賛辞、弔辞、グリーティングカード等を制作することもできる。ディジタルディレクタにより得られる動画シーケンスは、各種記録媒体に格納することができ、印刷することもでき、他のディスプレイ装置に転送すること等もできる。

ディジタルディレクタソフトウェアは、例えば、コンピュータプログラムとして作成し提供するとよい。作成したコンピュータプログラム即ちディジタルディレクタソフトウェアは、１個又は複数個の記録媒体上に格納して提供してもよいし、或いは通信リンクを介して提供してもよい。使用できる記録媒体としては磁気式又は光学式の媒体や固体電子回路式の記憶装置があり、使用できる磁気式記録媒体としてはフロッピーディスク若しくはこれに類する磁気ディスクや磁気テープ等が、光学式記録媒体としては光ディスクや光テープや機械可読バーコード等が、固体電子回路記憶装置としてはＲＡＭやＲＯＭ（リードオンリーメモリ）がある。また、使用できる通信リンクとしては、インターネットを経由したウェブサイトへの接続等がある。即ち、それなりの物理的実体を有する装置又は媒体であればどのようなものでも、本発明に係る方法を実施するのに必要な命令群を含むコンピュータプログラムの格納に使用することができる。

撮影装置１０は様々なコンポーネントから構成でき、また撮影装置１０におけるコンポーネントの組合せ方、特にディジタルディレクタ機能を実現するのに必要な基本コンポーネントの組合せ方には、様々に異なる複数の組合せ方がある。リード／ライト可能な媒体の種類は様々であり、またアクセスできる有線又は無線通信機構の種類も様々である。

このように、本発明によれば、電子式の撮影装置からの画像出力を拡張し、リアルタイムで与えられる指示に応じまた脚本に則り特殊効果が施された画像を得ることが可能な装置及び方法が得られる。

本発明の一実施形態に係る画像撮影処理装置を示す模式的ブロック図である。 本発明の一実施形態に係る画像撮影方法にて使用されるカメラを示す斜視図である。 図２に示したカメラ及びそれを支える撮影ドックアセンブリを示す斜視図である。 オペレータから準備情報を受け取るためカメラに表示される画面を示す平面図である。 本発明の一実施形態におけるイベント画像撮影カスタマイズ手順セットアップ手順にてカメラにより表示されるプロンプトの例を示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 本発明の一実施形態におけるプロンプトの例を示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される表示画面の例を示す平面図である。 同手順にて表示される他の表示画面を示す平面図である。 同手順にて表示される他の表示画面を示す平面図である。 同手順にて表示される他のプロンプトを示す平面図である。 同手順にて表示される他の表示画面を示す平面図である。 本発明の一実施形態に係りプロンプト等が画面に表示されているカメラを示す斜視図である。 本発明の一実施形態における画像撮影及び電子ストーリボード合成の手順を示すフローチャートである。 本発明の一実施形態にて合成される電子ストーリボード、特にまだ空のものを示すブロック図である。 本発明の一実施形態にて合成される電子ストーリボード、特に撮影済画像により空白を埋めて仕上げたものを示すブロック図である。 本発明の一実施形態にて撮影される画像の例を示す平面図である。 本発明の一実施形態にて処理に使用される画像の例を示す平面図である。 本発明の一実施形態にて撮影される画像の例を示す平面図である。 本発明の一実施形態にて処理して得られる画像の例を示す平面図である。 本発明の一実施形態にて処理して得られる画像の例を示す平面図である。 本発明の一実施形態にて処理して得られる画像の例を示す平面図である。 本発明の一実施形態にて処理して得られる画像の例を示す平面図である。 本発明の一実施形態における脚本付ミュージックビデオ作品作成手順を示すフローチャートである。 本発明の他の実施形態にて脚本付ミュージックビデオ作品の作成に用いられカメラのディスプレイ上に表示されるプロンプトの例を示す平面図である。 表示される他のプロンプトを示す平面図である。 表示される他のプロンプトを示す平面図である。 表示される他のプロンプトを示す平面図である。 表示される他のプロンプトを示す平面図である。 本発明の一実施形態に係る方法により合成される各種音声成分及び画像成分の時間的関係を示す図である。 本発明の一実施形態にてユーモラス脚本に従い作成された表現作品の例を表示中のカメラのディスプレイを示す平面図である。 同手順にて表示される他の画面を示す平面図である。 同手順にて表示される他の画面を示す平面図である。 本発明の他の実施形態にて他のユーモラス脚本に従い作成された表現作品の例を表示中のカメラのディスプレイを示す平面図である。 同手順にて表示される他の画面を示す平面図である。 同手順にて表示される他の画面を示す平面図である。 同手順にて表示される他の画面を示す平面図である。

符号の説明

１０ 撮影装置、１２ カメラ、１４ 画像撮影記録装置（画像撮影処理装置）、１６ ＲＡＭ、１８ ディスプレイ、２０ 制御ロジックプロセッサ、２２ インタフェース回路、２４ 入力インタフェース部、２６ 出力インタフェース部、２８ 音声入力／再生回路、３０ 撮影ドックアセンブリ、３２ プリンタ、３４ 着脱式記録デバイス、３６ オペレータインタフェースパネル、３８ スタンド、４０ ＣＤ／ＤＶＤポート、４２ 光学式記録ディスク、４４ タッチスクリーンボタン、４６ キーボード、４８ 案内、５０ ヒント、５２ メッセージ、５４ グラフィクス、５６ 静止画、５８ グラフィクス編集オプション、６０ 曲目演奏プロンプト、６２ 歌詞アニメーションプロンプト、６４ 撮影した画像シーケンス、６６ トランジション、６８ タイトル文字、７０ 電子ストーリボード、７２ 表現作品、７６ プラニング済セグメント、８０ 画像フレーム、８２ 背景画像、８４ 記録した画像、８６ 被写体、８８ 合成画像、９０ 選択プロンプト、９２ａ 曲選択ボタン、９２ｂ テーマ選択ボタン、９４ａ 曲選択メニュー、９４ｂ テーマ選択メニュー、９６ 初期化プロンプト、９８ 歌詞プロンプト、１００ 初期化ステップ、１１０ プロンプトステップ、１２０ ストーリボード合成ステップ、１３０ 画像撮影ステップ、１４０ テストステップ、１５０ 合成ステップ、１６０ 記録ステップ、１７０ 音声ファイル、１７２ 記録した背景動画シーケンス、１７４ 使用者が撮影した動画シーケンス、１７６ 合成動画シーケンス、１８０ お勧めプロンプト、１８２ 声無し吹き出し、２００ 転送ステップ、２０２ 選択ステップ、２０４ セットアップ指示ステップ、２０６ 背景撮影ステップ、２０８ コンテンツ撮影ステップ、２１０ 背景抽出ステップ、２１２ シミュレーションステップ、２１４ 合成ステップ、２１６ ミキシングステップ。

Claims (40)

1. 取得した画像シーケンス群から表現作品を合成する画像処理システムであって、
   （ａ）画像シーケンス群撮影用のカメラと、
   （ｂ）撮影済画像シーケンス群一時記憶用の電子式ランダムアクセスメモリと、
   （ｃ）事前にプログラムされている命令群を第１記録媒体から受け取るための入力読取手段と、
   （ｄ）（ｉ）画像シーケンス閲覧用のディスプレイ及び（ｉｉ）オペレータ指示受取用のオペレータインタフェースを有し、上記命令群に従いオペレータ向けディスプレイ表示を行いそれに対するオペレータ指示をオペレータインタフェースを介し受け取る制御パネルと、
   （ｅ）上記オペレータ指示に従い電子式ランダムアクセスメモリ内撮影済画像シーケンス群をアレンジして表現作品に仕立てる上記命令群実行用の制御ロジックプロセッサと、
   を備える画像処理システム。
2. 請求項１記載の画像処理システムであって、更に（ｆ）上記表現作品を第２記録媒体に記録するための出力書込手段を備える画像処理システム。
3. 請求項１記載の画像処理システムであって、更に、上記表現作品を上記第１記録媒体に記録するための出力書込手段を備える画像処理システム。
4. 請求項１記載の画像処理システムであって、オペレータインタフェースがタッチスクリーンを含む画像処理システム。
5. 請求項２記載の画像処理システムであって、第２記録媒体が光学式媒体である画像処理システム。
6. 請求項２記載の画像処理システムであって、第２記録媒体が磁気式媒体である画像処理システム。
7. 請求項２記載の画像処理システムであって、第２記録媒体が固体式媒体である画像処理システム。
8. 請求項１記載の画像処理システムであって、カメラがＣＣＤセンサを含む画像処理システム。
9. 請求項１記載の画像処理システムであって、制御パネルがカメラの一部分である画像処理システム。
10. 請求項１記載の画像処理システムであって、オペレータインタフェースがタッチスクリーンを含む画像処理システム。
11. 請求項１記載の画像処理システムであって、更に音声記録手段を備える画像処理システム。
12. 請求項１記載の画像処理システムであって、更に音声再生手段を備える画像処理システム。
13. 請求項１記載の画像処理システムであって、上記命令群が、オペレータインタフェースを用い個々の表現テーマを指定できるよう、表現テーマ毎に何個かの命令を使用して、複数個の表現テーマを提示する命令群である画像処理システム。
14. 請求項１３記載の画像処理システムであって、上記命令群が、表現テーマ毎に、オペレータインタフェースを用いたグラフィクス選択により対応する表現テーマの選択を可能化する命令を含む画像処理システム。
15. 請求項１記載の画像処理システムであって、上記命令群が、オペレータインタフェースを用い対応するテキストが指定されたら表現作品内画像シーケンスのうち少なくとも１個の中にそのテキストを組み込む命令を含む画像処理システム。
16. 請求項１記載の画像処理システムであって、上記済命令群が、背景画像シーケンスと、背景画像シーケンスに撮影済画像シーケンスを合成させる命令と、を含む画像処理システム。
17. 請求項１６記載の画像処理システムであって、背景画像シーケンスがカメラモーションを含み、上記命令群が、更に、背景画像シーケンス内カメラモーションと同様のカメラモーションを制御ロジックプロセッサにより模擬させ、少なくとも１個の撮影済画像シーケンス中に再現させる命令を含む画像処理システム。
18. 請求項１７記載の画像処理システムであって、上記カメラモーションがズームとパンを含む画像処理システム。
19. 請求項１記載の画像処理システムであって、上記命令群が更に音声サウンドトラックを含む画像処理システム。
20. 請求項１９記載の画像処理システムであって、制御ロジックプロセッサが、カメラが少なくとも１個の画像シーケンスを撮影している間、上記音声サウンドトラックを再生する画像処理システム。
21. 請求項２０記載の画像処理システムであって、上記命令群が、更に、音声サウンドトラックにて提供される楽曲の歌詞を含む画像処理システム。
22. 取得した画像シーケンス群から表現作品を合成する画像処理システムであって、
    （ａ）画像シーケンス撮影用のカメラと、
    （ｂ）撮影済画像シーケンス群一時記憶用の電子式ランダムアクセスメモリと、
    （ｃ）事前プログラム済命令群を記録媒体から受け取るための入力読取手段と、
    （ｄ）（ｉ）画像シーケンス閲覧用のディスプレイ及び（ｉｉ）オペレータ指示受取用のオペレータインタフェースを有し、上記済命令群に従いオペレータ向けディスプレイ表示を行いそれに対するオペレータ指示をオペレータインタフェースを介し受け取る制御パネルと、
    （ｅ）上記オペレータ指示に従い電子式ランダムアクセスメモリ内撮影済画像シーケンス群をアレンジして表現作品に仕立てる上記命令群実行用の制御ロジックプロセッサと、
    （ｆ）上記表現作品を同じ記録媒体に記録するための出力書込手段と、
    を備える画像処理システム。
23. 画像撮影用のセンサと、動画シーケンス記憶用のディジタルメモリと、録音音声記憶用のディジタルメモリと、録音音声を再生する音声再生手段と、を備え、
    格納されている録音音声を音声再生手段が再生している間に動画シーケンスが撮影及び格納されるポータブルディジタルビデオカメラ兼オーディオプレイヤ。
24. 請求項２３記載のポータブルディジタルビデオカメラ兼オーディオプレイヤであって、更にグラフィカルユーザインタフェースを備え、このグラフィカルユーザインタフェースの操作により、音声ファイルを再生しながらディジタル画像を記録する機能を随時起動可能なポータブルディジタルビデオカメラ兼オーディオプレイヤ。
25. 請求項２３記載のポータブルディジタルビデオカメラ兼オーディオプレイヤであって、更に背景画像を格納しておくための格納部材を備えるポータブルディジタルビデオカメラ兼オーディオプレイヤ。
26. 請求項２３記載のポータブルディジタルビデオカメラ兼オーディオプレイヤであって、更に、画像処理コマンドを格納しておくための格納部材を備えるポータブルディジタルビデオカメラ兼オーディオプレイヤ。
27. 請求項２３記載のポータブルディジタルビデオカメラ兼オーディオプレイヤであって、更に、過去に録画した動画セグメントを格納しておくための格納部材を備えるポータブルディジタルビデオカメラ兼オーディオプレイヤ。
28. 請求項２７記載のポータブルディジタルビデオカメラ兼オーディオプレイヤであって、上記格納部材が読取専用型格納部材であるポータブルディジタルビデオカメラ兼オーディオプレイヤ。
29. 請求項２７記載のポータブルディジタルビデオカメラ兼オーディオプレイヤであって、上記格納部材が読取書込可能型格納部材であるポータブルディジタルビデオカメラ兼オーディオプレイヤ。
30. 取得した画像シーケンス群から表現作品を合成する画像処理システムであって、
    （ａ）画像シーケンス群撮影用のカメラと、
    （ｂ）撮影済画像シーケンス群一次記憶用の電子式ランダムアクセスメモリと、
    （ｃ）事前にプログラムされている命令群を記録媒体から受け取るための入力読取手段と、
    （ｄ）（ｉ）画像シーケンス閲覧用のディスプレイ及び（ｉｉ）オペレータ指示受取用のオペレータインタフェースを有し、上記命令群に従いオペレータ向けディスプレイ表示を行いそれに対するオペレータ指示をオペレータインタフェースを介し受け取る制御パネルと、
    を備える画像処理システム。
31. 請求項３０記載の画像処理システムであって、更に（ｅ）上記オペレータ指示に従い電子式ランダムアクセスメモリ内撮影済画像シーケンスをアレンジして表現作品に仕立てる上記命令群実行用の制御ロジックプロセッサを備える画像処理システム。
32. 請求項３１記載の画像処理システムであって、更に（ｆ）上記表現作品を記録するための出力書込手段を備える画像処理システム。
33. 電子式のカメラを用いて撮影された画像シーケンス群から表現作品を作成する方法であって、
    （ａ）個々の画像シーケンスの撮影用にプログラムされている命令群を取得するステップと、
    （ｂ）個々の画像シーケンスの配列案を示す電子ストーリボードを上記命令群に従い合成するステップと、
    （ｃ）カメラのオペレータ向けに案内を表示して個々の画像シーケンスの取得を催促するステップと、
    （ｄ）撮影した画像シーケンスをメモリに記憶させるステップと、
    （ｅ）電子ストーリボードに従い画像シーケンス群から表現作品を合成するステップと、
    （ｆ）その表現作品を記録媒体に記録するステップと、
    を有する方法。
34. 請求項３３記載の方法であって、上記命令群取得ステップが、磁気式媒体から上記命令群を読み取るステップを含む方法。
35. 請求項３３記載の方法であって、上記命令群取得ステップが、光学式媒体から上記命令群を読み取るステップを含む方法。
36. 請求項３３記載の方法であって、上記命令群取得ステップが、ネットワーク通信により上記命令群を取得するステップを含む方法。
37. 請求項３３記載の方法であって、上記電子ストーリボード合成ステップが、対話入力によりオペレータから指示を受け取るステップを含む方法。
38. 請求項３３記載の作成方法であって、更に、表現作品内で用いるべく記録済画像を取得するステップを有する方法。
39. 請求項３３記載の方法であって、上記表現作品合成ステップが、更に、
    （ａ）カメラを用いて取得したものではない少なくとも１個の事前記録済画像をメモリ内にロードするステップと、
    （ｂ）その事前記録済画像を上記表現作品の一部として用いるステップと、
    を含む方法。
40. 取得した画像シーケンス群から表現作品を合成する画像処理システムであって、
    （ａ）画像シーケンス群撮影用のカメラと、
    （ｂ）撮影済画像シーケンス群一時記憶用の電子式ランダムアクセスメモリと、
    （ｃ）事前にプログラムされている命令群を第１記録媒体から受け取るための入力読取手段と、
    （ｄ）（ｉ）画像シーケンス閲覧用のディスプレイ及び（ｉｉ）オペレータ指示受取用のオペレータインタフェースを有し、上記命令群に従いオペレータ向けディスプレイ表示を行いそれに対するオペレータ指示をオペレータインタフェースを介し受け取る制御パネルと、
    （ｅ）上記オペレータ指示に従い電子式ランダムアクセスメモリ内撮影済画像シーケンス群をアレンジして表現作品に仕立てる上記命令群実行用の制御ロジックプロセッサと、
    （ｆ）上記表現作品を第２記録媒体に記録するための出力書込手段と、
    を備える画像処理システム。

Images