JP2009284513A - 記録された媒体の編集 - Google Patents

Abstract

【課題】様々な実施形態が記録された媒体を編集するシステムおよび方法を提供する。
【解決手段】画像取込装置により取り込まれた画像信号を受け取るステップ６０４であって、該画像信号は複数の重要性値と複数の画像とを含み、該画像の各々は前記重要性値の１つに関連し、該重要性値は前記取り込まれた画像の少なくとも１つの特性に対応するステップと、プログラムの全持続時間の指定を受け取るステップ６０６と、前記プログラムの前記指定された全持続時間を指示する編集信号を前記複数の重要性値に対して生成するステップ６０８であって、該生成された編集信号が少なくとも閾値に等しい重要性値を有する前記画像プログラムの複数の部分に対応し、該対応する部分は、該指示部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するよう確定されるステップとを含む。
【選択図】図６

Description

本発明は、包括的には画像取込装置に関し、詳細には記録された媒体の編集のシステムおよび方法に関する。

［優先権の主張］
本出願は、引用することにより本明細書の一部をなすものとする２００３年７月２４日に出願されて出願番号ＧＢ０３１７３０６．９を有する「Use of Saliency in Media Editing」と題された同時係属中の英国特許出願に対する優先権を主張する。

電子スチルカメラおよびビデオカメラは、ますます発展しており、撮像機能を向上させながらもより小さくてより使用し易くなってきている。同時に、カメラ信号が格納される媒体もまた小さくて安価になってきている。バッテリ寿命が長くなり、今日では、データの任意のダウンロードが必要となる前に、比較的短い期間、おそらくは１つの活動期間または旅行期間にわたり、非常に大量の音声および／または視覚データを取り込むことが極めて容易である。その結果考えられるのは、連続して記録しているウェアラブルカムコーダ（wearable camcorder）の使用である。

特に連続して記録している場合には、記録された素材のすべてがユーザにとって同じ関心の程度を有するとは限らない。したがって一般的に、素材の精選素材を保持し、おそらく選択された素材を並べ換え、または、ビデオ再生速度やそこからのキーフレームの選択または静止ショットの持続時間の制御による等の他の方法で編集するために、編集作業が必要となる。しかしながら、ユーザが記録された素材を編集するために費やしたい時間は、カメラの記憶容量に比例して増大するとは予想されず、実質上一定のままである可能性が高い。

従来、必要な時間および労力にも関わらず、かかる問題は、写真アルバムまたは編集された家庭用ビデオを製作するための、取り込まれた素材の手動編集によって対処されてきた。編集プロセス中に、編集素材が製作されている目的を心に留めておくことが必要であり、異なる目的に対して異なる編集素材のセットが必要となる場合がある。これにより、編集プロセスがいっそう困難で時間がかかるものとなり、実際には、同じソース素材から複数の編集を行うことは、あるとしてもほとんどない。

別法として、記録容量が初期の電子スチルカメラのように比較的制限されているか、または写真フィルムカメラのように比較的高価である場合のように、賢明に記録することによって問題が回避されてきている。それにも関わらず、理解されるように、何を記録すべきかのリアルタイムでの選択はしばしば困難であり、特に興味のあるまたは望ましい「魅惑的な瞬間（magic moment）」は容易に見逃してしまう。このことが、後に編集するために連続して記録するというアイデアが原理上非常に優れたアイデアである理由である。

したがって、時間を短縮して必要な労力を低減するために、編集プロセスに対する支援が必要である。従来技術による支援には、次のものがあると言える。
（ａ）同じソース素材のうちの１以上の編集を提供する手動編集ツール。
これらのツールは、紙ベースの写真アルバムと、ＰｉｃｔｕｒｅＩｔ（Microsoft）等のそれらの電子的なツールと、ＡＣＤＳｅｅ等の電子スライドショーツールと、Ａｄｏｂｅ Ｐｒｅｍｉｅｒ等のビデオ編集ツールとを含み、これらを引用することにより本明細書の一部をなすものとする。

（ｂ）多くの作業が行われてきた、自動ビデオ要約または抽出システム。
この文脈では、「要約(summarisation)」は、一般にビデオを表す主要静止画のセットの生成を言い、「抽出(abstruction)」は、一般にソースビデオの部分からのより短いビデオの生成を言う。例えば、引用することにより本明細書の一部をなすものとするA Girgensohn等の「A Semi-Automatic Approach to Home Video Editing」、UIST '00 Proceedings、ACM Press、pp81-89、2000によって説明され、ＦＸＰＡＬによって提供されるシステムである。これは、「不適切性（unsuitability）」の完全に自動の発見的測度（a fully automatic heuristic measure）を使用して、長いビデオショットをより短いクリップへと分割する。また、文の境界の自動識別による音声注釈に基づきクリップを分割する可能性もある。ユーザは、編集されたビデオの全持続時間を指定することができるが、いずれのクリップを使用するかとそれらを閲覧する順序とを手動で指定しなければならない。指定された持続時間は、明らかに、各クリップに対するイン／アウト点を確定するために使用される「不適切性」の閾値を制御する。別の例示的なシステムは、Intelのシステムであり、引用することにより本明細書の一部をなすものとするR Lienhart著「Dynamic Video Summarisation of Home Video」、Proc. of IS&T/SPIE、vol 3972、pp378-389、January 2000において述べられており、デジタルビデオカメラからのタイムスタンプに基づいてタイミングを合わせていくつかのショットをグループ化する。固定サンプリングレートによって必要とされるクリップの数が推定される技法を使用して、イン点／アウト点を音声内容に基づいて、長いショットをサンプリングするかまたは細分してより短いショットを生成する。ここでも、ユーザは、編集されるビデオの長さを指定することもできる。すべてのクリップが等しく重要であるという仮説に基づき、「制御されたランダムな」方法でクリップを選択するようにシステムを構成する。未加工の素材（raw material）の持続時間に対する指定された持続時間の割合に応じて、システムはランダムに数個の「事象（event）」を選択して、各「事象」に対してランダムに一続きのクリップを選択する。

（ｃ）内容および詳細を制御するための専門的に構成された対話式ビデオ素材の使用。
（引用することにより本明細書の一部をなすものとする）米国特許第６，２７８，４４６号公報（Liou）は、未知の専門的に編集されたビデオソースを想定する「System for Interactive Organisation and Browsing of Video」を述べている。後にシーンまたは何らかの他のグループにクラスタ化されるショットにビデオソースを分割し、この場合、対話式方法を使用して、自動ショット検出システムを補正し、対話式に閲覧することができる発見的配置にショットを編成する。ショット境界検出システムは、ソースビデオにおける明示的な編集点を検出することが十分であると想定する。それは、すでに専門的に編集されている素材に対しては当てはまる場合と当てはまらない場合とがあるが、通常、分割するかまたは何らかの方法で縮小する必要のある非常に長いショットから構成される未加工の家庭用ビデオに対してはそうでない場合の可能性がもっとも高い。クラスタ化は、同じ事象の２つのカメラビュー間の交互のショットのように、家庭用ビデオでは通常生じない状況を可能にするように設計される。米国特許第６，０３８，３６７号公報（Abecassis）による「Playing a Video Responsive to a Comparison of Two Sets of Content Preferences」は、ユーザの好みに基づいて表示された内容を選択するシステムの一例を開示しており、引用することにより本明細書の一部をなすものとする。それは、製作者がすでにビデオ素材の各セグメントに対する１以上の属性からなるプロファイルを識別していた場合に、専門的に製作された素材を処理するように構成され、閲覧者は、好みのプロファイルを指定し、それは後に、各ビデオセグメントのプロファイルに対して照会されて、そのセグメントを閲覧者に提供されるバージョンに含めるべきか否かが判断される。通常の使用は、閲覧者がソース素材から示される性的表現および／または暴力的表現の程度を制御することを可能にすることであろう。

［概要］
様々な実施形態が記録された媒体を編集するシステムおよび方法を提供する。簡単に説明すると、一実施形態は、画像取込装置によって取り込まれた画像信号を受け取るステップであって、該画像信号は複数の重要性値（saliency value）と複数の画像とを含み、該画像の各々は前記重要性値のうちの１つに関連し、該重要性値は前記取り込まれた画像の少なくとも１つの特性に対応している受け取るステップと、プログラムの全持続時間の指定を受け取るステップと、前記プログラムの前記指定された全持続時間を指示する編集信号を前記複数の重要性値に対して生成するステップであって、該生成された編集信号が、少なくとも閾値に等しい重要性値を有する前記画像プログラムの複数の部分に対応しているので、該対応する部分は、該指示部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するように確定される生成するステップとを含んでなる方法である。

別の実施形態は、画像取込装置によって取り込まれた画像信号を格納するように構成されたメモリであって、該画像信号は複数の重要性値と複数の画像とを含み、該画像の各々は該重要性値のうちの１つに関連し該重要性値は前記取り込まれた画像の少なくとも１つの特性に対応しているメモリと、少なくともプログラムの全持続時間を指定するようにユーザによって操作可能なユーザコントロールと、前記プログラムの前記指定された全持続時間と前記複数の重要性値とに応答する信号プロセッサであって、それにより前記生成された編集信号が少なくとも閾値に等しい重要性値を有する前記画像プログラムの複数の部分を指示しているので、該指示部分は、該指示部分の持続時間が合計される場合に前記プログラムの総持続時間が該プログラムの前記指定された全持続時間に対応するように確定されるものである信号プロセッサとを含んでなる編集信号を供給する装置である。

本発明のさらなる特徴および利点は、読者が参照する添付図面を考慮し、添付図面に関連して行われる発明の実施形態の以下のより詳細な説明を読むことにより、明らかになるであろう。

本発明による装置の第１実施形態の略ブロック回路図である。 記録された重要性信号が付随し、記録された静止写真に対して使用される場合に、図１の回路の動作を説明する図である。 記録された重要性信号が付随し、記録されたビデオ信号に対して使用される場合に、図１の回路の動作を説明する図である。 記録されたビデオおよび音声信号とともに使用されるが必ずしも重要性信号は記録されない、本発明による装置の第２実施形態の略ブロック回路図である。 図４の回路の動作を説明する図であり、適当な場合には、異なる図において密接に対応する項目に対して同じ参照符号を使用する。 例示的な実施形態によって使用されるプロセスを示すフローチャートである。

［詳細な説明］
実施形態は、付随する多値の重要性信号とともに未加工のカメラ画像信号を扱うために適した編集システムに関する。「多値」とは、重要性信号が、離散値信号であるか連続した可変信号あるかに係らず、少なくとも２つの非ゼロ値を有することを意味する。

図１に示す装置は、少なくとも２つの非ゼロ値を有する対応する重要性信号が付随する記録されたカメラソース信号とともに使用するためのものである。それは、第１のメモリ２および第２のメモリ３に動作可能に結合されユーザコントロール４によって供給される出力を受け取る中央プロセッサ回路１を含む。好ましくはソフトウェア駆動型であるがハードウェアで実施してもよいプロセッサ１は、ユーザコントロール４によって要求されるように、画像および／または他の信号をディスプレイ５に送出する役割も果たす。メモリ２は、カメラメモリからダウンロードされる信号を受け取るように構成され、この場合、メモリ２および３は、同じメモリの一部であってもよく、または、たとえばリムーバブルカードもしくはカメラ自体の一部であるカメラメモリであってもよい。そのプロセッサ１への出力７は、記録された画像と記録された重要性信号との両方を供給する。メモリ３は、プロセッサ１から編集済みプログラム信号８を受け取り格納する役割を果たし、プロセッサ１およびユーザコントロール４の制御に基づく要求に従って、後に使用されまたはダウンロードされるためのプログラム出力６を供給する。

ユーザがメモリ２の（たとえば、静止画またはビデオなどの）画像信号のタイプを指定することができるようにユーザコントロール４を適当に構成するか、または、たとえば信号フォーマットから自動的に素材のタイプを識別するようにプロセッサ１を構成する。また、ユーザが（ａ）編集済みプログラムの長さを指定し、（ｂ）装置に対し、ソースまたは編集された信号を閲覧するためにディスプレイ５に提供するように命令し、（ｃ）メモリ２に記録された重要性信号を対話式に変更することができるように、ユーザコントロール４を構成する。装置の動作について後述する時に明らかとなるように、他の機能が利用可能であってもよい。

ユーザコントロール４は、任意の既知の形態、たとえば各機能に対し個々のコントロールの形態をとってもよく、または、ユーザがディスプレイ５上でオプションを通して案内され、後にディスプレイ上で確認されるパラメータの選択を行う場合には、プログラムされたタイプの制御機能の形態をとってもよい。選択されたパラメータは、画像信号が閲覧される時にディスプレイ５の都合のよい位置、たとえば画像の最下部に沿って残ってもよい。

図２に示すように、スチル写真に使用する場合には、ソース信号は、一続きの静止画像である（Ｐ１〜ＰＮとして示される）Ｐｎを提供し、各々には重要性信号である（Ｓ１〜ＳＮとして示される）Ｓｎが付随する。例示的な実施形態では、信号Ｓｎは７つの非ゼロ値を有し、そのため３桁の２進数によって容易に表され、画像Ｐｎのうちのいずれを含めるかを選択するためと各個々の画像がどれくらいの期間閲覧されるかを判断するためとの両方に使用される。後者の態様は、単調な画像の表示レートを回避しより興味を起こさせる画像をより長く見ることができるようにするために重要である。

ユーザは、コントロール４を操作して、編集された信号８から発生するプログラムの全持続時間Ｄと、選択される画像の最大ショット持続時間（ｄｍａｘ）および最小ショット持続時間（ｄｍｉｎ）とをプロセッサ１に対して指定する。信号タイプ、たとえば、静止画像、ビデオまたは「バースト」の認識を、実施形態によっては自動的に行うが、そうでなければまた、画像信号がスチル写真に対するものであることを指定するようにコントロール４を操作する。自動的に検出されるかまたはさらなるユーザ入力によるユーザコントロールからの入力が完了すると、プロセッサ１は、以下のように持続時間Ｄを平均ショット長で除算することにより、時間内に表示することができる画像の数（Ｎｄ）を計算する。
Ｎｄ＝２Ｄ／（ｄｍａｘ＋ｄｍｉｎ）

そして、包含重要性閾値Ｔのレベルを、Ｎｄ個の画像がそれを上回るまで調整することができ、これらの画像は、最大値Ｓｍａｘと最小値Ｓｍｉｎとの間にある重要性を有することになる。そして、Ｎｄ個の画像の選択されたセットにおける任意の画像Ｐｎに対し、その画像に対する重要性値Ｓｎからショット持続時間の所期推定ｄｎｉｎｉｔを行うことができる。これを行う例示的な仕方は、線形補間を用いる。
ｄｎｉｎｉｔ＝ｄｍｉｎ＋（ｄｍａｘ−ｄｍｉｎ）×（Ｓｎ−Ｓｍｉｎ）／（Ｓｍａｘ−Ｓｍｉｎ）

この段階で、プログラムの持続時間は、Ｎｄ個すべての選択された画像に対する値ｄｎｉｎｉｔの合計Ｖとなる。重要性値の分布を考慮しなかったため、Ｖは、Ｄから量Δ＝Ｖ−Ｄだけ認め得るほど異なる可能性がある。必要な場合および特定の実施形態次第では、これを調整するあり得る方法は、（ａ）画像の一部またはすべての間で量Δをランダムに分配すること、（ｂ）Δ／Ｎｄにより画像の各々の持続時間を変更すること、もしくは（ｃ）重要性値に従って選択された画像にわたり量Δを規則正しく分配することである。

結果としての編集済みプログラムＥを、図２の最下行に示す。ここでは、画像Ｐ１、Ｐ２、Ｐ６、Ｐ８、およびＰＮが選択されており、それらの持続時間はＳｎの高さが閾値Ｔを越えて増大していることにより増大することが分かる。たとえば、編集済みプログラムにおけるそれらのそれぞれの持続時間に関連する選択された静止画像として、このプログラムＥをメモリ３に適当に格納する。

図３は、図２と類似するが、連続的に可変のレベルを有する重要性信号Ｓが付随する複数のソースクリップＶ１〜ＶＮから構成されるソースビデオシーケンスＶに対するプロットを示す。ユーザは、コントロール４を操作して、メモリ２の信号がビデオであることを指定する。一実施形態によって使用される非常に単純な手法により、ユーザコントロール４を、ビデオの選択された部分ＣＡ〜ＣＦの全長がＤに等しくなるまで重要性閾値Ｔを調整するように構成する。そして、メモリ１から選択された部分を抽出し、既知の技法を使用してそれらを結合し、編集済みプログラムＥをメモリ３に格納する。

しかしながら、図示するように、さまざまな実施形態において、ユーザコントロール４の操作により、任意のクリップの最大長もｄｍａｘに制限されおよび／または任意の選択されたクリップの最小長もｄｍｉｎに等しくなる。これらの２つの態様は、図３の最下行に示す編集済みプログラムにおいて（Ｔを上回る一部が使用されない）クリップＢについて、ならびに（Ｔを下回る一部が使用される）クリップＡおよびＤについてそれぞれ示されている。

上記ビデオ手法は、重要性値が高い編集済みプログラムを提供するが、各クリップに対する最適なイン点／アウト点を考慮しておらず、ｄｍａｘとｄｍｉｎとの間の範囲において種々のクリップ持続時間を生成するようには試みていない。

別の実施形態では、プロセッサ１を、包含閾値Ｔが単にソース素材のどこからクリップを取得するかを選択するために使用されるように動作するように構成し、プロセッサ１は、Ｔと重要性信号との交差点に基づいてまたは抽出されたビデオ部分の最大および最小持続時間に直接基づいて、イン点／アウト点を設定しない。

図４は、この手法を採用する本発明の実施形態のブロック回路図を示す。これは、ビデオカメラからの記録された信号を処理するために有用であるが、図１の実施形態とは、記録された重要性信号Ｓがない記録されたビデオ信号で使用することができるという点で異なる。図示するように、カメラのメモリ２’、カメラからのメモリ２’、または装置のメモリ２’は、記録されたビデオ画像信号９と記録された音声信号１０とを含み、それらは装置の最初の使用時に、プロセッサ１の制御に基づき、画像重要性回路１１と音声重要性回路１２とをそれぞれ通過する。画像重要性回路１１は、ビデオ画像を分析することにより、そこから視覚的重要性の測度を導出する。ある例示的な実施形態では、実施形態は、引用することにより本明細書の一部をなすものである本明細書の出願人による同時係属中の英国特許出願第０１１８５９５．８号において述べられているものに類似する視覚的重要性出力１３を供給する。音声重要性回路１２は、音声信号１０を分析することにより、そこから既知の技法により音声重要性の測度を導出して音声重要性出力１４を供給する。そして、ソース信号９および１０に関連して、信号１３および１４をメモリ２に記録する。任意選択的に、たとえば、引用することにより本明細書の一部をなすものとする本明細書の出願人による同時係属中の英国特許出願（整理番号Ｐ２１６１０ＧＢ、第３００２００００５８号）に述べられている方法により、さらなる重要性信号５’が、メモリ２’に記録されていた場合には、これを他の信号に関連してメモリ２にも格納する。

ユーザがコントロール４を操作することによって確定されるように、プロセッサ１は、多値の重要性信号Ｓ（図５）として、信号５’もしくは信号１３またはこの２つの所望の組み合わせを使用する。任意選択的に、信号Ｓの形成に音声信号１４を含めてもよい。しかしながら、特に図５に関して説明するこの実施形態の動作においては、それは後述するようにあるいくつかの時点を画定する役割のみを果たしており、信号Ｓは信号１３に等しい。

図３の実施形態と同様に、プロセッサにより、平均ショット長を使用して選択されるショットの数Ｎｄを確定することができ、その数のショットが重要性閾値を上回るまで閾値Ｔを調整することができる。そして、図５の重要性プロットＳにおける垂直線ＴＡ〜ＴＪによって示すように、その最大重要性値に対応する時点Ｔｎを各選択されたショットに対して確定する。

任意選択的に、ショット毎に複数の時点を提供するようにプロセッサ１によってこのように画定された長いショットをより短い部分へと分割する。たとえば、連続してＴを上回る単一部分から導出される点ＴＡおよびＴＢに対して示すように、重要性レベルの明確な局所最大値の各々において時点を画定してもよく、または、クリップＤにおけるように、重要性関数がかなりの期間にわたって略平坦である場合には、時点ＴＤ１およびＴＤ２を音声または視覚的内容等の他の何らかの特徴によって確定してもよく、特に説明する動作では、かかる判断を音声重要性信号１４に基づかせることによりＴＤ１およびＴＤ２等の時点がたとえば音声重要性が別々の局所最大値に達する場所に特定されるようにプロセッサを構成する（またはユーザコントロールから命令する）。

ショットが選択されると、各々は、対応するビデオクリップを画定するようにプロセッサによりそのイン点とアウト点とが設定される。イン点／アウト点を設定するために重要性のみが使用される場合より柔軟性があり、イン点および／またはアウト点は、図３のクリップＣＡおよびＣＤと同様に、適当な場合は閾値Ｔを下回ってもよい。一般に、満足させるべき複数の制約がある。
１．全プログラム持続時間Ｄ。最大および最小クリップ長を設定する、所望のペース制限ｄｍａｘおよびｄｍｉｎがあってもよい。
２．ショット長の分布、すなわち、可能な場合は、最大視覚変化に対し長いおよび短いショット長を散在させるべきである。
３．最大値である傾向にあることが望ましい、プログラムの全重要性。
４．各クリップの自然制約、たとえばソース素材の開始および終了と、上述したGirgensohnにおいて使用されるような「不適当性」の測度（metrics）。

イン点およびアウト点を選択する多くの技法が可能である。１つの例示的な実施形態では、以下のプロセスを使用する。プロセッサ１が、各時点に関する領域を分析することにより、たとえば、より前の／より後の素材の「不適当性」や、ソース素材における未加工のショットの終わり等に基づいて、イン点に対する最早可能位置（the earliest possible position）とアウト点に対する最遅可能位置(the latest possible position)とを確定する。そして、プロセッサ１が、最早イン点(the earliest in point)と最遅アウト点(the latest out point)との間の領域において潜在的なイン点／アウト点を識別する。本技術分野において認識されるように、適当なイン点／アウト点は、たとえば、シーンにおいて動きがないかまたはほとんどない点かあるいは発話における中断である。最大重要性点が任意のイン点と任意のアウト点との間にあることを保証するために、その時点に先立つイン点とその時点に続くアウト点とのみをプロセッサによって識別する。

次に、プロセッサが、各ショットに対して最早イン点と最遅アウト点との間の重要性曲線下の領域を確定し、ｄｍａｘとｄｍｉｎとの間にあるそのショットからクリップに対する目標時間を線形補間によりその後計算する。

そして、各ショットを順に処理して、目標時間にもっとも近いクリップ持続時間に到達するように、代替的な識別された潜在点からイン点およびアウト点の対を選択する。計算されたクリップ持続時間と実際のクリップ持続時間との間の誤差を使用して、続くショットから次のクリップに対する目標ショット長を変更し、または、複数の続くショット間でその誤差を分散させる。最後に、プロセッサは、メモリ２から適当なクリップを抽出し、所望の順序でそれらを結合し、結果としての信号を格納するためにメモリ３に向けるように動作する。

このように、各ショットに対する重要性信号の持続時間およびサイズにより、対応するクリップの長さが確定し、ビデオのペースは、クリップの数および時間に関し、ユーザの好みを満たすように高レベルで制御可能である。また、不自然なカットを回避するために、詳細なクリップ境界条件をビデオの内容に完全に関連して判断する。

この実施形態では、閾値レベルＴが上述した実施形態より低くなる傾向がある。したがって、結果としてのプログラムは、より多くの変化を含むべきであり、潜在的に、持続時間Ｄのすべての問題が重要性が高い比較的少数の長いクリップに割り当てられないようにするべきである。

上記実施形態の変形では、第２のより高い閾値Ｔ’を上回る重要性値を有する選択されたクリップに対するイン点およびアウト点を、（より近い、より短い長さがあり得る場合であっても）目標長に最も近いより長いクリップ長を選択するように設定してもよい。他の選択されたクリップに対し、目標長に最も近いより短い長さを割り当て、それにより編集済みプログラムに、より重要性の高い素材がわずかに多く現れるようにする。

さまざまな実施形態において、編集済みプログラムをディスプレイ５上でレビューすることができるように、そして必要に応じて任意の時点で停止させるかまたは他の方法で処理することができるように、ユーザコントロール４（図３）を設定してもよい。任意選択的に、ソース素材を同様に閲覧してもよいが、好ましくは、かかる場合には、追加のディスプレイ１６を提供するか、またはディスプレイ５を、両方の画像を提供するように分割画面を示すように適合させる。

対話式コントロールが望ましい場合には、ユーザがソース素材および／または編集済みプログラムをレビューする時に、編集済みプログラムに入るものを変更するように、メモリ２または別の適当なメモリに記録された重要性値をユーザコントロール４により調整することができるように、プロセッサ１を構成してもよい。たとえば、ユーザは、任意の時点において編集済みプログラムを停止させ、対応する時点に関するソース素材をスキャンし、その部分の重要性を編集済みプログラムにそれらを含めるかまたはそこから排除するように変更することができる。実施形態によっては、プログラム長がユーザによる指定に従うことを保証するために、編集プロセス全体を再実行するかまたは少なくともプログラムの残り部分の編集を訂正することが必要となりうる。

任意選択的に、記録された重要性信号（複数可）の変更を、元の値を保持しながら記録する。また、実施形態によっては、複数のユーザに対し、調整された重要性値のセットを記録するために任意の措置を行い、各セットはユーザ識別子に関連する。このように、異なるユーザが、同じソース素材から異なる編集済みプログラムを取得してもよい。さらにまたは別法として、ユーザは、任意の時点で編集済みプログラムのレビューを停止し、全時間または最大／最小持続時間等の設定されたパラメータを調整することができ、プロセッサ１に対しプログラムの残り部分をそれに従って再編集するように命令することができてもよい。

さらなる改良は、個々の記録セッションの各々に対して多値重要性信号を適正に一貫して生成することができるが、関連する重要性パラメータを反映する変動により、異なるセッション間で絶対値の相当な変動がありうるという事実を考慮する。かかる実施形態では、このことは、１つのセッションからの寄与が編集済みプログラムを不当に占める結果となりうる。

したがって、実施形態は、編集に先立って異なる記録セッションに対し重要性信号を正規化しようと試みるために、編集される素材の全長にわたり重要性信号を事前スキャンする機能を有してもよい。例として、移動時間窓にわたり信号の局所平均とその平均とを確定して、局所平均および範囲が編集される素材の持続時間に対して一定であり続けることを保証するようにその後シフトさせてスケーリングすることにより、素材の全体にわたる手段および範囲が略一定であるように重要性信号を調整してもよい。

さらに別の実施形態は、ソース素材の部分の相対長が、編集済みプログラムにおいて反映される必要のあるものである可能性が低いという事実を考慮する。このため、相対的に高い重要性を有するがすべて同じ事象に関連する長い部分のある場合がある一方で、第２の等しく興味を引く顕著なイベントがソース素材の短い部分のみにより表される。これは、編集された結果に同様の不均衡がもたらされることが予期され、何らかの形態の補正が望ましい。

通常、各事象がソース素材に対してもたらす相対寄与の指示を取得するように、たとえばカメラ信号とともに記録されたタイムスタンプの分析から異なる事象を識別することが可能である。そして、各事象が編集済みプログラムに対してもたらす寄与を調整するために使用される、各事象に対する修正要素を確定してもよい。単純な例として、第１の事象が第２の事象の３倍多くソース素材に寄与し、それらがともに重要性の同じ全体的な程度を有する（すなわち、単純な重要性ベースで編集済みプログラムに対し選択された部分もまた、３対１の割合でもある）場合には、編集済みプログラムにおける第１および第２の事象の相対寄与がより等しくなるまで第１の事象に対する重要性信号を縮小することができ（すなわち、最終編集信号の生成に先立つ自動重要性調整）、または、さらにより単純に、第１の事象からの寄与に対して時間制限を課してもよい。

したがって、ソース素材において識別された事象またはシーケンスの各々に対し全重要性指数を割り当てることが可能であるようにさまざまな実施形態を構成することができ、その事象に対する相対的な全重要性指数を使用して、編集済みプログラムにおける個々の事象からの寄与を調整する。

他の実施形態は、選択されたビデオクリップの少なくとも一部の再生の速度を変更する機能を、それ自体にまたはかかるクリップの通常再生に加えて有する。たとえば、より長いプログラム持続時間が指定される場合には、重要な動きを含む重要性が高い選択されたクリップを低速で繰り返すことが有用な場合があり、またはより短いプログラムが指定される場合には、動きがほとんどないかまたはまったくない選択されたクリップを高速で再生することができる。

別の実施形態は、視覚的または他の重要性ピークを利用して、完全なビデオの内容をインデックス付けするためのキーフレームを提供するが、独立して高速閲覧可能な機能を提供する。

実施形態によっては、多値重要性信号を複数の異なる方法により生成してもよく、それは、ユーザまたは閲覧者に対する視覚的な関心のある、または記録に際してカメラユーザによって表されるように記録されたシーンにおける関心のある、または音声的な関心のあるような単一次元の重要性を表してもよい。それは、自動的に生成しても、ユーザまたは閲覧者が手動で生成してもよい。電子カメラの場合には、カメラが使用される際にカメラ画像信号とともにそれを記録してもよく、または、別の時に、通常は後に、たとえば再生されたビデオ画像信号に対してまたは付随する音声信号に対して作用する本発明による装置の一部により、もしくは記録された信号の閲覧者により手動で生成してもよい。カメラ信号記録の時点での重要性信号の生成および記録により、これが自動であるか手動であるかにかかわらず、記録された信号の後の分析に必要な作業を明らかに回避することができる。

別法として、他の実施形態において、多値重要性信号は、２つ以上の単一次元重要性値を、たとえば論理的または代数的な組み合わせにより、たとえば値の合計、最大値またはそれらの積を使用して、適当に結合することにより導出される多次元量でありうる。同時に導出された一次元重要性信号に対しておよび／または（たとえば、１つは記録中に生成されもう１つは再生中に生成される）異なる時点で導出された一次元信号に対し適用してもよいかかる結合の前に、少なくとも１つの重要性値の適当なスケーリングまたは他の操作が必要でありうる。

たとえば、引用することにより本明細書の一部をなすものとする本明細書の出願人による同時係属中の英国特許出願第０１１８５９５．８号において開示されているように、カメラ画像信号とともに重要性信号を記録してもよい場合には記録の時点で閲覧されるシーン内の特徴の動きの分析により生成するか、または、記録された信号から後に生成してもよい。

さらに、引用することにより本明細書の一部をなすものとする本明細書の出願人による同時係属中の英国特許出願番号ＧＢ０２２５３０４．５および同０３２４８０１．０（それぞれ整理番号３００２００００５８−１および３００２００００５８−４）では、他の実施形態において、記録時にユーザが、その時にユーザが感じた写真に対する関心または欲求の程度に従って信号を生成する何らかの形態の手動または機械的入力を使用して、直接信号を供給してもよい。一般には、カメラ画像信号と同時に重要性信号を供給する。しかしながら、実施形態によっては、ユーザは、たとえば特に望ましい画像を記録する必要のある場合には、重要性信号を事前に確定してもよい。この場合には、このタイプの重要性信号を後に生成する唯一の可能性としては、ユーザが記録された素材のすべてをもう一度見るということがあり、いずれの場合であっても、ユーザが元の記録時の周囲の実際の環境ではなく記録をレビューするという異なる環境に置かれている場合には、重要性信号が変更される可能性が高い。

実施形態によっては、未加工のソース素材から編集済みプログラムを提供する編集信号の生成に関連する。また、実施形態によっては、プログラムの特性を指定するユーザが操作可能なコントロールを含みうる。

ユーザが指定できる例示的なプログラム特性は、プログラムの持続時間、プログラムのペース、またはプログラムの最小特性値である。一般に、ユーザが一次パラメータとしてこれらの特性の１つを設定するが、後に明らかとなるように、他の二次パラメータがユーザの制御下にあってもよい。コントロールは、事前設定された選択を提供しても連続制御を提供してもよい。

例示の目的で、本明細書の説明の大部分は、プログラムの持続時間の制御に関連する。しかしながら、他の実施形態では、他のプログラム特性に関して同様の原理が容易に導出されるであろう。読者は、一次特性が通常は完全に互いから独立しているのではないことを理解するであろう。たとえば、ユーザは重要性閾値を確定することができ、それにより可変プログラム長を提供し、そしてその場合には、平均ショット（選択された部分）時間の、または最小／最大ショット時間の、またはビデオイン／アウト点の高性能な選択を伴う、補助的制御がありうる。最小および／または最大ショット時間（または別法としては平均ショット時間およびそれからの許容変動）は、プログラムのペースに影響を与え、別法として、ユーザが第一に制御したパラメータでありうる。

実施形態によっては、プログラムを提供するためにカメラ記録からの画像信号を編集するための編集信号を供給し、画像信号には多値重要性信号が付随し、装置は、プログラムの少なくとも１つの特性の値を全体として指定するユーザ操作可能コントロールと、ユーザ操作可能コントロールの出力と多値重要性信号とに少なくとも部分的に応答して、高い重要性値を有する画像信号の選択された部分を指示する上記編集信号を生成する信号プロセッサとを含み、選択された部分は、プログラム特性の値が指定された値に少なくとも近似するように確定される。

画像信号とともに後に使用するためにそれ自体に編集信号を格納することができるが、装置は、好ましくは、編集信号に応答して上記画像信号の選択された部分を即時に表示するかまたは送信するようにもしくは装置の一部を形成する格納部に選択的に送出する選択手段を有する。この実施形態により、閲覧者は、自身の要求に適応するように編集済みプログラムを閲覧時に調整することができる。たとえば閲覧者が指定された時間、たとえば２分間、特定のソース素材のハイライトを見ることが必要である、または閲覧者が指定された時間、たとえば１５分間、同じソース素材から関心のある（または顕著な）素材を楽しみたい、または閲覧者が、ソース素材のいくつかの項目が重要性レベルのみに基づく場合よりも多いかまたは少ない程度まで示されるように、（後述するように）編集プロセスと対話したいという要求に有効に応答するように構成することがほぼ可能である。この後者の特徴を、ソース素材が編集され閲覧されている際に全持続時間および／または重要性閾値の動的調整をもたらす、閲覧者が操作するスライダまたは回転コントロール（たとえば、「速くする」または「遅くする」コントロールとして提供される）によって実施することができる。このように、従来技術の構成で必要であるような明示的な手動の編集とは対照的に、高レベル閲覧者コントロールを使用することにより個々の閲覧者の必要に適応させるように、同じソース素材を異なる方法により閲覧することができ、これが多レベル重要性信号の使用をより容易にする、ということが理解されよう。

実施形態によっては、同じソース素材が連続した閲覧において異なって編集されるように、ランダムなまたは一見してランダムな（または可変の）要素を編集プロセスに導入することが可能であり、この特徴は、閲覧者が単に楽しみたい場合に特に有用となり得る。編集プロセスの任意の段階でランダム要素を導入することにより、たとえば相対的に低いレベルの時間的に変化するランダム要素（おそらくは、＋１、０または−１）をさらに処理される前の重要性信号に付加することにより、または高レベル閲覧者コントロールの出力を同様に適当に調整することにより、または編集プロセスにおいてランダムに制御される判断ステップを導入することにより、ランダム性を取得することができる。同様に、ただし編集プロセスの調整に対してより多く制御することにより、可変性を導入してもよい。

たとえば、重要性値の数は、いずれの画像または部分が選択されるかを完全には確定しない程度まで制限されることがあり得る。このため、複数の格納された静止画像（たとえば、３００枚の画像）から選択する場合には、個々の画像を閲覧する最小時間が設定される（たとえば、割り当てられた時間に２５枚の画像しか表示されないようにする）ため、最大重要性レベルを有する画像（たとえば、５０枚の画像）をすべて閲覧することが可能でない場合がある。かかる場合には、一実施形態では、いずれの画像を表示すべきかに関する判断を行う。たとえば、あり得る選択肢としては、各閲覧時に同じ２５枚の画像を表示すること、各閲覧時にランダムな選択を行うこと（同じ閲覧者の場合より興味深いものになる）、または、各閲覧において選択を故意に変更することにより、時間の経過により選択された画像のすべてが同じ回数閲覧されるようにすることである（これは、各画像が閲覧される時に記録をとることを意味する場合がある）。後者のプロセスの変形は、３００枚の画像のすべてが最終的にそれらの重要性レベルに比例する回数閲覧されることを保証するというものであり、その場合には、編集済みプログラムを通して重要性のレベルの低い画像ほど好ましくはかなり均一に分配される。

したがって、代替実施形態は、プログラムを提供する編集された信号を供給するためにカメラ記録から画像信号を編集することを提供し、画像信号には多値重要性信号が付随し、装置は、編集済みプログラム全体の特性を指定するユーザ操作可能コントロールと、少なくとも部分的にユーザ操作可能コントロールの出力と重要性信号とに応答し、重要性信号の高い値に関連する画像信号の部分を選択する信号選択回路手段とを含み、選択された部分は、プログラム特性の値が指定された値に少なくとも近似するように確定される。

上述した上記多値重要性信号を、本明細書において例示されたようないくつかの方法によって導出することができる。

記録がビデオ素材から構成される場合には、（たとえば、選択された部分のすべての多値信号の合計または時間積分などの）編集済みプログラムの重要性を最大にするように、信号プロセッサ１（図１）を構成する。記録が静止画像を含む場合には、単一の最高重要性信号が連続して表示されないように、任意の個々の静止画像も表示され得る時間の長さに対しさらなる制約がある場合に重要性を最大にするように、信号プロセッサ１を構成してもよい。

一実施形態では、異なる選択された部分の持続時間を設定して、その多値重要性レベルを反映するように、信号プロセッサ１を構成する。これは、特に静止画像に対して適用可能であるが、ビデオクリップに適用することも可能である。

別法として、ビデオ信号を扱う場合には、閾値Ｔを上回る多値重要性レベルを有する部分を選択し、選択された部分が指定されたプログラム長に実質的に等しい結合された長さを有するように値Ｔを設定するように、プロセッサ１を構成してもよい。

幾分か関連する実施形態では、閾値Ｔを上回る多値重要性レベルを有する部分を選択し、選択された部分が指定されたプログラム長に実質的に等しい結合された長さを有するように値Ｔを設定し、その後、上記最大持続時間より長い長さを有する任意の部分の長さを上記最大持続時間に調整しておよび／または上記最小持続時間より短い長さを有する任意の部分の長さを上記最小持続時間に調整するように、プロセッサ１を構成してもよい。この実施形態は、ビデオシーケンスを任意の自由裁量な時点で切断してもよいと想定する傾向にあるが、（たとえば、画像において動きが最小である場合などの）切断がよりよい結果を提供するいくつかの時点があることが既知である。したがって、さらなる実施形態において、閾値Ｔを上回る多値重要性レベルを有する部分を選択し、選択された部分が指定されたプログラム長に実質的に等しい結合された長さを有するように値Ｔを設定し、少なくとも１つの部分の長さを変更してそのイン点および／またはアウト点をより好都合な時点に調整するように、プロセッサ１を構成してもよい。かかる場合には、一実施形態では、上記調整によってもたらされるプログラム長におけるタイミングエラーを後の選択された１以上の部分の長さの確定に持ち越すように、プロセッサを構成する。

選択されたビデオクリップのうちの１以上が、その段階において編集済みプログラムの大部分を占めるほど、またはうんざりするようなプログラムをもたらすほど長くなる場合がある。これを、上で概説したように設定可能なまたは所定の時間制約に基づいて処理してもよいが、プロセッサを、たとえば多値重要性信号のレベルの変動に基づいておよび／または記録された画像信号に付随する音声信号の特徴に応じて、複数の選択された部分に細分することにより、かかる状況に応じるように構成してもよい。

実施形態によっては、（たとえば、編集済みプログラムの長さにわたって積分された重要性値などの）編集された信号の全重要性が最大になるように装置を構成する。他の実施形態では、特にビデオ画像信号を扱う場合には、全重要性が高い値であるが最大値より僅かに小さい値である傾向にあるように装置を構成する。なぜならば、それは、他の基準に基づく適当なビデオイン点および／またはアウト点の実施等の他の制限するが、望ましい要素を取り込む（すなわち、重要性値が他の制約に一貫して最大化される）ためである。

本発明の実施形態を考慮する場合に特に明らかとなるように、（カメラをオンおよびオフにすることまたはカメラリリースボタンを操作することに有効に等しいものとしてみなすことができる）２進信号とは対照的に、複数の値を有する重要性信号の採用により、編集されたビデオに関して実際的で有効な判断が行われる柔軟なフレームワークが可能になる。

編集において柔軟性または自由を高めるために、実施形態によっては、編集信号が供給されている間に上記重要性信号のレベルを対話式に調整する重要性調整手段をさらに有する。たとえば、ユーザ操作可能コントロールを採用することにより、ユーザは、自身が選択した段階において編集プロセスを休止し、編集済みプログラムに記録されたソース信号の先に排除された部分を包含するかまたは先に包含された部分を排除するように、多値重要性信号の有力なレベルを調整することができる。

実施形態によっては、結果としての編集済みプログラムに対してより大きく制御するために、少なくとも１つのさらなる時間制約の設定、たとえば（後により詳細に説明する）選択された部分に対する最大持続時間および／または最小持続時間もしくは平均持続時間の設定が、プログラムにおける上記選択された部分の持続時間に影響を及ぼす（このため編集済みプログラムのペースに影響を与える）ことが可能であるように、（たとえば、プロセッサと協働して）ユーザ操作可能コントロールを構成する。

このコントロールの操作は、たとえば１つのより短い抜粋を提供するようにまたはそれを後に合わせて結合されるより短い間隔の空いた長さに切断することにより、過度に長い高重要性部を短縮することを含みうる。それは、さらにまたは別法として、重要性値が高いために選択されるはずの短い部分を拒絶することを含みうる。しかしながら、別のオプションは、すべてのかかる部分に対してまたは少なくとも相対的に高い重要性値を有するかかる部分の中のいくつかに対して、最小持続時間に達するまで時間的に隣接するより重要性の低い部分を含むようにかかる部分を延長することである。

静止画像およびまたは動画（ビデオ）画像の任意の組み合わせに基づいて編集済みプログラムを提供するように、いくつかの実施形態を構成してもよく、したがって、スチルカメラもしくはビデオカメラからの信号または２つの混成物を受け取るように構成してもよい。この文脈では、ビデオシーケンスと、単一静止画像と、通常１〜５フレーム／秒でありビデオ信号のフレームより解像度の高い複数の時間的に近接して間隔が空けられた複数の静止画像から構成された「バースト」シーケンスとのうちの１以上の提供を含む、複数の異なるモードにおいて、いくつかのカメラは動作可能である。

家庭用ビデオの状況またはいくつかの実施形態を使用する可能性のある状況によっては、ビデオシーケンスの品質をたとえば過度なカメラの動きにより著しく損なう可能性があり、それによりたとえば動きが連続的でない（jerky）ビデオクリップの場合には、たとえば編集済みプログラムにおいて、クリップの一部またはすべてをそのクリップから導出された適当な単一静止フレームかまたは入手可能な場合は「バースト」シーケンスからの単一フレーム（好ましくは、最高重要性を有するフレーム）かまたは入手可能な場合はバーストシーケンスの一部または全体と置き換えることがより許容可能となる場合があることが考えられる。

実施形態が、（上述したようにスチルカメラからかまたはビデオカメラからの）静止画像を表す選択された部分のシーケンスから構成されるプログラムを提供する場合、それを、異なる選択された部分（一般的に単一フレームに対応する）の持続時間をその重要性を反映するように設定するように構成してもよく、それによって通常は、編集済みプログラムにおいて顕著な静止画ほど長く閲覧することが可能となる。これは、指定されたプログラム長の制約を受け、それによって、非常に顕著なフレームに多くの時間が割り当てられるほど、他のフレームに対して利用可能な時間が短くなり、結果としてたとえばそれらのいくつかを破棄する必要のある場合がある。

実施形態が、ビデオクリップである選択された部分のシーケンスから構成されるプログラムを提供する場合、それを、各選択された部分の持続時間を関連する重要性値、たとえばその積分されたまたはピークの重要性値を反映するように設定するように構成してもよく、それによって、より関心のあるクリップのより多くが閲覧される（上述したように、イン点／アウト点等の考慮すべき他の制約がある場合もある）。追加の方法または別法として他の方法によって関連する重要性値を採用してもよく、たとえば、非常に顕著なクリップを繰り返してもよく、最高重要性を有するクリップをスローモーションで繰り返してもよく、または、最低の重要性値を有する選択されたクリップを通常より高速で再生してもよい。指定されたプログラム長のフレームワークにかかる変形を入れてもよい。

実施形態が、ビデオクリップと静止画像との両方を含む選択された部分のシーケンスから構成されるプログラムを提供する場合には、２つの先の段落における場合と同様に、顕著な静止画ほど長い持続時間を有するように設定してもよく、顕著なクリップほど長い時間閲覧されるようにしてもよい。しかしながら、時間を割り当てる方法は２つの場合で異なるため、絶対的なタイミングを確定するために規則を提供する必要のある場合がある。たとえば、この目的でそれらの関連する重要性値を有するビデオクリップとして静止画を扱ってもよく、それにより編集済みプログラム内のそれらの絶対持続時間が、ビデオクリップ期間と同様に確定される。代替オプションでは、静止画の総数ｓおよびクリップの総数ｖを最初に評価し、静止画がｌ．ｓ／（ｓ＋ｖ）の総時間を占有しクリップがプログラム時間の残りを占有するように編集済みプログラム長ｌを分割し、これらの時間割当ての各々を、たとえば２つの先の段落におけるように相対重要性レベルに従って分割する。所望の最終結果次第では、明らかに、ビデオクリップと静止画とで時間を分割する他の方法があろう。

実施形態によっては、編集済みプログラムを提供するためにカメラ記録からの画像信号を編集するための編集信号を作成する方法をさらに提供し、画像信号には多値重要性信号が付随しており、この方法は、プログラムの特性を全体として指定するステップと、指定された特性と多値の重要性信号とに少なくとも部分的に応じてより高い重要性値を有する画像信号の選択された部分を指示する上記編集信号を生成するステップとを含み、選択された部分は、プログラム特性の値が指定された値に少なくとも近似するように確定される。画像信号すなわちソース素材とともに、後の使用のために編集信号を記録するか（この場合には、同じタイムスタンプを組み込むかまたは画像信号を切断する必要のある時点を画定することにより、画像信号に時間的に関連するように編集信号を構成する）、または、製作された時点で編集信号を使用する。編集済みプログラムを製作する場合には、画像信号を受け取るスイッチ等の選択された部分を選択的に送出する選択手段に編集信号を供給する。

図６は、信号編集の実施形態の動作を示すフローチャート６００である。フローチャート６００は、実施形態を実施するソフトウェアの有り得る実施態様のアーキテクチャと機能と動作とを示す。これに関し、各ブロックは、指定された論理機能（複数可）を実施する１以上の実行可能命令を含む、モジュール、セグメント、またはコードの一部を表してもよい。また、代替実施態様によっては、ブロックに示す機能が、図６に示すものとは異なる順序で発生してもよく、または、さまざまな実施形態の機能から著しく逸脱することなく追加の機能を含みうるということも留意すべきである。たとえば、本明細書でさらに明らかとなるように関連する機能に応じて、図６に連続して示す２つのブロックを実際には実質的に同時に実行してもよく、それらのブロックをときどき逆の順序で実行してもよく、または、ブロックのいくつかをすべての場合に実行しなくてもよい。かかる変更および変形はすべて、本明細書において開示された範囲内に含まれるように意図されている。

プロセスは、ブロック６０２で開始する。ブロック６０４では、画像取込装置によって取り込まれた画像信号を受け取り、画像信号は、複数の重要性値と複数の画像とを含み、画像の各々は重要性値のうちの１つに関連し、重要性値は取込まれた画像の少なくとも１つの特性に対応する。ブロック６０６では、プログラムの全持続時間の指定を受け取る。ブロック６０８では、プログラムの指定された全持続時間を指示する編集信号を複数の重要性値に対して生成することにより、生成された編集信号が、閾値に少なくとも等しい重要性値を有する画像プログラムの複数の部分に対応するようにし、対応する部分は、指示部分の持続時間が合計される場合にプログラムの総持続時間がプログラムの指定された全持続時間に対応するように確定される。プロセスは、ブロック６１０で終了する。

電子スチルビデオまたはハイブリッドカメラによって供給される画像信号を編集するということに関して本発明を説明してきたが、本発明は、他の方法、たとえば、電気または他の画像信号を供給するための静止または映画画像のスキャンにより、画像信号が導出される環境まで及ぶということに留意すべきである。

Claims (81)

1. 画像取込装置によって取り込まれた画像信号を格納するように構成されたメモリであって、該画像信号は複数の重要性値と複数の画像とを含み、該画像の各々は前記重要性値のうちの１つに関連し、前記重要性値は前記取り込まれた画像の少なくとも１つの特性に対応しているメモリと、
   少なくともプログラムの全持続時間を指定するようにユーザによって操作可能なユーザコントロールと、
   前記プログラムの前記指定された全持続時間と前記複数の重要性値とに応答する信号プロセッサであって、それにより前記生成された編集信号が閾値に少なくとも等しい重要性値を有する前記画像プログラムの複数の部分を指示し、該指示部分は、該指示部分の持続時間を合計すると、前記プログラムの総持続時間が該プログラムの前記指定された全持続時間に対応するように確定されるものである信号プロセッサと
   を含んでなる、編集信号を供給する装置。
2. 前記ユーザコントロールは、前記画像プログラムの前記部分の各々が最大ショット持続時間（ｄｍａｘ）と最小ショット持続時間（ｄｍｉｎ）との間になるように、最大ショット持続時間（ｄｍａｘ）と最小ショット持続時間（ｄｍｉｎ）とを指定するようにユーザによってさらに操作可能である請求項１に記載の装置。
3. 前記ユーザコントロールは、前記画像プログラムの前記部分の各々が最小ショット持続時間（ｄｍｉｎ）に少なくとも等しくなるように最小ショット持続時間（ｄｍｉｎ）を指定するために、ユーザによってさらに操作可能である請求項１に記載の装置。
4. 前記信号プロセッサは、初期閾値に少なくとも等しい重要性値を有する前記画像プログラムの前記複数の部分の初期持続時間の合計に対応する初期総プログラム持続時間を、前記指定された全持続時間と比較し、前記信号プロセッサは、前記画像プログラムの前記複数の部分の前記初期持続時間を調整することにより、該調整された部分の持続時間を合計すると、該プログラムの前記総持続時間を該プログラムの前記指定された全持続時間に対応させるものである請求項１に記載の装置。
5. 前記初期閾値は調整済み閾値に調整され、前記画像プログラムの前記複数の部分の前記初期持続時間は該調整済み閾値に対応するように調整され、前記調整された部分の持続時間を合計すると、前記プログラムの前記総持続時間が前記プログラムの前記指定された全持続時間に対応するようになっている請求項４に記載の装置。
6. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合には、前記Δ時間量は、前記画像プログラムの選択された部分に分配され、それにより該選択された部分の前記初期持続時間が調整されることにより、該調整された部分の持続時間と残りの初期持続時間とを合計すると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている請求項４に記載の装置。
7. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合には、前記Δ時間量はランダムに配分されて前記画像プログラムの選択された部分間に分配され、それにより前記選択された部分の前記初期持続時間が調整されるので、該調整された部分の持続時間と残りの初期持続時間とが合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている請求項４に記載の装置。
8. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合、前記Δ時間量は、ランダムに配分され前記画像プログラムの前記部分のすべての間で分配され、それにより前記部分の前記初期持続時間が調整されるので、該調整された部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている請求項４に記載の装置。
9. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合には、前記Δ時間量は、前記画像プログラムの選択された部分に均一に分配され、それにより該選択された部分の前記初期持続時間が調整されるので、該調整された部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている請求項４に記載の装置。
10. 前記信号プロセッサは、前記調整された持続時間によって導入される前記総持続時間におけるタイミングエラーが少なくとも１つの後続する選択された部分の新たな持続時間の確定に持ち越されるように構成されるものである請求項４に記載の装置。
11. 前記画像取込装置を含む請求項１に記載の装置。
12. 前記メモリと前記ユーザコントロールと前記信号プロセッサとが、前記画像取込装置にある請求項１１に記載の装置。
13. 前記メモリが前記画像取込装置にある請求項１１に記載の装置。
14. 前記画像取込装置は、前記プログラムである少なくとも１つのビデオ画像を取り込むものである請求項１１に記載の装置。
15. 前記画像取込装置は、前記プログラムである複数のビデオ画像を取り込むものである請求項１１に記載の装置。
16. 前記画像取込装置は、前記プログラムである複数の静止画像を取り込むものである請求項１１に記載の装置。
17. 前記プログラムが格納される第２のメモリをさらに含み、前記プログラムの前記総持続時間は該プログラムの前記指定された全持続時間に対応するものである請求項１に記載の装置。
18. 前記メモリと前記第２のメモリとは別個の媒体である請求項１７に記載の装置。
19. 前記メモリと前記第２のメモリとが、同じ媒体であって前記画像取込装置にある請求項１７に記載の装置。
20. 前記プログラムを表示するディスプレイをさらに含み、ユーザによって操作可能な前記ユーザコントロールは前記プログラムの第２の全持続時間（Ｄ）を指定するように調整可能であり、前記プログラムの第２の総持続時間は該プログラムの前記指定された第２の全持続時間に対応する請求項１に記載の装置。
21. 前記プログラムを表示するディスプレイをさらに含み、ユーザによって操作可能な前記ユーザコントロールは調整された閾値を指定するように調整可能であり、前記プログラムの第２の総持続時間は前記調整された閾値に基づいて前記プログラムの前記指定された第２の全持続時間に対応する請求項１に記載の装置。
22. 前記複数の重要性が重要性値信号である請求項１に記載の装置。
23. 前記画像信号が記録された時に生成された重要性信号に対する入力部をさらに含む請求項１に記載の装置。
24. 前記画像信号が記録された時に記録された重要性信号に対する入力部をさらに含む請求項１に記載の装置。
25. 前記記録のプレビュー中に閲覧者からの手動入力による重要性信号の生成と、前記編集信号の生成に先立つ該重要性信号の記録とのために構成された請求項１に記載の装置。
26. 前記記録された画像信号から対応する重要性信号を生成する少なくとも１つの重要性信号生成器をさらに含む請求項１に記載の装置。
27. 信号選択回路手段は、複数の別個の重要性信号を結合することにより多値重要性信号を導出するものである請求項１に記載の装置。
28. 前記編集された信号が供給されている間に前記重要性信号のレベルを対話式に調整する重要性調整器をさらに含む請求項１に記載の装置。
29. 前記信号プロセッサは、前記選択された部分のそれぞれの前記持続時間を設定して、多値重要性レベルを反映するように構成される請求項１に記載の装置。
30. 前記信号プロセッサは、前記選択された部分の前記持続時間を設定して、前記選択された部分の最小重要性レベルを反映するように構成される請求項１に記載の装置。
31. 前記信号プロセッサは、前記選択された部分の前記持続時間を設定して、前記プログラムのペースを反映するように構成される請求項１に記載の装置。
32. 前記プログラムの前記ペースは、前記選択された部分の各々に対する最小持続時間によって確定される請求項３１に記載の装置。
33. 前記プログラムの前記ペースは、前記選択された部分の各々に対する最大持続時間によって確定される請求項３１に記載の装置。
34. 前記プログラムの前記ペースは、平均持続時間と該平均持続時間からの許容可能な変動とを選択することによって確定される請求項３１に記載の装置。
35. ある特性は前記プログラムの前記総持続時間であり、前記選択された部分の持続時間はプログラムの前記総持続時間が指定された持続時間に少なくとも近似するように確定され、前記信号プロセッサは、閾値Ｔを上回る多値重要性レベルを有する部分を選択し、前記選択された部分が前記指定された持続時間に実質的に等しく結合された持続時間を有するように前記閾値Ｔを設定するように構成される請求項１に記載の装置。
36. ビデオカメラ記録からの画像信号とともに使用するために、ある特性は前記プログラムの前記総持続時間であり、選択された部分の持続時間は前記総持続時間が指定された持続時間に少なくとも近似するように確定され、前記信号プロセッサはある閾値Ｔを上回る多値重要性レベルを有する部分を選択するように構成され、指定された最大持続時間を上回る長さを有する任意の部分は指定された最小持続時間を下回る調整された最大持続時間を有する選択された部分まで縮小され、前記指定された最大持続時間を下回る長さを有する任意の部分は調整された最小持続時間を有する選択された部分まで延長される請求項１に記載の装置。
37. 前記信号プロセッサは、関連するイン点をより都合のよい点に調整するために、少なくとも１つの選択された部分を変更するように構成される請求項１に記載の装置。
38. 前記信号プロセッサは、関連するアウト点をより都合のよい点に調整するために、少なくとも１つの選択された部分を変更するように構成される請求項１に記載の装置。
39. 前記信号プロセッサは、前記部分のうちの少なくとも１つの細分化を行うように構成される請求項１に記載の装置。
40. 前記信号プロセッサは、少なくとも部分的に前記重要性値のレベルの変動に応じて前記細分化を行うように構成される請求項３９に記載の装置。
41. 前記信号プロセッサは、少なくとも部分的に前記画像信号に付随する音声信号の特徴に応じて前記細分化を行うように構成される請求項３９に記載の装置。
42. 前記信号プロセッサの出力を格納する格納部をさらに含む請求項１に記載の装置。
43. 前記編集信号の生成中にランダム要素を導入する手段をさらに含む請求項１に記載の装置。
44. 前記編集信号の生成中に制御された可変要素を導入する手段をさらに含む請求項１に記載の装置。
45. 画像取込装置によって取り込まれた画像信号を受け取るステップであって、該画像信号は複数の重要性値と複数の画像とを含み、該画像の各々は前記重要性値のうちの１つに関連し該重要性値は前記取り込まれた画像の少なくとも１つの特性に対応しているものである受け取るステップと、
    プログラムの全持続時間の指定を受け取るステップと、
    該プログラムの前記指定された全持続時間を指示する編集信号を前記複数の重要性値に対して生成するステップであって、それにより該生成された編集信号が閾値に少なくとも等しい重要性値を有する前記画像プログラムの複数の部分に対応し、該対応する部分は、該指示部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するように確定されるものである生成するステップと
    を含んでなる信号編集方法。
46. プログラムの全持続時間の指定を受け取るステップは、ユーザによって操作可能なユーザコントロールからの指定を受け取ることをさらに含む請求項４５に記載の信号編集方法。
47. プログラムの全持続時間の指定を受け取るステップは、前記画像プログラムの前記部分の各々が最大ショット持続時間（ｄｍａｘ）と最小ショット持続時間（ｄｍｉｎ）との間になるように、最大ショット持続時間（ｄｍａｘ）と最小ショット持続時間（ｄｍｉｎ）とを指定することをさらに含む請求項４５に記載の信号編集方法。
48. プログラムの全持続時間の指定を受け取るステップは、前記画像プログラムの前記部分の各々がｄｍｉｎに少なくとも等しくなるように、最小ショット持続時間（ｄｍｉｎ）を指定することをさらに含む請求項４５に記載の信号編集方法。
49. 初期閾値に少なくとも等しい重要性値を有する前記画像プログラムの前記複数の部分の初期持続時間の合計に対応する初期総プログラム持続時間を、前記指定された全持続時間と比較するステップと、
    前記画像プログラムの前記複数の部分の前記初期持続時間を調整するステップであって、該調整された部分の持続時間が合計されると、前記プログラムの前記総持続時間が前記プログラムの前記指定された全持続時間に対応するようになっている調整するステップと
    をさらに含む請求項４５に記載の信号編集方法。
50. 調整済み閾値になるように前記初期閾値を調整するステップと、
    前記画像プログラムの前記複数の部分の前記初期持続時間を、前記調整済み閾値に対応するように調整するステップであって、該調整された部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている調整するステップと
    をさらに含む請求項４９に記載の信号編集方法。
51. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合には、前記画像プログラムの選択された部分に前記Δ時間量を分配するステップであって、それにより前記選択された部分の前記初期持続時間が調整されるので、該調整された部分の持続時間と残りの初期持続時間とが合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている分配するステップと
    をさらに含む請求項４９に記載の信号編集方法。
52. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合には、前記Δ時間量をランダムに配分するステップと、
    前記画像プログラムの選択された部分間で前記Δ時間量を分配するステップであって、それにより前記選択された部分の前記初期持続時間が調整されるので、該調整された部分の持続時間と残りの初期持続時間とが合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている分配するステップと
    をさらに含む請求項４９に記載の信号編集方法。
53. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合には、前記Δ時間量をランダムに配分するステップと、
    前記画像プログラムの前記部分のすべての間で分配するステップであって、それにより前記部分の前記初期持続時間が調整されるので、該調整された部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている分配するステップと
    をさらに含む請求項４９に記載の信号編集方法。
54. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合には、前記Δ時間量を配分するステップと、
    前記画像プログラムの選択された部分の間で均一に分配するステップであって、それにより前記選択された部分の前記初期持続時間が調整されるので、該調整された部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている分配するステップと
    をさらに含む請求項４９に記載の信号編集方法。
55. 少なくとも部分的に前記画像信号から多値重要性信号を直接導出することをさらに含む請求項４９に記載の信号編集方法。
56. 前記カメラ記録をプレビューしている閲覧者の手動入力から導出される重要性信号の記録から少なくとも部分的に多値重要性信号を導出することをさらに含む請求項４９に記載の信号編集方法。
57. 前記プログラムの持続時間から前記重要性値を検出することをさらに含む請求項４５に記載の信号編集方法。
58. 前記プログラムのペースから前記重要性値を検出することをさらに含む請求項４５に記載の信号編集方法。
59. 前記プログラムの最小重要性から前記重要性値を検出することをさらに含む請求項４５に記載の信号編集方法。
60. 前記部分のうちの選択された１つの最大持続時間と最小持続時間とを指定することをさらに含む請求項４５に記載の信号編集の方法。
61. 最終編集信号の生成に先立って、前記画像信号の部分に対して多値重要性信号を手動で調整することをさらに含む請求項４５に記載の信号編集の方法。
62. 最終編集信号の生成に先立って、前記画像信号の部分に対し多値重要性信号を自動的に調整することをさらに含む請求項４５に記載の信号編集方法。
63. 前記編集信号を生成するプロセスに可変要素を導入することをさらに含む請求項４５に記載の信号編集方法。
64. 前記可変要素はランダム要素である請求項６３に記載の信号編集方法。
65. 前記可変要素は制御された可変要素である請求項６３に記載の信号編集方法。
66. 使用される前の多値重要性信号に前記可変要素を導入するものである請求項６３に記載の信号編集方法。
67. 前記編集信号の制御下で前記画像信号を選択的に送出することをさらに含む請求項４５に記載の信号編集方法。
68. 前記選択的に送出された信号を記録することをさらに含む請求項６７に記載の信号編集方法。
69. 画像取込装置によって取り込まれた画像信号を受け取る手段であって、該画像信号は複数の重要性値と複数の画像とを含み、該画像の各々は前記重要性値のうちの１つに関連し該重要性値は前記取り込まれた画像の少なくとも１つの特性に対応している受け取る手段と、
    プログラムの全持続時間の指定を受け取る手段と、
    前記プログラムの前記指定された全持続時間を指示する編集信号を前記複数の重要性値に対して生成する手段であって、前記生成された編集信号が少なくとも閾値に等しい重要性値を有する前記画像プログラムの複数の部分に対応しているので、該対応する部分は、前記指示部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するように確定される生成する手段と
    を含んでなる信号編集システム。
70. プログラムの全持続時間の指定を受け取る前記手段は、ユーザによって操作可能なユーザコントロールから指定を受け取る手段をさらに含む請求項６９に記載の信号編集システム。
71. プログラムの全持続時間の指定を受け取る前記手段は、前記画像プログラムの前記部分の各々が最大ショット持続時間（ｄｍａｘ）と最小ショット持続時間（ｄｍｉｎ）との間になるように、最大ショット持続時間（ｄｍａｘ）と最小ショット持続時間（ｄｍｉｎ）とを指定する手段をさらに含む請求項６９に記載の信号編集システム。
72. プログラムの全持続時間の指定を受け取る前記手段は、前記画像プログラムの前記部分の各々が最小ショット持続時間（ｄｍｉｎ）に少なくとも等しくなるように、最小ショット持続時間（ｄｍｉｎ）を指定する手段をさらに含む請求項６９に記載の信号編集システム。
73. 初期閾値に少なくとも等しい重要性値を有する前記画像プログラムの前記複数の部分の初期持続時間の合計に対応する初期総プログラム持続時間を、前記指定された全持続時間と比較する手段と、
    前記画像プログラムの前記複数の部分の前記初期持続時間を調整する手段であって、該調整された部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている調整する手段と
    をさらに含む請求項６９に記載の信号編集システム。
74. 調整済み閾値となるように前記初期閾値を調整する手段と、
    前記画像プログラムの前記複数の部分の前記初期持続時間を、該調整済み閾値に対応するように調整する手段であって、該調整された部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている調整する手段と
    をさらに含む請求項７３に記載の信号編集システム。
75. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合には、前記画像プログラムの選択された部分に前記Δ時間量を分配する手段であって、それにより前記選択された部分の前記初期持続時間が調整されるので、該調整された部分の持続時間と残りの初期持続時間とが合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている分配する手段と
    をさらに含む請求項７３に記載の信号編集システム。
76. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合には、前記Δ時間量をランダムに配分する手段と、
    前記画像プログラムの選択された部分間で前記Δ時間量を分配する手段であって、それにより前記選択された部分の前記初期持続時間が調整されるので、該調整された部分の持続時間と残りの初期持続時間とが合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている分配する手段と
    をさらに含む請求項７３に記載の信号編集システム。
77. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合には、前記Δ時間量をランダムに配分する手段と、
    前記画像プログラムの前記部分のすべての間で分配する手段であって、それにより前記部分の前記初期持続時間が調整されるので、該調整された部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている分配する手段と
    をさらに含む請求項７３に記載の信号編集システム。
78. 前記初期総プログラム持続時間がデルタ（Δ）時間量だけ前記指定された全持続時間を超過する場合には、前記Δ時間量を配分する手段と、
    前記画像プログラムの選択された部分の間で均一に分配する手段であって、それにより前記選択された部分の前記初期持続時間が調整されるので、該調整された部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている分配する手段と
    をさらに含む請求項７３に記載の信号編集システム。
79. 画像取込装置によって取り込まれた画像信号を受け取るステップであって、該画像信号は複数の重要性値と複数の画像とを含み、該画像の各々は前記重要性値のうちの１つに関連し、該重要性値は前記取り込まれた画像の少なくとも１つの特性に対応している受け取るステップと、
    プログラムの全持続時間の指定を受け取るステップと、
    前記プログラムの前記指定された全持続時間を指示する編集信号を前記複数の重要性値に対して生成するステップであって、該生成された編集信号が閾値に少なくとも等しい重要性を有する前記画像プログラムの複数の部分に対応するので、該対応する部分は、該指示部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するように確定されるものである生成するステップと
    を実行するように構成されたロジックを含む、コンピュータに読み取り可能な媒体に格納された信号編集プログラム。
80. プログラムの全持続時間の指定を受け取ることを実行するように構成された前記ロジックは、ユーザによって操作可能なユーザコントロールからの指定を受け取ることを実行するように構成されたロジックをさらに含む請求項７９に記載の信号編集プログラム。
81. 初期閾値に少なくとも等しい重要性値を有する前記画像プログラムの前記複数の部分の初期持続時間の合計に対応する初期総プログラム持続時間を、前記指定された全持続時間と比較するステップと、
    前記画像プログラムの前記複数の部分の前記初期持続時間を調整するステップであって、該調整された部分の持続時間が合計されると、前記プログラムの前記総持続時間が該プログラムの前記指定された全持続時間に対応するようになっている調整するステップと
    を実行するように構成されたロジックをさらに含む請求項７９に記載の信号編集プログラム。

Images