JP2010273361A - 画像コンテンツに基づく画像選択法 - Google Patents

Abstract

【課題】本発明は、画像のコンテンツに基づいて画像の選択を行う技術に関する。
【解決手段】画像入力手段と画像処理装置とを具備した画像取込みシステム。画像入力手段で収集された画像情報は次に画像処理装置に送られる。画像入力手段に接続された画像処理装置は、画像情報に関する画像メトリックを決定する。画像処理装置は、画像メトリックが所定の条件を満たすと取込みシーケンスを開始する。取込みシーケンスでは、１つ以上の画像が記憶されるか、あるいはそれは１つ以上の画像が検出されたことが指示される。一実施形態においては、画像入力手段はＣＭＯＳまたはＣＣＤセンサである。
【選択図】 図１

Description

本発明は、イメージング技術に関するものである。特に、本発明は、画像のコンテンツに基づいて画像の選択を行う技術に関する。

スチールカメラやビデオカメラのような画像取込み装置は、通常、ユーザからのトリガ入力に基づいて画像を記憶するようになっている。トリガは、例えば、ボタンを押す等、手動で入力される場合がある。あるいは、トリガはフラッシュストロボとの接続を介してまたはタイマーを通して間接的に入力されることもある。

しかしながら、トリガを入力することが非常に困難な状況もいくつかある。一例として、雷雨時に稲妻の画像を取り込むことは、その事象の発生が予測不可能なこと、そしてその事象を捕らえるのに敏速なタイミングが必要なことから、非常に困難である。

稲妻を取り込むことができる可能性のある１つの方法は、上空のビデオ画像を撮影し、ビデオカメラが画像を取り込んでいる時間（取込み期間）中に雷が落ちることを期待するというものである。しかしながら、この方法はいくつかの点でうまく行かない。

第１に、ビデオの品質は通常スチール写真の品質ほど良くはない。第２に、ビデオ画像は記憶しなければならないので、取込み期間はカメラの記憶空間の大きさに制限される。このことは、ターゲット像が生じるまで非常に長い時間がかかるかもしれない場合、大きな制約になる。最後に、雷が落ちたかどうかを観測してターゲット像が取り込まれたかどうかを確認するために取込み期間の間人がそこにいなければならないか、あるいはそのユーザは場合によっては所望の事象が起こったかどうかを調べるのにそのビデオ全体を再生しなければならないかもしれないというような問題がある。従って、ターゲット像をより自動的に検出する方法が要望される情況にある。

本発明の画像取り込みシステムは、画像入力手段と画像処理装置とを具備したものである。画像入力手段は画像情報を得てそれらの画像情報を処理装置に転送する。画像処理装置は、画像情報からある画像メトリックを求める。また、画像処理装置は、その画像メトリックが所定の条件に合致すると取込みシーケンスを開始する。取込みシーケンスでは、１つ以上の画像が記憶されるか、あるいは１つ以上の画像が検出されたことを表示することができる。１つの実施態様においては、画像入力はＣＭＯＳセンサあるいはＣＣＤセンサのようなイメージセンサから供給される。もう１つの実施態様においては、画像入力はビデオストリームから供給される。

本発明の一実施形態による画像取り込みシステムを示す。 本発明の画像取り込みシステムのもう一つの実施形態を示す。 画像取り込み装置２０１によってサンプリングされた画像の表示画像を示す。 図３の画像に対応する光輝を表したヒストグラムを示す。 コンピュータプログラムを用いて生成された画像の表示画像を示す。 図５の画像に対応する光輝を表したヒストグラムを示す。 トリガ機構の一実施形態を示す。 画像取り込み装置上で使用することができるインタフェースの一例を示す。 いくつかのスレッショルドが画像メトリックのいくつかのレベルで識別されるようにしたグラフィカル・インタフェースを示す。 画像の青成分を測定するよう構成されたトリガシステムの一例を示す。

以下、いつ１つ以上の画像が画像プロファイルと合致したかを検知する装置及び方法を説明する。第１の実施形態においては、画像はカメラのイメージセンサによってサンプリングされる。画像プロファイルは、色成分や光強度情報のような１つ以上の画像メトリック（metric）のスレッショルドを含む。イメージセンサからの画像は、処理された後、画像プロファイルの画像メトリックと比較される。後で説明するようにイメージセンサからの画像と画像プロファイルとの間に合致が見られると、カメラは取込みシーケンスを起動し、このシーケンスで１つ以上の画像が記憶媒体にセーブされる。取込みシーケンスは画像を１画像だけセーブするすることもできるし、必要ならば複数の画像をセーブすることも可能である。画像をバッファリングするならば、後でさらに詳細に説明するように、取込みシーケンスの起動前にサンプリングされた画像も記憶媒体にセーブすることができる。

第２の実施形態においては、画像は収集画像あるいはビデオストリーム、例えばテレビジョン信号、ＶＣＲ出力、あるいはデジタルビデオディスケット（ＤＶＤ）出力等から供給される。ビデオストリームからの画像は、処理されてから、画像プロファイルに対して設定された画像メトリックのスレッショルドと比較され、合致が調べられる。この方法は、ビデオストリームで特定の画像を検索する場合に有用である。例えば、ビデオカメラを用いて画像を取り込んだ後、この第２の実施形態の方法を用いてその取込み期間中に所望の画像があるかどうかを自動的に確認することができる。これによって、ユーザは取込み期間中いなくてもよくなる。

画像が画像プロファイルと合致すると、すなわち、全てのスレッショルド条件が満たされると、取込みシーケンスが開始される。その結果、１つ以上の画像が記憶媒体に記憶されるか、あるいはビデオストリームで画像が見つかったことを示す指示が得られる。その識別された画像の位置あるいは時間指標についての情報をセーブすることも可能である。

画像メトリックは画像の種々の要素から導出される。一実施形態においては、画像メトリックとして色成分や光強度情報が用いられるが、これに限定されるものではない。色成分に基づいて取込みシーケンスをトリガ、すなわち起動する例について次に説明する。樹木に焦点を合わせたカメラは、ブルーバードが画像に入ったとき画像の青成分でトリガされることによりそれを検出することができる。青成分が画像プロファイルで設定された特定のスレッショルドを超えると、画像取込みが起動される。同様に、カメラは、画像中の青成分を監視し、青成分が特定のスレッショルド以下に下がったとき取込みシーケンスを起動することにより、ブルーバードが画像を離れたときトリガされるようにセットアップすることもできる。青成分は、さらに、特定のブルーバードあるいはブルーバードの特定の種の画像だけ取り込むために青の特定の階調でのみトリガされるように指定することも可能である。

１つの好適な実施形態においては、画像プロファイルを構成する画像メトリックのスレッショルドをインタフェースを介してプログラムすることができる。画像プロファイルは、容易に画像の１つ以上の色メトリックと合致するように設定することができ、あるいは画像プロファイルは画像の１つ以上の色メトリックと合致することがめったにないように設定することも可能である。例えば、画像コンテンツの軽度の変動が取込みシーケンスを起動することがないようにトリガを設定することができる。

また、画像プロファイルは画像メトリックの変化率に基づいて設定することもできる。例えば、稲妻は光強度、あるいは光輝の変化が非常に速いという特徴がある。画像プロファイルの光輝の変化率を指定することによって稲妻の画像が取り込むことが可能である。この場合、検出された光輝の変化率が画像プロファイルの指定された光輝変化率を超えたとき、取込みシーケンスが開始される。これに対して、例えば日の出あるいは日没に相当するような遅い光輝変化率が取込みシーケンスを起動することがないように設定することができる。

図１は、本発明の一実施形態における画像取込みシステム１００の構成を示したものである。図示の画像取込みシステムは、画像入力手段１０２、画像処理装置１０４、プロセッサ１２０及び記憶媒体１４０を有する。

画像入力手段１０２は、当技術分野で周知の技術を用いて画像情報を取り込む。一実施形態においては、画像入力手段１０２は相補型金属酸化物半導体（ＣＭＯＳ）センサである。しかしながら、画像入力手段１０２は、電荷結合素子（ＣＣＤ）センサやその他の形態のイメージセンサであってもよい。また、画像入力は、テレビジョン、衛星放送、ＶＣＲ、あるいは他のデジタルビデオ録画からビデオストリームを受け取るインタフェースであってもよい。画像入力１０２は、画像処理装置１０４に画像情報を供給するよう接続される。画像処理装置１０４は、画素データに合わせて色値を調整するためのカラールックアップテーブルを具備してもよい。また、画像処理装置１０４は画像情報を圧縮するための圧縮ユニットを具備することもできる。一実施形態においては、画像処理装置１０４はデータフローマネージャ１０８を介してバス１１０に接続される。

また、一実施形態においは、プロセッサ１２０、ヒストグラムユニット１３０及び記憶媒体１４０がバス１１０に接続されている。プロセッサ１２０は、ファームウェア（またはメモリ）１２２からどのような動作を実行するべきかをプロセッサに指示する命令を受け取るように接続される。また、プロセッサ１２０は、任意の態様として、次に説明するようにプロセッサ１２０がヒストグラムユニット１３０によって生成される画像メトリックの変化率を決定することができるようにタイミング入力を供給するタイマ１２４にも接続される。一実施形態においては、画像メトリックの１つ以上のスレッショルド値を含む画像プロファイルを記憶するための記憶装置１２６がプロセッサ１２０に接続される。これらのスレッショルド値はヒストグラムユニット１３０によって生成される画像メトリックと比較される。

ヒストグラムユニット１３０は、画像処理装置１０４から画像情報を受け取るように接続されている。一実施形態においては、データフローマネージャ１０８が画像情報をヒストグラムユニット１３０に転送し、ヒストグラムユニット１３０はその画像情報から１つ以上の画像メトリックを求める。データフローマネージャは、例えばＤＭＡであってもよい。一実施形態においては、ヒストグラムユニットは赤、緑、及び青（ＲＧＢ）成分の量のような測色データを生成する。あるいは、ヒストグラムユニット１３０は他の測色データを求めることもできる。例えば、シアン、マゼンタ、黄色及び光強度（ＣＭＹＫ）のデータを求めることができる。また、ヒストグラムユニット１３０は測光データを求めることも可能である。測光データとしては、絶対目盛あるいは相対目盛で測定された光強度あるいは光輝がある。しかしながら、画像メトリックは色や光強度に限定されるものではなく、画像情報から他の画像メトリックを求めることもできる。一実施形態では、画像情報は、ヒストグラムユニット１３０が画像メトリックを求める間一時的にメモリ１３２に記憶される。

プロセッサ１２０は、ヒストグラムユニット１３０によって生成された画像メトリックをその画像プロファイルと比較する。一実施形態においては、各画像メトリック毎に、画像プロファイルはスレッショルド値を指示すると共に、測定された画像メトリックがそのスレッショルドより大きいか小さいかに基づいてその画像メトリックに関して合致条件が満たされるか否かを指示する。あるいは、各画像メトリック毎に、２つのスレッショルドを指定して、測定された画像メトリックが第１のスレッショルドより大きく第２のスレッショルドより小さい場合にのみ合致が生じるようにすることも可能である。スレッショルドレベルに関しては、後でより詳細に説明する。

記憶媒体１４０は、画像情報から求められた画像メトリックが画像プロファイルと合致したとき、すなわち全てのスレッショルド条件が満たされたとき画像情報を記憶するために使用される。一実施形態においては、１つ以上の画像が記憶媒体１４０に記憶される前に一時的にメモリエリア１３２に記憶される。画像をメモリエリア１３２にバッファリングすることで、取込みシーケンスに到るまでの画像をセーブすることができる。一実施形態においては、ファームウェア１２２とメモリ１２２、１２６、１３２、及び１４０とを種々の組合せで単個の装置にまとめて組み込むことが可能である。

セーブされた画像を記憶媒体１４０からダウンロードするには外部インタフェース１６０を用いることができる。外部インタフェース１６０は画像プロファイルを入力するためにも使用することができる。

図２は、もう１つの実施形態の画像取込みシステム２００を示したものである。図示の実施形態の画像取込み部２０１は、画像入力手段２０２、プロセッサ２２０、ファームウェア２２２及びタイマ２２４を有し、これらは図１中の同じ名称のものと同様である。画像測定装置２０４には、画像処理装置１０４、データフローマネージャ１０８及びヒストグラムユニット１３０が組み込まれている。画像測定装置２０４には、通信リンク２６５を介してホストパーソナルコンピュータ２７０が接続されている。

ホストパーソナルコンピュータ２７０は、通信リンク２６５を介して画像取込み部２０１に画像プロファイル入力を供給することができる。一実施形態においては、記憶媒体は、画像取込み部２０１の内部に設けなくてもよいように、ホストパーソナルコンピュータ２７０に内蔵することができる。また、ホストパーソナルコンピュータ２７０は、ヒストグラムユニット１３０の機能をソフトウェアあるいはハードウェアで果たすことも可能である。

取込みシーケンスのトリガ
図３は、画像取込み装置２０１によってサンプリングされたある夜景の画像表現を示す。図４は、図３の画像に対応した光輝の代表的なヒストグラムを示す。横軸は光輝レベルを表す。縦軸には各レベル毎の光輝の計数値が取られている。

一実施形態においては、図３のような背景画像が画像取込み装置２０１によって取り込まれる。画像のヒストグラムによって画像メトリックが求められ、その後サンプリングされた画像と比較される。そして、背景画像の画像メトリックと関連づけられた１つ以上のスレッショルドを有する画像プロファイルが生成される。

図７は、トリガ機構の一実施形態の構成を示したものである。ブロック７００で、画像データのヒストグラムが求められる。ブロック７０５で、１つ以上の光輝レベルの計数値が背景画像のヒストグラムから導出された画像プロファイルと比較される。判断ブロック７１０では、１つ以上の光輝レベルの計数値が画像プロファイルのスレッショルドより大きければ、取込みシーケンスが開始される（ブロック７１５）。しかしながら、比較の結果がこの基準の背景画像よりすべて大きい訳ではない場合は、次の画像がサンプリングされる（ブロック７２０）。

画像プロファイルのスレッショルドは、あらかじめ基準の背景画像より任意の量あるいは割合だけ大きく設定することができる。例えば、基準の背景画像のより５％上、または１０％上に設定することができる。あるいは、基準の背景画像より所定の量または割合だけ低く設定することも可能である。

図８は、画像取込み装置と共に使用することが可能なインタフェースの一例を示したものである。背景画像をサンプリングするための“ＳＢＩ”ボタン８０２を押すと、背景画像についてのヒストグラム及び画像メトリックが生成される。背景画像に基づく可変のプリセットは、いくつかのボタン、すなわちスレッショルドが背景画像のヒストグラムより「大きい」あるいは「小さい」ことを示す一組のボタン８０４、どれだけ（５％、１０％、または２０％）大きいかあるいは小さいかを示す一組のボタン８０６、及びどの画像メトリックを比較するべきかを指示する一組のボタン８０８を選択することによって容易に選択することができる。画像メトリックとしては、例えば、赤、緑、青、及び光輝などがある。

しかしながら、ボタンによって複雑なスレッショルドデータを入力するためのインタフェースは制約を伴う場合がある。従って、この作業にはグラフィカル・インタフェースを用いる方がより適していることが考えられる。

図９は、画像メトリックのいくつかのレベルに対していくつかのスレッショルドが識別されるグラフィカル・インタフェースの一例を示したものである。“＞”と標示されたスレッショルドについては、取込みシーケンスはそのレベルにおける画像メトリックの測定計数値がそのスレッショルドより大きいとき起動される。また、“＜”と標示されたスレッショルドの場合は、そのレベルにおける画像メトリックの測定計数値がそのスレッショルドより小さいとき取込みシーケンスが起動される。

一例として、図９には、画像メトリックについての測定計数値がスレッショルド９０２より大きいとき取込みシーケンスを起動するよう設定された第１の画像メトリック９００が示されている。第２の画像メトリック９１０は、その画像メトリックに関する測定計数値がスレッショルド９１２より小さいとき取込みシーケンスを起動するよう設定されている。また、第３の画像メトリック９２０は、その画像メトリックについての測定計数値がスレッショルド９２４より小さくスレッショルド９２２より大きいとき取込みシーケンスを起動するよう設定され、第４の画像メトリック９３０は画像メトリックについての測定数値がスレッショルド９３４より大きいかまたはスレッショルド９３２より小さいとき取込みシーケンスを起動するよう設定されている。一実施形態においては、取込みシーケンスを起動するには全ての画像メトリック（例えば、９００、９１０、９２０と９３０）のスレッショルド条件が満たされなければならない。もう一つの実施形態では、取込みシーケンスを起動するには、１つの画像メトリック（例えば、９００、９１０、９２０、または９３０）あるいはいずれかの画像メトリックの組合せのスレッショルド条件だけが満たされさえすればよい。

一実施形態においては、カメラは、画像プロファイルのスレッショルドをカメラに入力することができるように、ＬＣＤ画面とボタンかまたはグラフィカル・インタフェースのようなインタフェースを具備する。

取込みシーケンスを起動するのに適した画像プロファイルを生成するするための１つの方法では、所望の画像に類似しているように見える画像のモックアップ画像が生成される。モックアップ画像は、例えば背景画像を修正するためのソフトウェアを用いることによって生成することができる。あるいは、所望の画像に類似した画像を周知の技術を用いて走査することによりコンピュータに取り込むこともできる。次に、ヒストグラムをそのヒストグラムをモデル化するためのソフトウェアあるいはハードウェアを用いてモックアップ画像から生成することができる。このモックアップ画像のヒストグラム画像は取込み装置によって取り込まれた背景画像のヒストグラムと比較することができる。そして、所望の画像が取込みシーケンスを起動するように、このヒストグラムの画像メトリックに基づく１つ以上のスレッショルドを設定することができる。

例えば、図５は、コンピュータプログラムを介して生成された画像の表現の一例を示す。図６は、図５の画像に対応した光輝の代表的なヒストグラムである。一実施形態においては、画像取込み装置２０１によって背景画像が取り込まれる。その画像はホストコンピュータ２７０で修正される。背景画像と修正された画像の両方のヒストグラムがホストコンピュータ２７０上にあるソフトウェアを用いて生成される。そしてこれら２つのヒストグラムを互いに比較して、どの画像メトリックが取込みシーケンスを起動するためのスレッショルドとして用いるのに最も適しているかが決定される。

夜間の落雷に対応する図５及び６の場合、光輝の計数値は図３及び４の場合の計数値よりいくつかのレベルではるかに高いことは明白である。

一実施形態においては、ユーザは１つ以上の画像メトリックのスレッショルドを手作業で決定する。もう１つの実施形態では、ソフトウェアが２つ以上のヒストグラムを比較することによって画像メトリックのスレッショルドを決定する。そして、ソフトウェアは、ヒストグラムで２つの画像メトリックが最も大きく異なる１つ以上のレベルを決定する。次に、ソフトウェアは、スレッショルドが背景画像より大きいことを確認しかつノイズマージンを設けながら背景画像から１つ以上のスレッショルドを得る。そして、ホストコンピュータ２７０が画像取込み装置２０１にそのスレッショルド情報を伝達する。その後、それが望ましい場合、ホストコンピュータは画像取込み装置２０１から切り離すことができる。

図１０は、色成分の画像メトリックに基づいて取込みシーケンスを開始するよう構成された画像取込みシステムの一実施形態を示す。この実施形態のシステムは、青成分に基づいて画像取込みシーケンスを開始する。しかしながら、画像プロファイルは、他の測色データあるいは測光データに基づいて設定することもできる。

ブロック１０００で画像情報が得られる。ブロック１００２で、画像情報は赤、緑及び青成分に分解される。ブロック１００４で、画像データの青成分を処理することにより青成分に関する画像メトリックが得られる。ブロック１００６で、青成分メトリックが画像プロファイルと比較される。青の画像メトリックが１つ以上の画像プロファイルのスレッショルドの各々と合致すれば（すなわち、画像プロファイルと合致すれば）、ブロック１０１０で画像が取り込まれる。ブロック１００８で青の画像メトリックが１つ以上のスレッショルドの全部と合致しなければ、その画像は取り込まれない。代わりに、ブロック１０００でフローシーケンスが再開され、次の画像から画像情報が収集される。

以上、１つ以上の画像が画像プロファイルと合致したときそのことを検知するための装置及び方法を開示した。本願において説明された特定の装置及び方法はもっぱら本発明の原理を例示説明するためのものである。本発明の範囲を逸脱することなく形式及び細部において多数の修正態様をなすことが可能である。本発明は、特定の実施形態との関連において説明したが、本発明はこれら特定の実施形態に限定されるものではない。本願発明は特許請求の範囲の記載によってのみ限定されるものである。

Claims (1)

1. 画像センサから画像の画像情報を得るための画像入力手段であって、前記画像が前記画像センサにより処理されていない新しい画像である、画像入力手段と、
   少なくとも１つのユーザ入力の画像メトリックのスレッショルドを記憶するための記憶手段であって、前記スレッショルドが前記画像センサを介して受信されない走査画像を含む前記画像のモックアップ画像に基づいて得られる、記憶手段と、
   得られた前記画像情報から色成分または光強度メトリックを発生し、前記色成分または光強度メトリックを前記少なくとも１つの色成分または光強度メトリックのスレッショルドと比較し、前記色成分または光強度メトリックが前記少なくとも１つの色成分または光強度メトリックのスレッショルドを超えたときに前記画像を取込む目的で前記画像入力手段の取込みシーケンスを開始するための処理装置と
   から備え、
   前記処理装置は前記画像入力手段と前記記憶手段とに結合している
   ことを特徴とする画像センサを含むカメラ。

Images