JP2014217059A - 迷光を軽減するための方法、レンズアセンブリ、カメラ、システム、および利用法 - Google Patents

Abstract

【課題】出力画像における迷光を軽減する方法、カメラ及びシステムを提供する。
【解決手段】レンズアセンブリ２０２は光軸ＯＡに直交する面に、調節可能な開口ゲート２０４ａを有する開口ユニット２０３を持つ。開口ゲート２０４ａの位置および形状を組み合わた設定を使用して取得された複数の画像を分析して、迷光成分の相違に関するデータを生成し、出力画像を生成する。さらに、カメラは迷光を軽減するためのレンズアセンブリと２０２、処理ユニットとを備える。また、システムはカメラと処理ユニットとを備える。カメラは、迷光を軽減するためのレンズアセンブリを備える。
【選択図】図２ａ

Description

本発明は、広くには、シーンの出力画像中の迷光を軽減するための方法に関する。また、本発明は、迷光を軽減するためのレンズアセンブリ、ならびにそのようなレンズアセンブリと、前記方法を実行するように構成された処理ユニットとを有するカメラに関する。さらに、本発明は、カメラと、前記方法を実行するように構成された処理ユニットとを備えるシステムに関する。本システムのカメラは、迷光を軽減するためのレンズアセンブリを備える。さらに、本発明は、カメラおよびシステムの使用法に関する。

カメラは、静止画像およびビデオストリームを取得して記録するために、種々さまざまな用途に使用されている。画像またはビデオストリームを取得または記録するために、取得すべきシーンから由来する光が、該当のカメラの何らかの形態のレンズ系を使用して集められる。次いで、シーンから由来する光が、レンズ系によって集光され、集光された光がイメージセンサへと導かれ、イメージセンサがシーンから由来する入射光を記録する。イメージセンサは、通常は、いくつかの画素で構成される。シーンからの光がレンズ系によって集光されてイメージセンサに到達し、イメージセンサへと集光されるとき、画像データをイメージセンサの各々の画素について記録し、画素レベルをもたらすことができる。くっきりしたぼけのない画像の取得を可能にするために、入射光がセンサに達するときに集光されていることが重要である。次いで、各々の画素について記録された画素レベルが、カメラによって取得されたシーンを表示するために使用される。

一般に、カメラは、カメラのハウジングに進入し、次いで該当のカメラのイメージセンサに到達する光の量および特性を制御するために、何らかの形態の開口または虹彩とともに使用される。一般に、過剰に多くの光がセンサに達すると、取得されるシーンの情報を少ししか含まない露出オーバーの画像となるため、センサに達する光の量を制御することができる能力が不可欠である。同様に、暗いシーンを記録するときに可能な限り多くの光を集めることができることも重要である。また、被写界深度も開口の設定によって影響される。

伝統的に、開口のサイズ、したがってイメージセンサに到達する光の量および特性は、虹彩（絞り（ｃｏｎｖｅｎｔｉｏｎａｌ ｉｒｉｓ）と称されることも多い）によって制御されている。絞りまたは虹彩ダイアフラムは、伝統的に、比較的円形な中心穴が形成されるよう互いに隣接して円状に取り付けられた何枚かの薄い金属板で作られている。開口のサイズを、金属板の相対角度を変えることによって調節することができる。相対角度を変えるとき、開口のサイズが変化するが、円形および中心位置は基本的に変わらないままである。

上述の形式の絞りまたは開口を使用する場合、画像を取得するときに、特定の光の条件においては、望ましくない光がカメラのイメージセンサによって記録される可能性がある。望ましくない光は、画像の品質の低下を引き起こす。望ましくない光の一特定の形態は、迷光または寄生光線と称される。迷光は、一般に、シーンの画像に属する光または光成分でなく、むしろ該当の画像に付加され、考えられる最も広い意味において付加的である光または光成分を意味する。実際には、迷光は、シーンから由来することもあり、シーンからの由来でない場合もある。特定の条件においては、迷光の負の影響が顕著である。例えば、絞りを有するレンズアセンブリが強い照明の条件下で使用される場合、迷光からの負の影響が、明らかに邪魔になる。いくつかの例を挙げると、太陽または他の強力な光源が、当該光源のゴースト像をもたらす可能性がある。取得される画像の画像品質を著しく低下させかねないゴースト像は、開口の現れである。

さらに、虹彩の金属板のエッジが、画像の品質の低下につながる回折を引き起こす可能性がある。

イメージセンサへの迷光の到達を引き起こす他の現象は、使用されるレンズアセンブリまたはカメラの光学部品における内部反射である。光学部品の表面が瑕疵を呈するとき、光が光学部品のガラスへと案内された後に、部品内で異なる位置へと伝えられる可能性がある。結果として、例えばレンズにおける小さな瑕疵によって、迷光がイメージセンサに到達する結果となり、画像の品質を低下させる可能性がある。

したがって、画像またはビデオストリームの取得時に迷光を軽減するための優れた方法およびレンズアセンブリについて、ニーズが存在する。

本発明の一態様によれば、上記が、シーンの出力画像における迷光を軽減するための方法であって、レンズアセンブリを備えるカメラを用意することと、前記レンズアセンブリの光軸に直交する開口面に、該開口面において調節可能な開口ゲートを有する開口ユニットをもたらすことと、前記カメラによって前記シーンの複数の画像を、該複数の画像の各々の画像が前記開口面における前記開口ゲートの位置および形状の独自の組み合わせに各々が対応する独自の開口ゲート設定を使用して取得されるようにして、取得することと、前記複数の画像を分析し、該複数の画像について迷光成分の相違に関するデータを生成することと、前記迷光成分の相違に関するデータにもとづいて前記出力画像を生成することとを含む方法によって、少なくとも部分的に軽減される。

本発明によって、シーンの出力画像における迷光の量を減らすことができ、すなわち出力画像中の迷光成分を減らすことができる。本発明によれば、出力画像が、迷光成分の相違に関するデータにもとづいて生成される。用語「出力画像」を、デジタルまたはアナログの任意の種類のカメラから出力される任意の画像と解釈すべきである。出力画像は、当然ながら、ただ１つまたは複数の取得画像からの画像データにもとづくことができ、画像の品質の改善を目的とする種々の処理が加えられていても、あるいは他のやり方で画像の特徴が変更されてもよく、出力画像は、ビデオストリームに含まれた画像であってよい。換言すると、出力画像は、シーンの画像を表わすあらゆるデータ（例えば、圧縮されており、あるいは変調されている）であってよい。

迷光は、記録または取得されるシーンの画像に属さないシーンの画像に付加されるあらゆる光または光の成分を意味する。迷光は、シーン内から由来する可能性があり、シーンの外部から由来する可能性もある。換言すると、迷光は、例えばシーン内の光源から由来する可能性がきわめて高いが、例えば取得されるシーンの一部ではない光源から由来することもある。いずれにせよ、迷光は、シーンの画像に属さないシーンの画像に付加される光である。用語「迷光成分」を、画像に付加される迷光の画素レベルおよび光の特性を含むものとして広く解釈すべきである。より具体的には、画像の迷光成分は、画像へと付加されて画像の影響される画素の画素レベルの増大をもたらす光である。該当の画像へと付加されて画素レベルの増大をもたらす迷光が、一般に、やはり取得画像に日常的に加わるノイズと比べて低い空間周波数を有することに、注意すべきである。換言すると、迷光は、無作為な様相で小さな領域に影響を及ぼすことが一般的であるノイズと対照的に、通常は取得画像のより大きな領域に影響を及ぼす。

さらに、迷光は、乗算的ではなくて加算的である。結果として、画像の迷光成分を、乗算的効果を有する他の影響から区別することができる。例えば、カメラシステムの望ましくない特徴が、取得される画像において画素レベルの望まれない変化をもたらす可能性がある。例えばレンズの不均質に起因して生じうるこれらの影響は、典型的にはスケーリングとして画素レベルに影響を及ぼし、すなわち該当の画素レベルがスケーリング計数によって乗算される。これが、加算的である迷光には当てはまらない。

用語「シーン」は、広い意味に解釈されるべきであり、したがって人物、自動車、家屋、などといった記録または撮影のあらゆる対象を代表することができるが、地面の一領域、壁の一部分、領域の一部分、などであってもよい。

カメラは、記録または取得されるシーンに関する画像データを取得および出力することができる任意の装置を意味する。カメラは、アナログまたはデジタルであってよく、上述のように出力されるデータが出力画像を表わす限りにおいて、データを任意の形態で出力することができる。

本出願の文脈において、用語「レンズアセンブリ」が幅広い意味に解釈されるべきであり、したがってシーンから由来する光をカメラのイメージセンサまたは同様の構成部品へと集光するために用いられる任意の１つ以上の光学部品を包含することに、注意すべきである。したがって、レンズアセンブリは、レンズおよびミラーなどの多数の光学要素を備えるきわめて高度なズームレンズであってよい。レンズアセンブリは、例えば光をイメージセンサへと集光するために用いられるただ１つの単純なレンズであってもよい。

本出願の文脈において、用語「開口ユニット」が、例えばカメラのイメージセンサに到達するシーンからの光の量および特性を制御するために使用される開口ゲートを備えている任意の種類のユニットまたは装置であってよいことに、注意すべきである。

用語「開口ゲート」を、カメラのイメージセンサに到達する光の量および特性を制御するために使用できる任意の穴または装置と解釈すべきである。いくつかの例（ただし、これらに限られるわけではない）を挙げると、開口ゲートは、光を通過させることができる穴であってよく、通常であれば遮光性または不透明である要素の透明または半透明部分であってよく、あるいは光をカメラのイメージセンサへと直接的または間接的に案内するために使用される反射要素または反射部分などであってよい。実際には、開口ゲートは、カメラのイメージセンサに到達する光の量および特性を協働して制御するいくつかの分かれた領域を含むことができる。換言すると、開口ゲートは、いくつかの分かれた穴、透明または半透明部分、あるいは反射部分を含むことができる。また、開口ゲートは、光を制御するために使用される種々の要素の組み合わせを含むこともでき、すなわち開口ゲートは、例えば穴と透明部分または反射部分との組み合わせであってよい。

用語「開口面」を、レンズアセンブリの光軸に直交する平面であって、記録または取得されるシーン内の軸外の物体からの主光線がレンズアセンブリの光軸と交わる点を含む平面を意味するものと解釈すべきである。開口ゲートを開口面に位置させることによって、シーン内の物体から由来するすべての光線が、開口ゲートの設定にかかわらずに使用されると考えられる。換言すると、シーン内の物体のすべての点からの画像情報を、さまざまな開口ゲート設定が使用されるにもかかわらず取得することができる。

本発明は、異なる開口ゲート設定を使用して複数の画像を取得することで、迷光成分の少ない改善された出力画像を生成できるという認識にもとづいている。これを、本発明によれば、複数の画像を開口面における開口ゲートの位置および形状の特有の組み合わせに対応する異なる開口ゲート設定を使用して取得することによって、達成することができる。

本出願の文脈において、用語「位置」が、開口面における開口ゲートの任意の位置を意味できることに、注意すべきである。種々の画像を取得するときに開口ゲートの位置に加えて形状も変化させることによって、カメラのイメージセンサに到達する光の量および特性を、さらに制御することができる。開口ゲートの形状を制御することによって、レンズアセンブリを通ってカメラに進入する光を、カメラのイメージセンサに実際に到達する光を操るさらなる可能性を使用して、高度なやり方で制御することができる。例えば、記録または取得されるシーンにもとづいて開口ゲートの形状を変えることが可能である。シーンにもとづいて開口ゲートの形状を変えることによって、より迷光成分の少ない画像を取得することができる。これは、結果として、迷光成分の少ない出力画像の生成を可能にする。本出願の文脈において、用語「形状」が開口ゲートの任意の物理的な形態を意味できることに、注意すべきである。

本発明の技術的範囲から離れることなく、任意の数の画像を取得および使用できることに、注意すべきである。

取得された画像を分析することによって、異なる画像の迷光成分の相違に関するデータを生成することができる。次いで、生成された迷光成分の相違に関するデータを、１つまたは複数の画像または画像の一部分を選択するために使用することができ、あるいは後に迷光成分の少ない出力画像を生成するために用いられる改善された開口ゲート設定を生成するために使用することができる。取得された画像を迷光成分の相違に関するデータを生成すべく分析するとき、本明細書においてさらに詳しく後述されるように、いくつかの異なる戦略を採用することが可能である。

例えば、取得された各々の画像を、隣り合う画素からなる複数の対応する画素群へと分割することができる。画素群のサイズは、必要に応じてさまざまであってよく、特に該当の画像に加わる迷光成分の性質に応じてさまざまであってよい。換言すると、画素群のサイズを、一般に、画像の迷光成分の空間周波数が低く、したがって大きな領域に影響が及んでいる場合に増やすことができる。画素群は、例えば１個の画素、２×２個、５×５個、１０×１０個、または５０×５０個の画素、などを含むことができる。次いで、画素群の画素レベルの平均値を計算することができる。次いで、対応する各々の画素群の画素レベルの平均値を使用して、迷光成分の相違に関するデータを生成することができる。迷光成分の相違に関するデータを、この例示の事例においては、各行が対応する各々の画素群について計算された平均値を表わしている行列によって、表わすことができる。反対に、各列が対応する各々の画素群について計算された平均値を表わしてもよい。データを、当然ながら、ベクトルとして表わすこともでき、あるいは任意の他の適切な形式で表わすことができる。さらに、データは、画像のうちの画素レベルが最低である画素群（したがって、迷光成分が最も少ないと推定される画素群）を各要素が表わしているベクトルであってもよい。換言すると、迷光成分の相違に関するデータは、各々の画素群について、迷光成分が最も少ないと推定される画像はどれかを示すだけでよい。

同様の戦略は、各画像のすべての画素の画素レベルを判定し、次いで画像内のすべての画素の画素レベルを分析し、その特定の画像内のすべての画素の画素レベルの平均値を明らかにすることであってよい。その場合、迷光成分の相違に関するデータを、取得されたすべての画像について計算される平均値によって表わすことができる。換言すると、取得された各々の画像の全体としてのレベルが判定される。この特定の事例においては、迷光成分の相違に関するデータを、取得された各々の画像について１つの値を有するベクトルによって表わすことができる。

一般に、平均画素レベルまたは光強度の平均値が最低である画像が、取得された画像のうちで迷光成分が最も少ない画像である。

以下で、迷光成分の相違に関するデータを生成するために使用することができる他の戦略を説明する。取得された画像を、上述のように隣り合う画素からなる複数の対応する画素群へと分割した後で、各々の画素群についてコントラスト値を計算することができる。この特定の場合には、各々の画素群が少なくとも２つの画素を含まなければならないことに注意すべきである。なぜならば、ただ１つの孤立した画素についてコントラスト値を定義することはできず、したがって計算することはできないからである。次いで、各々の対応する画素群のコントラスト値を、迷光成分の相違に関するデータを生成するために使用することができる。迷光成分の相違に関するデータを、この例示の事例では、各行が各々の対応する画素群について計算されたコントラスト値を表わしている行列によって、表わすことができる。反対に、各列が各々の対応する画素群について計算されたコントラスト値を表わしてもよい。データを、当然ながら、ベクトルとして表わすこともでき、あるいは任意の他の適切な形式で表わすことができる。さらに、データは、画像のうちのコントラスト値が最高である画素群（したがって、迷光成分が最も少ないと推定される画素群）を各要素が表わしているベクトルであってもよい。換言すると、迷光成分の相違に関するデータは、この場合にも、各々の画素群について、迷光成分が最も少ないと推定される画像はどれかを示すだけでよい。

したがって、迷光成分の相違に関するデータを、いくつかの異なるやり方で表わすことができる。データの実際の表現は、データが迷光成分の相違に関する情報を含む限りにおいて、重要ではない。実際に、迷光の相違に関するデータは、迷光成分の相違を結論付けることができる任意のデータであってよい。相違とは、単にデータが迷光成分の相対的または絶対的な相違を表わすことを意味する。換言すると、「相違」という表現は、単に迷光成分による分類を意味することができる。

迷光成分の相違に関するデータにもとづいて出力画像を生成するとき、本明細書においてさらに詳しく後述されるように、いくつかの異なる戦略を採用することができる。実際に、出力画像を生成するために使用される実際のやり方は、本明細書においてさらに詳しく後述されるように、生成された迷光成分の相違に関するデータにもとづくことができる。

好ましい実施形態によれば、前記分析が、前記複数の画像の各々を対応する画素群へと分割し、前記複数の画像の各々の各画素群に含まれる画素の平均画素レベルを計算し、前記複数の画像の各々の各群の前記計算された平均画素レベルにもとづいて前記迷光成分の相違に関するデータを生成することを、さらに含むことができる。取得された画像を対応する画素群へと分割し、前記複数の画像の各々の各画素群の平均画素レベルを計算することによって、迷光成分の相違に関するデータを効率的なやり方で生成し、上記例示のとおりのさまざまなやり方で表わすことができる。通常は、平均画素レベルが最も低い画素群を、迷光成分が最も少ないと推定される画素群と解釈することができる。

好ましい実施形態によれば、前記分析が、前記複数の画像の各々を対応する画素群へと分割し、前記複数の画像の各々の各画素群に含まれる画素についてコントラスト値を計算し、前記複数の画像の各々の各群の前記計算されたコントラスト値にもとづいて前記迷光成分の相違に関するデータを生成することを、さらに含むことができる。取得された画像を対応する画素群へと分割し、前記複数の画像の各々の各画素群のコントラスト値を計算することによって、迷光成分の相違に関するデータを効率的なやり方で生成し、上記例示のとおりのさまざまなやり方で表わすことができる。コントラスト値を計算することによって、例えば不均質なレンズに起因する画素レベルのスケーリングからの影響を、相殺することができる。これは、コントラスト値を計算するときに、スケーリングの影響とは無関係に同じままである比が計算されるという事実による。通常は、より高いコントラストを有する画素群を、迷光成分がより少ない画素群であると解釈することができる。

本発明の実施形態によれば、前記生成が、前記迷光成分の相違に関するデータにもとづき、前記取得において用いられた前記固有の開口ゲート設定のうちの少なくとも２つを組み合わせることによって、合成開口ゲート設定を生成し、該合成開口ゲート設定を使用して追加の画像を取得し、該追加の画像を前記出力画像として使用することを、さらに含むことができる。複数の画像を取得し、迷光成分の相違に関するデータにもとづいて合成開口ゲート設定を引き続いて生成することによって、迷光成分の少ない改善された画像を取得することができる。次いで、この改善された画像を、出力画像として好都合に使用することができる。

本発明の実施形態によれば、前記生成が、前記複数の画像のうちの１つを前記迷光成分の相違に関するデータにもとづいて選択し、該選択された画像を前記出力画像として使用することを、さらに含むことができる。これは、取得された画像のうちの１つを出力画像として使用できるため、新たな出力画像を生成する必要がない点で好都合である。現実には、迷光成分が少ない画像または迷光が最も少ない画像を、迷光成分の相違に関するデータにもとづいて選択することができる。当然ながら、迷光成分の相違に関するデータにもとづいて、取得された画像のうちの任意の画像を出力画像として選択することが可能である。一般に、全体としてレベルが最も低く、あるいはコントラストが最も高い画像が、取得された画像のうちで最も迷光を含まない画像であると考えられる。迷光成分の相違に関するデータの表現にかかわらず、迷光成分が少なく、あるいは最も少ないと推定される画像を、データにもとづいて選択することができる。

本発明の実施形態によれば、前記生成が、前記複数の画像のうちの第１の画像の第１の部分および前記複数の画像のうちの第２の画像の第２の部分を、前記迷光成分の相違に関するデータにもとづいて決定し、前記決定された第１の部分および前記決定された第２の部分を繋ぎ合わせ、合成画像の少なくとも一部分を形成し、前記合成画像を前記出力画像として使用することをさらに含むことができる。

取得された画像の部分であって、残りの画像の対応する部分よりも迷光成分が少ない部分を割り出すことによって、迷光成分の少ない複合材料を生成することができる。実際には、取得された画像を、全体画像の特定の部分のための迷光成分の少ない画像部分を見つけるために分析することができる。

前記部分は、あらかじめ定められてもよく、あるいは迷光成分の相違に関するデータにもとづいてもよい。簡単なやり方は、上述の画素群を各部分として使用し、単純に各々の対応する画素群のうちの迷光成分が最も少ないと判断される１つを選択することである。使用可能な別の戦略は、迷光成分の相違に関するデータにもとづいて、１つまたは複数の画素群を含む部分を決定することである。各々の部分のサイズおよび形状は、さまざまであってよく、したがってニーズに適するように調節することができる。当業者であれば、部分を決定するいくつかのやり方を使用できることを、理解できるであろう。実際には、取得されたすべての画像の対応する部分を使用し、迷光成分の相違に関するデータにもとづいて出力画像に使用されるべき取得された画像のうちの１つからの１つの部分を選択することが好ましい。

次いで、取得された画像から迷光成分が少なく、あるいは最少であると判断された部分を、出力画像を生成するために繋ぎ合わせることができ、したがって出力画像の全体または一部分を複数の画像からの部分で構成することができる。他方で、特定の場合においては、特定の開口ゲート設定に対応する特定の画像が、取得された他の画像と比べて、画像全体において迷光成分がより少ないと判断される可能性がある。この場合、迷光成分が少ない画像の全体を、上記に従って出力画像として使用することができる。

本発明の実施形態によれば、前記生成が、生成すべき出力画像について、少なくとも１つの画素群を含む第１の部分および第２の部分を選択し、前記迷光成分の相違に関するデータにもとづき、前記複数の画像のうちの前記第１の部分の生成に使用すべき画像からなる第１のサブセットを選択し、前記迷光成分の相違に関するデータにもとづき、前記複数の画像のうちの前記第２の部分の生成に使用すべき画像からなる第２のサブセットを選択し、前記第１の部分を、前記第１のサブセットの前記画像の対応する部分を使用し、前記第１の部分の各画素について平均画素レベルを判定し、該判定された平均画素レベルを前記第１の部分の対応する各々の画素の出力値として使用することによって生成し、前記第２の部分を、前記第２のサブセットの前記画像の対応する部分を使用し、前記第２の部分の各画素について平均画素レベルを判定し、該判定された平均画素レベルを前記第２の部分の対応する各々の画素の出力値として使用することによって生成し、前記生成された第１の部分および前記生成された第２の部分を繋ぎ合わせて該生成された部分を含む合成画像を生成し、前記合成画像を前記出力画像として使用することを、さらに含むことができる。

生成すべき出力画像の第１の部分および第２の部分を決定し、前記迷光成分の相違に関するデータにもとづいて第１のサブセットおよび第２のサブセットを選択することによって、前記出力画像の特定の部分の生成時に使用されるべき１つまたは複数の画像を選択することができる。出力画像の各部分の生成に適したサブセットを選択するために、いくつかの戦略を用いることができる。迷光の相違に関するデータを分析することによって、例えば特定の部分において迷光のレベルが低い画像を特定でき、したがって選択することができる。複数の画像から、画像の特定の部分について迷光のレベルが比較的低い画像を選択することによって、迷光成分が比較的少ない部分を生成することができる。前記出力画像の各部分を生成するとき、前記対応する部分における前記選択された画像の各画素の画素レベルを判定することができる。これらの画素レベルの平均値を判定し、この平均値を出力値として使用することによって、各々の画素の信号対雑音比、すなわちＳＮＲを、改善することができる。したがって、特定の部分について画像の適切なサブセットを選択し、前記対応する部分における対応する各々の画素の平均画素レベルを判定することによって、ＳＮＲを改善することができる。次いで、改善された部分を繋ぎ合わせて合成出力画像を形成することによって、出力画像を、迷光成分が軽減されると同時に出力画像のＳＮＲが改善される点で、さらに改善することができる。

それぞれの部分のためのそれぞれのサブセットの画像を迷光成分の相違に関するデータにもとづいて選択するときに、いくつかの戦略を使用することができる。例えば、上述のように、取得された画像の各々の画素について、画素レベルを判定することができる。次いで、対応する群における平均画素レベルを判定することができる。次いで、平均画素レベルにもとづいて、それぞれのサブセットのための画像を選択することができる。例えば、しきい値を使用することができ、該当の群について特定のしきい値を下回る平均画素レベルを有する画像を、該当のサブセットのために選択することができる。

別の戦略は、取得された画像の各々の対応する部分について、画素レベルの統計的分析を実行することであってよい。例えば、迷光成分の相違に関するデータにもとづき、最低の四分位に属する画素レベルを有すると判断される画像を、該当のサブセットのために選択することができる。別の戦略は、迷光成分の相違に関するデータにもとづき、迷光成分のレベルが最も低い特定の数の画像を、該当のサブセットのために選択することができる。

したがって、画像の選択されたサブセットにおける各々の対応する画素の画素レベルの平均値を、信号対雑音比（ＳＮＲ）を改善するために使用することができる。

本発明の別の態様によれば、イメージセンサおよびレンズアセンブリを備えており、前記レンズアセンブリが、光を前記イメージセンサへと集光するためのレンズと、開口面に配置された開口ゲートを有する開口ユニットとを備えており、前記開口ゲートが、前記開口ユニットによって前記開口面内で調節可能な位置、形状、および／またはサイズを有しているカメラを使用し、シーンの画像における迷光を特定するための方法であって、前記カメラによって前記シーンの複数の画像を取得し、該複数の画像の各々の画像は、該複数の画像において固有の開口ゲート設定を使用して取得され、該固有の開口ゲート設定の各々は、前記開口面における前記開口ゲートの位置、形状、および／またはサイズの特有の組み合わせに対応していることと、前記複数の画像の各々を、対応する画素群へと分割することと、前記複数の画像の各々の前記対応する画素群に含まれる画素について、平均画素レベルまたはコントラスト値を計算することと、前記計算された平均画素レベルまたはコントラスト値を比較し、前記複数の画像における迷光を特定することとを含む方法が提供される。本発明によって、画像に存在する迷光に関する結論を引き出すことができるように、シーンの画像における迷光を特定することができる。一般に、本発明のこの態様の特徴は、本発明の先の態様に関して上述した利点と同様の利点をもたらす。

本発明の別の態様によれば、迷光を軽減するためのレンズアセンブリであって、このレンズアセンブリの光軸に直交する開口面に配置された開口ゲートを有している開口ユニットを備えており、前記開口ゲートが、前記開口面において調節することができる位置および形状を有しているレンズアセンブリが提供される。一般に、本発明のこの態様の特徴は、本発明の先の態様に関して上述した利点と同様の利点をもたらす。

本発明の一実施形態によれば、前記開口ユニットの前記開口ゲートのサイズを、調節されるように構成することができ、これは、例えばレンズアセンブリを通ってカメラのセンサに到達する光の量を開口ゲートのサイズを制御することによって制御できる点で、好都合である。

本発明の実施形態によれば、前記開口面が、前記光軸における固定の平面であってよい。

本発明の別の実施形態によれば、前記開口ユニットが、前記開口面における前記開口ゲートの異なる位置および／または形状に対応する第１のゲートおよび第２のゲートを有する回転ディスクを備えることができ、これは、異なる開口ゲート設定を機械的に単純でありながら依然として確実なやり方で実現できる点で、好都合である。したがって、回転ディスクを、種々のゲートを特定のゲートが例えばカメラの検出器に到達する光の量および特性を制御するために使用される位置へと回転させることができるようなやり方で、回転させることができる。さらに、回転ディスクを、開口ゲートのサイズも制御できるように設計することができる。これを実現するために、種々の位置、形状、および／またはサイズに対応する複数の開口ゲートを有する回転ディスクを使用することができる。

本発明の実施形態によれば、前記開口ユニットが、前記開口面における前記開口ゲートの異なる位置および形状に対応する前記開口面の第１の位置および前記開口面の第２の位置において光を通し、あるいは遮るように構成された液晶素子を備えることができる。開口ゲートに液晶素子を備えることによって、液晶素子の画素を作動または非作動にすることで画素を遮光性または半透明にできるため、開口ゲートを、開口ゲートの形状、位置、およびサイズのいずれも容易に変更できるやり方で実現することができる。画素が非作動であるとき、液晶素子は透明であってよく、逆もまた然りである。液晶素子の分解能に応じて、開口ゲートの位置、形状、およびサイズを、或る程度正確な様相で制御することができ、すなわち高分解能の液晶素子を使用することで、開口ゲートの特性を正確に制御することができる。

本発明の実施形態によれば、前記開口ユニットが、前記開口ゲートを実現するために前記開口面において異なる位置へと調節されるように構成された可動の伝統的な虹彩を備えることができ、これは、開口ゲートの位置およびサイズを単純かつ確実なやり方で調節できる点で、好都合である。

本発明の別の実施形態によれば、前記開口ユニットが、前記開口面の第１の位置において前記レンズアセンブリを通る光を選択的に導き、前記開口面の第２の位置において前記レンズアセンブリを通る光を選択的に導くように構成されたデジタルマイクロミラー装置を備えることができる。マイクロミラー装置を利用することによって、液晶素子に関して上述した利点と同様の利点を実現することができる。

本発明の別の態様によれば、上述した種類のレンズアセンブリと、上述した方法を実行するように構成された処理ユニットとを備えるカメラが提供される。したがって、レンズアセンブリおよび処理ユニットを備えるカメラが、上述した方法を実行することができ、したがって迷光成分が軽減された出力画像を生成するために使用可能である。

用語「処理ユニット」は、任意の形態のデータを処理することができる任意の種類のプロセッサまたは論理ユニットを意味するように広く解釈されるべきである。

本発明の別の態様によれば、上述した種類のレンズアセンブリを備えるカメラを備えるシステムが提供される。このシステムは、上述の方法を実行するように構成された処理ユニットをさらに備える。

したがって、レンズアセンブリを備えるカメラと、処理ユニットとを備えるシステムが、上述した方法を実行することができ、したがって迷光成分が軽減された出力画像を生成するために使用可能である。

本発明のさらなる特徴および利点が、添付の特許請求の範囲および以下の説明を検討することによって明らかになるであろう。当業者であれば、本発明の技術的範囲から離れることなく、本発明の種々の特徴を組み合わせて以下に説明される実施形態以外の実施形態を生み出すことができることを、理解できるであろう。

本発明の態様が、本発明の特別な特徴および利点を含めて、以下の詳細な説明および添付の図面から容易に理解されるであろう。

本発明の実施形態によるレンズアセンブリとともに使用されるデジタルビデオカメラの概略図である。 第１の開口ゲート設定が使用されている本発明の実施形態によるレンズアセンブリの概略図である。 第２の異なる開口ゲート設定が使用されている本発明の実施形態によるレンズアセンブリの概略図である。 本発明の実施形態による方法を示す概略のフロー図である。 本発明の実施形態による方法の一部分の示す概略の一部分のフロー図である。 本発明の実施形態による方法の一部分の示す概略の一部分のフロー図である。

次に、本発明を、本発明の現時点における好ましい実施形態を示している添付の図面を参照して、以下でさらに充分に説明する。しかしながら、本発明は、多数のさまざまな形態にて具現化可能であり、本発明を、本明細書に記載の実施形態に限られないと理解すべきであり、むしろこれらの実施形態は、徹底的かつ完璧であることを目指して提示され、当業者に本発明の技術的範囲を充分に伝えるものである。類似の参照符号は、全体を通して類似の構成要素を指し示している。

ここで図面を参照し、特に図１を参照すると、本発明の実施形態によるレンズアセンブリ１０２と一緒に使用されるデジタルビデオカメラ１００が、概念的に示されている。レンズアセンブリ１０２が、開口ユニット１０３を備えている。デジタルビデオカメラ１００は、集光機能を備えており、すなわちデジタルビデオカメラ１００の焦点を、カメラから種々の距離にある物体へと合わせるために変化させることができる。さらに、デジタルビデオカメラ１００は、デジタルネットワーク１１２へと接続可能であってよい。さらに、デジタルビデオカメラ１００は、可搬のカメラ、固定のカメラ、またはパン／チルトの機能を有するカメラであってよい。デジタルビデオカメラ１００は、見張りの目的、マシンビジョン、店舗のコンプライアンス、ビジネス情報の取得目的、などといった監視用のカメラであってよい。本発明の理解を促進および簡単にするために、本発明がデジタルビデオカメラ１００と併せて使用される場合の典型的な実施形態を、以下に示す。さらなる単純化のために、本発明に関係しないデジタルビデオカメラの標準的な特徴は、以下では説明しない。

デジタルビデオカメラ１００は、ハウジング１０４を備えている。さらに、カメラ１００は、コントローラ１０７と、フォトセンサ１０８と、処理ユニットまたはプロセッサ１０９と、メモリ１１０と、Ｉ／Ｏポート１１１とを備えている。

Ｉ／Ｏポート１１１は、図示の実施形態によれば、デジタルビデオカメラ１００を通信ネットワーク１１２へと接続するために使用される。しかしながら、デジタルビデオカメラ１００を、画像を表示するためのモニタ（図示されていない）または画像の保存のための記憶媒体を備えているレコーダ（図示されていない）へと直接接続することも可能である。通信ネットワーク１１２は、例えばローカルエリアネットワーク（ＬＡＮ）または無線ローカルエリアネットワーク（Ｗ−ＬＡＮ）あるいはワイドエリアネットワーク（ＷＡＮ）などの有線または無線のデータ通信ネットワークなど、デジタル情報をやり取りするための任意の種類の通信ネットワークであってよい。

フォトセンサ１０８が、図示の実施形態によれば、シーンの画像を取得するように配置される。フォトセンサ１０８は、例えば入射光を記録するための電荷結合素子（ＣＣＤ）センサ、相補型金属酸化物半導体（ＣＭＯＳ）センサ、または同様のセンサであってよい。フォトセンサ１０８は、複数のセンサ画素を備える。各々のセンサ画素の画素レベルまたはデータが、種々の所定の波長についてそのセンサ画素が受信した光子の数の関数である。

次に図２ａおよび２ｂを参照すると、本発明の実施形態によるレンズアセンブリ２０２が、概念的に示されている。レンズアセンブリは、開口ゲート２０４ａ、２０４ｂを備える開口ユニット２０３を備えている。

開口ゲート２０４ａ、２０４ｂは、レンズアセンブリ２０２の光軸ＯＡに直交する平面に配置されている。本発明のレンズアセンブリ２０２のこの特定の実施形態においては、開口ユニット２０３の開口ゲート２０４ａ、２０４ｂが、レンズアセンブリ２０２の開口面に配置されている。これは、実際のところ、この特定のレンズアセンブリ２０２において、開口面がレンズアセンブリ２０２の光学部品によって定められることを意味する。本発明の別の実施形態においては、開口ゲート２０４ａ、２０４ｂを、開口面に一致しない平面に配置してもよい。本発明による他の実施形態においては、レンズアセンブリを、開口面が光軸ＯＡに沿ってレンズアセンブリ１０２、２０２の光学部品の外部に位置するように形成することができる。

次に、図１、２ａ、および２ｂを参照すると、レンズアセンブリ１０２、２０２の開口ユニット１０３、２０３は、開口ゲートの位置、サイズ、および／または形状を制御するためのコントローラ（図示されていない）を備えることができ、あるいはカメラのコントローラ１０７へと接続されてよい。開口ユニット１０３、２０３をコントローラ１０７へと接続することによって、開口ゲート２０４ａ、２０４ｂを、コントローラ１０７によって制御することができる。開口ゲートを調節するための信号は、いくつかの異なるソースから由来することができる。例えば、信号を、ユーザが生じさせることができ、あるいは所定のアルゴリズムにもとづいて処理ユニット１０９において生成することができ、信号を通信ネットワーク１１２を介して遠方の場所から送信することも可能である。

レンズアセンブリ１０２、２０２の図示の実施形態においては、開口ユニット１０３、２０３が、液晶素子を備えている。開口ユニット２０３の液晶素子が、開口ゲート２０４ａ、２０４ｂを実現するために使用される。液晶素子は、非作動時に透明であり、作動時に暗くなって光を遮る画素へと分割されている。作動は、一般に、作動させるべき選択された画素へと電流を印加することによって行なわれる。開口ゲートのコントローラまたはカメラのコントローラ１０７を、液晶素子の選択された画素を作動させるように構成することができる。選択された画素を作動させることによって、開口ゲート２０４ａ、２０４ｂの外観、したがって設定を、制御することができる。

図２ａに示した開口ユニット２０３は、レンズアセンブリ２０２に進入する入射光を遮る遮光領域２０５と、開口ゲート２０４ａを定めており、レンズアセンブリの光軸ＯＡに対して異なる位置に配置されている２つの透明領域２０６、２０７とを含んでいる。開口ゲート２０４ａを定めている２つの領域２０６、２０７は、異なる形状であり、サイズも異なっている。さらに、領域２０６、２０７は、レンズアセンブリ２０２の開口面において異なる位置にある。

遮光領域２０５は、開口ユニット２０３の液晶素子のうちの遮光領域２０５に対応する画素を作動させることによって実現される。

当業者であれば、開口ゲート２０４ａ、２０４ｂをきわめて異なる外観を呈するように調節できることを、理解できるであろう。例えば、図２ｂに示されるように、開口ゲート２０４ｂを定めるただ１つの透明領域２０９を、上記提示の技術的解決策を使用して実現することができる。図２ｂに示されるとおりの開口ユニット２０３は、遮光領域２０８と、開口ゲート２０４ｂを定める透明領域２０９とを備える。透明領域２０９は、図２ａの透明領域２０６、２０７と比べて、異なる位置、形状、およびサイズを有している。

同様に、いくつかの透明または遮光領域を、開口ユニット２０３の液晶素子の画素を制御することによって実現することができる。

当業者であれば、開口ユニット２０３の開口ゲート２０４ａ、２０４ｂを実現するためのいくつかの他の技術的解決策を、本発明の技術的範囲から離れることなく使用できることを、理解できるであろう。

開口ゲート２０４ａ、２０４ｂを実現する１つのやり方は、ＤＭＤまたはＤＬＰなどのマイクロミラー装置を使用することである。マイクロミラー装置を使用することによって、レンズアセンブリ２０２に進入する光を、レンズアセンブリ２０２を通って案内することができ、あるいは光がレンズアセンブリ２０２を通過しない異なる方向に案内することができる。マイクロミラー装置は、複数の制御可能なミラーまたは反射要素を備えているため、レンズアセンブリ２０２を通って案内される光を制御することができる。マイクロミラー装置が使用される場合、開口ゲート２０４ａ、２０４ｂの外観、したがって設定を、上述した液晶素子が開口ゲート２０４ａ、２０４ｂの実現に使用される場合と同様に制御することができる。換言すると、マイクロミラー装置の分解能に応じて、開口ゲート２０４ａ、２０４ｂの位置、形状、およびサイズを制御して、位置、形状、およびサイズの独特の組み合わせをもたらすことができる。この場合にも、開口ゲートは、レンズアセンブリ２０２を通過する光に寄与することによって、開口ゲート２０４ａ、２０４ｂを定めるいくつかの分かれた領域を含むことができる。

開口ゲートを実現するためのさらに別のやり方は、異なる特性を有する複数の穴が設けられた回転ディスクを使用することである。その場合には、回転ディスクを、例えばレンズアセンブリ２０２の開口面に配置することができる。これにより、開口面においてディスクを回転させることによって、回転ディスクの異なる穴をレンズアセンブリ２０２の光路へと導入し、開口ゲート２０４ａ、２０４ｂを定めることができる。異なる特性を有する異なる穴を設けることによって、開口ゲート２０４ａ、２０４ｂの外観、したがって設定を、調節することができる。当業者であれば、レンズアセンブリ２０２の光路に導入されたときに開口ゲート２０４ａ、２０４ｂの外観を決定するように配置された複数の穴を備えるディスクを設計することによって、開口ゲート２０４ａ、２０４ｂのいくつかの特性を制御できることを、理解できるであろう。例えば、回転ディスクが、開口ゲート２０４ａ、２０４ｂの異なる位置、形状、およびサイズに対応する異なる穴を備えることができる。

開口ゲート２０４ａ、２０４ｂを実現するためのまた別のやり方は、可動の伝統的な虹彩を開口ユニット２０３に備えることであってよい。この場合、開口ゲート２０４ａ、２０４ｂを、虹彩の絞りによって定めることができる。その場合、虹彩を、レンズアセンブリ２０２の開口面において可動であるように配置することができる。虹彩を開口面において動かすことによって、開口ゲート２０４ａ、２０４ａの種々の位置を実現することができる。さらに、虹彩の金属板を調節することによって、虹彩の絞りのサイズおよび形状を制御することができる。結果として、開口ゲート２０４ａ、２０４ｂの位置、サイズ、および形状を、可動の伝統的な虹彩を使用することによって制御することができる。

本発明によれば、処理ユニット（１０９）が、カメラ（１００）から離れて位置することができる。この場合に、カメラが処理ユニット（１０９）へと接続され、すなわち処理ユニットを、カメラから由来する画像データなどを処理するために使用することができる。換言すると、本発明を、カメラと処理ユニットとを含むシステムとして具現化することができる。これは、さらに詳しくは後述される。

以下で、迷光を軽減するための本発明による方法３００の実施形態を、この方法の典型的なステップを示している図３を参照して、概略的に説明する。以下の本発明の方法の実施形態の例（ただし、これらに限られるわけではない）は、簡単にする目的で、上記によるデジタルビデオカメラ１００と併せて使用される場合について説明される。

本方法の第１のステップ３０１において、レンズアセンブリ１０２、２０２を備えるカメラ１００が用意される。カメラ１００は、上述のように、いくつかの異なる種類のカメラであってよい。

本方法の第２のステップ３０２において、レンズアセンブリに、レンズアセンブリ１０２、２０２の光軸ＯＡに直交する開口面に開口ゲートを有する開口ユニット１０３、２０３がもたらされる。開口ゲート２０４ａ、２０４ｂは、開口面において調節可能である。

本方法の第３のステップ３０３において、シーンの複数の画像が、各々の画像について固有の開口ゲート設定を使用して取得される。固有の開口ゲート設定は、前記開口ゲートの位置、サイズ、および形状の独自の組み合わせに対応する。

本方法の第４のステップ３０５において、取得された画像が、迷光成分の相違に関するデータを生成するために分析される。

本方法の第５のステップ３０６において、出力画像が、生成された迷光成分の相違に関するデータにもとづいて生成される。

第２のステップ３０２において、開口ゲート２０４ａ、２０４ｂを備える開口ユニット２０３をもたらすとき、上述のように、開口ゲート２０４ａ、２０４ｂを実現するためのいくつかの異なる技術的解決策を、本発明の技術的範囲から離れることなく使用することができる。

本方法の第３のステップ３０３においては、シーンの複数の画像が、カメラ１００を使用して取得される。画像は、開口面における開口ゲート２０４ａ、２０４ｂの位置、サイズ、および形状の独自の組み合わせに対応する固有の開口ゲート設定を使用して取得される。独自の組み合わせが、取得される各々の画像について使用される。

同じシーンの画像を異なる開口ゲート設定を使用して取得することによって、同じシーンを表わしているにもかかわらず上述のように迷光に起因する成分が異なっている画像を、得ることができる。

本発明の方法によれば、複数の画像を取得することが可能であるが、本発明の考え方から外れることなく、ただ２つの画像を使用することが可能である。以下の説明は、一部には、単純さという理由で、同じシーンについて２つの画像が取得されて本発明の方法に従って処理される特別な事例にもとづく。当業者であれば、本方法および本方法の種々の実施形態を、２つ以上の任意の数の画像が取得される場合に使用できることを、理解できるであろう。例えば、出力画像を生成するために、３つ、４つ、８つ、あるいは６０枚もの画像を、異なる開口ゲート設定を使用して取得することができる。デジタルビデオカメラ１００は、カメラ１００の出力ビデオストリームにおいて実際に使用されるフレームレートよりも高いフレームレートで画像を取得可能であってよい。出力ビデオストリームよりも高いフレームレートで画像を取得可能であることによって、カメラは、同じシーンのいくつかの画像を取得することができ、次いでそれらの画像を、本発明の方法に従って使用することができる。例えば、カメラが１秒につき２５枚の画像またはフレームからなるビデオストリームを出力しており、１秒につき１００枚のフレームを取得することができる場合には、４枚の取得画像を、本発明の方法において１つの出力画像を生成するために使用することができる。

したがって、さらに高いフレームレートで動作するビデオカメラ１００は、本発明の方法に従ってさらに多くの画像を使用することができる。

本発明の方法のわずかに異なる変種を、使用されるカメラ１００が出力画像ストリームに必要とされる画像よりも多くの画像を取得することができない場合に使用することができる。この場合、すべての画像が出力され、開口ゲートの設定が、出力される画像ごとに変更される。これを行なうことにより、取得される画像の大多数においては含まれる迷光の量が少ないが、他の画像は、非最適な開口ゲートの設定の結果として、迷光をより多く含む可能性がある。現実には、少なくとも２つの異なる開口ゲート設定が使用され、最良であると判断される開口ゲート設定、すなわち含まれる迷光の量が最も少なくなる開口ゲート設定が、特定の時間期間にわたって出力画像に使用される。しばらくしてから、新たな開口ゲート設定の発見を目的とした新たな反復を、異なる開口ゲート設定を有する少なくとも２つの画像を取得することによって実行することができる。前記時間期間は、あらかじめ定められても、例えば取得されるシーンに応じて変化してもよい。本方法３００を、出力される画像よりも多くの画像を取得することができるカメラ１００において使用される場合に、反復して使用することもできる。この特定の事例が、さらに詳しく後述される。画像がカメラ１００によって取得されるとき、取得された画像を表わす画像データを、後の容易なアクセスのためにカメラのメモリ１１０に一時的に保存することができる。

第４のステップ３０５において、カメラ１００によって取得された画像が、迷光成分の相違に関するデータを生成するために分析される。取得された画像を分析するとき、概要の箇所において上述し、以下でさらに具体的にされるように、いくつかの異なる分析を使用してデータを生成することができる。

本発明の方法３００の現時点における好ましい実施形態によれば、第４のステップ３０５が、取得された画像を隣り合う画素からなる複数の対応する画素群へと分割することを含む。上述のように、画素群のサイズは、好ましくはノイズの影響が相殺されるように選択される。例えば、画素群として、２５個の画素からなる５×５の画素領域を選択することができる。対応する画素群が、取得された画像において選択され、次いで画素群の画素レベルの平均値を計算することができる。この特定の例では、各々の画素群の２５個の画素の画素レベルの平均値が計算される。次いで、計算された平均値が、迷光成分の相違に関するデータを生成するために使用される。データを、上述のように、いくつかのやり方で表わすことができる。

本発明の方法３００の別の現時点における好ましい実施形態によれば、第４のステップ３０５が、取得された画像を上述のように隣り合う画素からなる複数の対応する画素群へと分割することを含む。次いで、各々の画素群について、コントラスト値が計算される。上述のように、この特定の場合には、各々の画素群が少なくとも２つの画素を含まなければならない。なぜならば、ただ１つの孤立した画素にはコントラスト値を定義することができないからである。各々の画素群のコントラスト値を計算するとき、画素群のうちの最高の画素レベルａおよび最低の画素レベルｂが判定される。次いで、比（ａ−ｂ）／（ａ＋ｂ）が計算される。ａおよびｂは同じ係数によってスケーリングされるため、比を計算することによってスケーリングの影響を取り除くことができ、すなわち計算された比はスケーリングの影響に左右されることがない。以下では、コントラスト値の計算の結果が、迷光成分の相違に関するデータを生成するために使用される。データを、上述のように、いくつかのやり方で表わすことができる。

さらに、対応する画素群に含まれる画素について平均画素レベルおよび／またはコントラスト値を計算し、次いで取得された画像における迷光を特定するために計算された平均画素レベルおよび／またはコントラスト値を比較することによって、迷光を特定することが可能である。

当業者であれば、これら例示の分析以外の種々の分析を、本発明の技術的範囲から離れることなく行なうことができることを、理解できるであろう。例えば、統計にもとづく相関値を計算し、迷光成分の相違に関するデータの生成に使用することができる。さらに、当業者であれば、他の利用可能な統計学的方法も、データの生成に好都合に使用できることを、理解できるであろう。本発明の方法が上述のとおりのデジタルビデオカメラ１００と併せて使用される場合、分析に関する計算を、好ましくはカメラ１００のプロセッサ１０９によって実行することができる。

しかしながら、取得された画像の分析を、カメラから離れたプロセッサまたは分析ユニットによって実行することができる。この場合、カメラによって取得された画像データが、Ｉ／Ｏポート１１１を介し、通信ネットワーク１１２を使用して、カメラから別途のプロセッサまたは分析ユニットへと送られる。換言すると、本発明を、本発明のレンズアセンブリと処理ユニットとを備えるカメラとして具現化でき、あるいは本発明のレンズアセンブリを備えるカメラと、上述のとおりの処理ユニットとを備えるシステムとして具現化することもできる。

第５のステップ３０６において、出力画像が、迷光成分の相違に関するデータにもとづいて生成される。出力画像を、いくつかの異なるやり方で生成することができる。どのように出力画像を生成するのかについてのいくつかの例（ただし、これらに限られるわけではない）を、以下に示し、本発明の方法の現時点における好ましい方法を開示する。一般に、本方法がカメラ１００と併せて使用される場合、プロセッサ１０９を、迷光成分の相違に関するデータにもとづいて出力画像を生成するために使用することができ、画像データを、メモリ１１０に一時的に保存することができる。次いで、生成される出力画像を、カメラ１００のＩ／Ｏポート１１１によってネットワーク１１２へと送り出すことができる。出力画像は、上述のように、ビデオストリームの一部であってよく、あるいは静止画であってよい。

本発明の方法３００を、個別のシーンに合わせて調節することができる開口ゲート設定を反復的に決定するために、連続的に繰り返すことも可能である。方法３００を連続的に繰り返し、迷光成分の少ない画像をもたらしている従前の設定にもとづいて開口ゲート設定を調節することによって、開口ゲート設定を、迷光成分の少ない画像を取得できるという意味において、取得される画像に合わせて調節することができる。より有利な開口ゲート設定を決定するための方法３００の連続的な繰り返しを、静的なシーンまたは変化の少ないシーンが取得または記録される場合に、好都合に使用することができる。方法３００を反復的に繰り返すことによって、個別のシーンに合わせた固有の開口ゲート設定を決定することができる。次いで、開口ゲート設定を方法３００を使用して一定間隔で更新できる。たとえ静的なシーンを取得する場合でも、例えばシーンの光の条件が変化するため、開口ゲート設定を調節する必要性が依然として存在しうる。

他の手法は、本発明の方法３００を、個別のシーンについて適切であると考えられる開口ゲート設定を明らかにし、次いで明らかにされた開口ゲート設定を後に使用することである。当業者であれば、本発明の方法３００を、本発明のレンズアセンブリ１０２、２０２とともに使用されるカメラ１００を使用して、個々のシーンについて適切な開口ゲート設定を明らかにするために使用できることを、理解できるであろう。その後に、本発明の方法３００によって得られた結果にもとづいて固定された開口ゲート設定を有するカメラを使用して、個々のシーンについて迷光成分の少ない画像を取得することができる。

本発明の方法３００の実施形態において、生成３０６は、合成開口ゲート設定の決定および生成を含む。合成開口ゲート設定は、画像の取得のステップ３０３において用いられた少なくとも２つの開口ゲート設定が組み合わせられる。合成開口ゲート設定の決定および生成後に、合成開口ゲート設定を、出力画像の取得に使用することができる。合成開口ゲート設定は、画像の取得のステップ３０３において用いられた開口ゲート設定のうちの２つ以上を組み合わせることによって生成される。

迷光成分の相違に関するデータを分析することによって、有利または不利な開口ゲート設定に関する結論を導き出すことができ、有利な設定を決定および選択することができる。例えば、いくつかの独特な開口ゲート設定が、迷光の量の多い画像をもたらす可能性がある一方で、別の独特な開口ゲート設定が、迷光の量がより少ない画像をもたらす可能性がある。例えば有利であると考えられる２つ以上の独特な開口ゲート設定を選択して組み合わせて、合成開口ゲート設定を形成することによって、より優れた画像を取得し、出力画像として使用することができる。

例えば、液晶素子が使用される場合、合成出力開口ゲート設定は、画像の取得のステップ３０３からの画像であって、迷光のレベルが低い画像に対応する独特な開口ゲート設定のすべての透明部分を含むことができる。

本発明の方法３００の実施形態において、第５のステップ３０６は、本方法の先行のステップにおいて取得された画像のうちの１つを選択し、選択された画像を出力画像として使用することをさらに含む。本方法３００のこの特定の実施形態において、取得された画像のうちの１つは、先に生成された迷光成分の相違に関するデータにもとづいて選択される。このデータにもとづき、迷光成分が最少または少ない画像がどれであるかを結論付けることができる。これは、実際には、上述のように、画素レベルまたは光強度が最も低く、あるいはコントラストが最も高い画像であってよい。当業者であれば、画像を選択するためのいくつかの異なる戦略を、本発明の技術的範囲から離れることなく使用できることを、理解できるであろう。選択は、当然ながら、迷光成分の最も少ない画像に限られない。したがって、任意の画像を、先に生成された迷光成分の相違に関するデータにもとづいて選択することができる。

本発明による方法の実施形態を、図３の部分拡大図である図４を参照して概略的に説明する。図４には、本方法の第５のステップ３０６が、実行されるステップ３０６の追加の特徴５０１を呈して示されている。

この特定の現時点における好ましい実施形態による方法の第５のステップ３０６において、取得された画像を、いくつかの部分、領域、または部位へと分割することができる。画像を部分へと分割するとき、いくつかの戦略を使用することができる。例えば、画像を、取得された画像について先に決定された画素群を、取得された画像における画素群の位置または迷光成分の相違に関するデータにもとづいて画像部分へと集める単純な行列またはメッシュを使用して、部分へと分割することができる。使用可能な他の戦略は、該当の画像の中身にもとづき、取得されたすべてのシーンについて同じではない動的な部分を割り出すことである。これを、先に生成された画像の迷光成分の相違に関するデータを分析することによって行なうことができる。次いで、取得された画像が好ましくは同じやり方で分割され、すなわち取得されるすべての画像が同じやり方で分割され、これが本方法の適用を容易にする。

次いで、取得された画像からの対応する部分のうちでどの部分が迷光の量が少ないのかが、先に生成された迷光成分の相違に関するデータにもとづいて判断される。すでに述べたように、迷光の量が少ないかどうかを、例えば画素群の平均画素レベルまたは画素群のコントラスト値を計算することによって判断することができる。実際には、上述のように、対応する部分のうちの平均画素レベルが最低である部分またはコントラスト値が最高である部分が、通常は迷光成分が最も少ない部分である。

次いで、迷光の量が少ないと判断された部分が、出力画像を形成するために繋ぎ合わせられる。換言すると、出力画像の各部分について、取得された画像のうちの１つから１つの部分が選択され、選択された各部分を合わせることによってシーンの全体の画像が形成される。これは、実際には、出力画像が、おそらくはシーンについて取得されたいくつかの画像から由来する各部分を含むことを意味している。同じシーンのいくつかの画像にもとづいて一種の繋ぎ合わせた画像を生成することによって、迷光成分の少ない出力画像を生成することができる。

画像をいくつかの部分へと分割し、迷光成分の少ない部分を割り出し、割り出された部分を繋ぎ合わせることを、本方法がデジタルビデオカメラ１００と合わせて使用される場合には、カメラ１００のプロセッサ１０９によって実行することができる。すでに述べたように、出力画像を、カメラのＩ／Ｏポート１１１を使用してネットワーク１１２へと送り出すことができる。

本発明による方法の実施形態を、図３の部分拡大図である図５を参照して概略的に説明する。図５には、本方法の第５のステップ３０６が、実行されるステップ３０６の追加の特徴７０１を呈して示されている。

さらに、本方法の第５のステップ３０６において、生成すべき出力画像の第１の部分および第２の部分が選択される。上述したように、各部分をさまざまなやり方で選択することができ、例えば各部分を、先に生成された画素群を部分へと分割するための単純なメッシュを使用して選択することができ、あるいは各部分が、先に生成された迷光成分の相違に関するデータにもとづくことができる。さらに、部分は、ただ１つの画素群を含むことができ、あるいは部分を、取得されるシーンにもとづいて選択することができる。以下では、取得された複数の画像のうち、出力画像の第１の部分の生成に使用されるべきいくつかの画像からなる第１のサブセットが、迷光成分の相違に関するデータにもとづいて選択される。第１のサブセットの画像を、いくつかの条件にもとづいて選択することができる。一実施形態によれば、画像が、迷光成分の相違に関するデータにもとづいて選択され、迷光の推定レベルが特定の量を下回ると判断される画像が、第１の部分のために選択される。同様に、第１のサブセットの画像を、他の戦略を使用して選択することもできる。例えば、迷光成分が最も少ないと判断される所定の数の画像を選択することができ、あるいは迷光成分が最も多いと判断される所定の数の画像を破棄し、したがって第１のサブセットに使用しないようにすることができる。個別の部分について迷光のレベルが低い画像を選択することによって、出力画像の一部分の生成に適した第１のサブセットを選択することができる。

同様に、出力画像の第２の部分の生成に適した第２のサブセットを選択することができる。

当業者であれば、それぞれのサブセットに使用される画像を、本発明の考え方から外れることなく、迷光成分の相違に関するデータにもとづき、種々の戦略を使用して選択できることを、理解できるであろう。

さらに、当業者であれば、任意の数の部分およびサブセットを本発明の考え方から外れることなく使用できることを、理解できるであろう。

以下で、出力画像の第１の部分が、第１のサブセットの画像の対応する部分を使用し、第１の部分の対応する各々の画素の画素レベルの平均値を判定し、判定された平均値を第１の部分の対応する各々の画素についての出力値として使用することによって生成される。これを行なうことによって、第１の部分の各画素のＳＮＲを改善できる。したがって、画像の適切なサブセットを選択し、各画素について平均値を判定することによって、出力画像をさらに改善することができる。

出力画像を生成するために、決定されたすべての部分が、第１の部分に関して上述したように生成される。上述のように、任意の数の部分を、本発明の技術的範囲から離れることなく使用することができる。次いで、そのように生成された各部分をつなぎ合わせ、これらの前もって生成された各部分を含む合成出力画像が形成される。

迷光成分の相違に関するデータを明らかにする作業を、本方法がカメラ１００と併せて使用される場合には、カメラ１００のプロセッサ１０９によって行なうことができる。生成も、カメラ１００のプロセッサ１０９によって行なうことができる。次いで、生成される出力画像を、カメラのＩ／Ｏポート１１１によってネットワーク１１２へと送り出すことができる。

上述のように、それぞれのサブセットの画像を、本発明の技術的範囲から離れることなく、さまざまなやり方で選択することが可能である。

図面は、方法の各ステップについて特定の順序を示しているかもしれないが、各ステップの順序は、図示の順序とは違ってもよい。また、２つ以上のステップを同時に実行してもよく、あるいは部分的に同時に生じてもよい。そのような変種は、選択されたソフトウェアおよびハードウェアシステムに応じて決まり、あるいは設計者の選択に応じて決まると考えられる。そのような変種はすべて、本開示の技術的範囲に包含される。さらに、たとえ本発明が本発明のいくつかの具体的な例示の実施形態に関して説明されているにしても、多数のさまざまな変更および改良などが、当業者にとって明らかになるであろう。開示の実施形態の変種を、当業者であれば、請求項に記載の発明を実践する際に、図面、本明細書、および添付の特許請求の範囲を検討することによって、理解および生成できるであろう。さらに、請求項において、用語「・・・からなる」は、他の構成要素またはステップを排除するものではなく、不定冠詞「ａ」または「ａｎ」は、複数であることを排除するものではない。

１００ デジタルビデオカメラ
１０２ レンズアセンブリ
１０３ 開口ユニット
１０４ ハウジング
１０７ コントローラ
１０８ フォトセンサ
１０９ 処理ユニット／プロセッサ
１１０ メモリ
１１１ Ｉ／Ｏポート
１１２ ネットワーク
２０２ レンズアセンブリ
２０３ 開口ユニット
２０４ａ 開口ゲート
２０４ｂ 開口ゲート
２０５ 遮光領域
２０６ 透明領域
２０７ 透明領域
２０８ 遮光領域
２０９ 透明領域

Claims (13)

1. イメージセンサ（１０８）およびレンズアセンブリ（１０２、２０２）を備えており、前記レンズアセンブリ（１０２、２０２）が、光を前記イメージセンサ（１０８）へと集光するためのレンズと、開口面に配置された開口ゲート（２０４ａ、２０４ｂ）を有する開口ユニット（１０３、２０３）とを備えており、前記開口ゲート（２０４ａ、２０４ｂ）が、前記開口ユニットによって前記開口面内で調節可能な位置、形状、および／またはサイズを有しているカメラ（１００）を使用し、シーンの画像における迷光を特定するための方法（３００）であって、
   前記カメラ（１００）によって前記シーンの複数の画像を取得することであって、該複数の画像の各々の画像は、該複数の画像において固有の開口ゲート設定を使用して取得され、該固有の開口ゲート設定の各々は、前記開口面における前記開口ゲート（２０４ａ、２０４ｂ）の位置、形状、および／またはサイズの特有の組み合わせに対応している、取得すること（３０３）と、
   前記複数の画像の各々を、対応する画素群へと分割することと、
   前記複数の画像の各々の前記対応する画素群に含まれる画素について、平均画素レベルまたはコントラスト値を計算することと、
   前記複数の画像における迷光を特定するために、前記計算された平均画素レベルまたはコントラスト値を比較することと
   を含む方法。
2. シーンの出力画像における迷光を軽減するための方法（３００）であって、
   前記比較の結果として、請求項１に記載の方法によって迷光を特定することにより、対応する画素群における迷光成分の相違に関するデータを生成する、特定することと、
   前記迷光成分の相違に関するデータにもとづいて前記出力画像を生成すること（３０６）と
   を含む方法。
3. 前記生成すること（３０６）が、
   前記迷光成分の相違に関するデータにもとづいて、前記複数の固有の開口ゲート設定のうちの１つを選択することと、
   さらなる画像を取得するために、前記選択された固有の開口ゲート設定を使用することと、
   前記さらなる画像を前記出力画像として使用することと
   をさらに含む請求項２に記載の方法（３００）。
4. 前記生成すること（３０６）が、
   対応する各々の画素群について、前記複数の画像の中から、前記固有の開口ゲート設定のうちの１つを、前記取得された画像のうちで前記平均画素レベルが最低である画像または前記取得された画像のうちで前記コントラスト値が最高である画像はどれかを前記迷光成分の相違に関するデータにもとづいて判断することによって、選択することと、
   前記取得（３０３）において用いられた前記選択された開口ゲート設定のうちの少なくとも２つを組み合わせることによって、前記選択された開口ゲート設定にもとづいて合成開口ゲート設定を生成することと、
   さらなる画像を取得するために、前記合成開口ゲート設定を使用することと、
   前記さらなる画像を前記出力画像として使用することと
   をさらに含む請求項２に記載の方法（３００）。
5. 前記生成すること（３０６）が、
   前記迷光成分の相違に関するデータにもとづいて前記複数の画像のうちの１つを選択することと、
   前記選択された画像を前記出力画像として使用することと
   をさらに含む請求項２に記載の方法（３００）。
6. 前記選択することが、
   前記取得された画像について、全体としての平均画素レベルが最も低い画像または全体としてのコントラスト値が最も高い画像はどれかを前記迷光成分の相違に関するデータにもとづいて判定することによって、前記複数の画像のうちの１つを選択することと、
   前記判定された画像を選択することと
   をさらに含む請求項５に記載の方法。
7. 前記生成すること（３０６）が、
   前記複数の画像のうちの第１の画像の第１の部分および前記複数の画像のうちの第２の画像の第２の部分を、前記迷光成分の相違に関するデータにもとづいて決定することと、
   合成画像の少なくとも一部分を形成するために、前記決定された第１の部分および前記決定された第２の部分を繋ぎ合わせることと、
   前記合成画像を出力画像として使用することと
   をさらに含む請求項２に記載の方法（３００）。
8. 前記第１の画像の第１の部分および第２の画像の第２の部分を決定することが、
   前記複数の画像の各画像の対応する画素群について、前記取得された画像のうちのどれにおいて前記平均画素レベルが最低であるか、または前記取得された画像のうちのどれにおいて前記コントラスト値が最大であるかを、前記迷光成分の相違に関するデータにもとづいて判定することによって、画素群を選択することと、
   前記判定された画素群を選択することと
   を含む請求項７に記載の方法。
9. 前記生成すること（３０６）が、
   生成すべき出力画像について、少なくとも１つの画素群を含む第１の部分および第２の部分を選択することと、
   前記迷光成分の相違に関するデータにもとづき、前記複数の画像のうちの前記第１の部分の生成に使用すべき画像からなる第１のサブセットを、前記第１の部分に含まれる前記少なくとも１つの画素群の平均画素レベルが所定の平均画素レベルしきい値未満であり、あるいは前記第１の部分に含まれる前記少なくとも１つの画素群のコントラスト値が所定のコントラストしきい値を超えている前記取得された画像のうちの少なくとも２つの画像を含むように、選択することと、
   前記迷光成分の相違に関するデータにもとづき、前記複数の画像のうちの前記第２の部分の生成に使用すべき画像からなる第２のサブセットを、前記第２の部分に含まれる前記少なくとも１つの画素群の平均画素レベルが所定の平均画素レベルしきい値未満であり、あるいは前記第２の部分に含まれる前記少なくとも１つの画素群のコントラスト値が所定のコントラストしきい値を超えている前記取得された画像のうちの少なくとも２つの画像を含むように、選択することと、
   前記出力画像の前記第１の部分を、前記第１のサブセットの前記画像の対応する部分を使用して前記第１の部分の各画素について平均画素レベルを判定し、該判定された平均画素レベルを前記第１の部分の対応する各々の画素の出力値として使用することによって生成することと、
   前記出力画像の前記第２の部分を、前記第２のサブセットの前記画像の対応する部分を使用し、前記第２の部分の各画素について平均画素レベルを判定し、該判定された平均画素レベルを前記第２の部分の対応する各々の画素の出力値として使用することによって生成することと、
   合成画像を生成するために、前記生成された第１の部分および前記生成された第２の部分を繋ぎ合わせることと、
   前記合成画像を前記出力画像として使用することと
   をさらに含む請求項２に記載の方法（３００）。
10. 前記生成すること（３０６）が、
    生成すべき出力画像について、少なくとも１つの画素群を含む第１の部分および第２の部分を選択することと、
    前記迷光成分の相違に関するデータ、ならびに前記第１の部分に含まれる前記少なくとも１つの画素群についての前記平均画素レベルまたは前記コントラスト値の統計的な分析にもとづき、前記複数の画像のうちの前記第１の部分の生成に使用すべき画像からなる第１のサブセットを、少なくとも２つの画像を含むように選択することと、
    前記迷光成分の相違に関するデータ、ならびに前記第２の部分に含まれる前記少なくとも１つの画素群についての前記平均画素レベルまたは前記コントラスト値の統計的な分析にもとづき、前記複数の画像のうちの前記第２の部分の生成に使用すべき画像からなる第２のサブセットを、少なくとも２つの画像を含むように選択することと、
    前記出力画像の前記第１の部分を、前記第１のサブセットの前記画像の対応する部分を使用し、前記第１の部分の各画素について平均画素レベルを判定し、該判定された平均画素レベルを前記第１の部分の対応する各々の画素の出力値として使用することによって生成することと、
    前記出力画像の前記第２の部分を、前記第２のサブセットの前記画像の対応する部分を使用し、前記第２の部分の各画素について平均画素レベルを判定し、該判定された平均画素レベルを前記第２の部分の対応する各々の画素の出力値として使用することによって生成することと、
    合成画像を生成するために、前記生成された第１の部分および前記生成された第２の部分を繋ぎ合わせることと、
    前記合成画像を前記出力画像として使用することと
    をさらに含む請求項２に記載の方法（３００）。
11. 前記生成すること（３０６）が、
    生成すべき出力画像について、少なくとも１つの画素群を含む第１の部分および第２の部分を選択することと、
    前記迷光成分の相違に関するデータにもとづき、前記複数の画像のうちの前記第１の部分の生成に使用すべき画像からなる第１のサブセットを、前記取得された画像のうちで前記第１の部分に含まれる前記少なくとも１つの画素群についての平均画素レベルが最も低く、あるいはコントラスト値が最も高い所定の数の画像を含むように選択することと、
    前記迷光成分の相違に関するデータにもとづき、前記複数の画像のうちの前記第２の部分の生成に使用すべき画像からなる第２のサブセットを、前記取得された画像のうちで前記第２の部分に含まれる前記少なくとも１つの画素群についての平均画素レベルが最も低く、あるいはコントラスト値が最も高い所定の数の画像を含むように選択することと、
    前記出力画像の前記第１の部分を、前記第１のサブセットの前記画像の対応する部分を使用して前記第１の部分の各画素について平均画素レベルを判定し、該判定された平均画素レベルを前記第１の部分の対応する各々の画素の出力値として使用することによって生成することと、
    前記出力画像の前記第２の部分を、前記第２のサブセットの前記画像の対応する部分を使用して前記第２の部分の各画素について平均画素レベルを判定し、該判定された平均画素レベルを前記第２の部分の対応する各々の画素の出力値として使用することによって生成することと、
    合成画像を生成するために、前記生成された第１の部分および前記生成された第２の部分を繋ぎ合わせることと、
    前記合成画像を前記出力画像として使用することと
    をさらに含む請求項２に記載の方法（３００）。
12. イメージセンサ（１０８）と、
    光を前記イメージセンサ（１０８）へと集光するためのレンズと、開口面に配置された開口ゲート（２０４ａ、２０４ｂ）を有している開口ユニット（１０３、２０３）とを備えており、前記開口ゲート（２０４ａ、２０４ｂ）が、前記開口ユニットによって前記開口面において調節することができる位置、形状、および／またはサイズを有しているレンズアセンブリ（１０２、２０２）と、
    請求項１〜１１のいずれか一項に記載の方法を実行するように構成された処理ユニット（１０９）と
    を備えているカメラ（１００）。
13. イメージセンサ（１０８）と、レンズアセンブリ（１０２、２０２）とを備えており、前記レンズアセンブリ（１０２、２０２）が、光を前記イメージセンサ（１０８）へと集光するためのレンズと、開口面に配置された開口ゲート（２０４ａ、２０４ｂ）を有している開口ユニット（１０３、２０３）とを備えており、前記開口ゲート（２０４ａ、２０４ｂ）が、前記開口ユニットによって前記開口面において調節することができる位置、形状、および／またはサイズを有しているカメラ（１００）と、
    請求項１〜１１のいずれか一項に記載の方法を実行するように構成された処理ユニットと
    を備えているシステム。

Images