JP2021106381A5 - - Google Patents

Claims (15)

1. 高ダイナミックレンジイメージングのための方法であって、
   第１の画像センサ（１０６）および第１の露光時間を使用して第１の画像データ（Ｌ）を取り込む（２０２）ことであって、前記第１の画像データ（Ｌ）は、ローリングシャッターを使用して取り込まれ、それにより、前記第１の画像データ内の異なるライン（３０４ａ、３０６ａ）は異なる第１の取り込み時間に取り込まれる、取り込む（２０２）こと、
   １つまたは複数の第２の画像センサ（１０８、１１０）、および、前記第１の露光時間より短い１つまたは複数の第２の露光時間を使用して、第２の画像データの２つ以上のインスタンス（Ｓ１、Ｓ２）を取り込む（２０２）こと、ここで
   第２の画像データの前記２つ以上のインスタンス（Ｓ１、Ｓ２）は、ローリングシャッターを使用して取り込まれ、それにより、第２の画像データの各インスタンス内の異なるライン（３０４ｂ、３０６ｂ、３０４ｃ、３０６ｃ）は異なる第２の取り込み時間に取り込まれ、
   第２の画像データの前記２つ以上のインスタンス（Ｓ１、Ｓ２）は、前記第１の画像データ（Ｌ）と少なくとも部分的にオーバーラップし、
   前記第１の画像データ（Ｌ）のライン（３０４ａ）は、第２の画像データの各インスタンス（Ｓ１、Ｓ２）内で空間的に対応するライン（３０４ｂ、３０４ｃ）を有し、第２の画像データの異なるインスタンス内の前記空間的に対応するライン（３０４ｂ、３０４ｃ）は、異なる第２の取り込み時間（ｔＳ１、ｔＳ２）に取り込まれ、および、
   前記第１の画像データ（Ｌ）内のライン（３０４ａ）について、高ダイナミックレンジ画像を生成するために前記第１の画像データ内の前記ラインとマージされる前記空間的に対応するライン（３０４ｂ）を、第２の画像データの前記インスタンス（Ｓ１）であって、前記インスタンス（Ｓ１）の第２の取り込み時間（ｔＳ１）が前記第１の取り込み時間（ｔＬ１）に最も近い前記インスタンス（Ｓ１）から選択する（２０４）こと
   を含む、方法。
2. 前記第２の露光時間は、第２の画像データの異なるインスタンス（Ｓ１、Ｓ２）について異なる、請求項１に記載の方法。
3. 第２の画像データの前記２つ以上のインスタンス（Ｓ１、Ｓ２）は２つ以上の第２の画像センサ（１０８、１１０）を使用して取り込まれ、前記第２の露光時間および前記第２の取り込み時間の少なくとも一方は、前記２つ以上の第２の画像センサ（１０８、１１０）の間で異なる、請求項１または２に記載の方法。
4. 前記２つ以上の画像センサ（１０８、１１０）によって取り込まれる第２の画像データのインスタンス（Ｓ１、Ｓ２）は少なくとも部分的にオーバーラップする、請求項３に記載の方法。
5. 前記第１および前記第２の取り込み時間（ｔＬ１、ｔＳ１、ｔＳ２）は、ラインのリセットおよびラインの読み取りの１つ以上に関して決定される、請求項１～４のいずれか一項に記載の方法。
6. 前記第１の画像センサ（１０６）および前記１つまたは複数の第２の画像センサ（１０８、１１０）は異なるライン時間を有する、請求項１～５のいずれか一項に記載の方法。
7. 前記第２の画像センサ（１０８、１１０）は異なるライン時間を有する、請求項３～６のいずれか一項に記載の方法。
8. 選択することは、
   前記第１の画像データの１つのラインについて、第２の画像データの２つのインスタンスであって、前記２つのインスタンスの第２の取り込み時間が前記第１の取り込み時間に最も近い前記２つのインスタンスから、２つの空間的に対応するラインを選択することを含み、選択された前記２つのラインは、高ダイナミックレンジ画像を生成するときに、前記第１の画像データ内の前記ラインとマージされる、請求項１～７のいずれか一項に記載の方法。
9. 前記高ダイナミックレンジ画像の生成において使用される重みを、前記選択された２つの空間的に対応するラインのうちの各選択されたラインに割り当てることをさらに含む、請求項８に記載の方法。
10. 前記第１の露光時間、前記第１の取り込み時間、前記第２の露光時間、および前記第２の取り込み時間は、ユーザー入力に応答して選択される、請求項１～９のいずれか一項に記載の方法。
11. 前記第１の画像データ（Ｌ）内の各ライン（３０４ａ、３０６ａ）について、高ダイナミックレンジ画像を生成するために前記第１の画像データ内の前記ラインとマージされる前記空間的に対応するライン（３０４ｂ、３０６ｃ）を、第２の画像データの前記インスタンスであって、前記インスタンスの第２の取り込み時間が前記第１の取り込み時間に最も近い前記インスタンスから選択することを含む、請求項１～１０のいずれか一項に記載の方法。
12. 前記第１の画像データ（Ｌ）内の関心領域に関する入力を受信することをさらに含み、前記関心領域と交差する前記第１の画像データ（Ｌ）内の各ラインについて、第２の画像データの同じインスタンス（Ｓ１、Ｓ２）からの空間的に対応するラインが選択される、請求項１～１０のいずれか一項に記載の方法。
13. 高ダイナミックレンジイメージングのためのシステムであって、当該システムは、
    メモリと、
    プロセッサと
    を備え、
    前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、
    第１の画像センサ（１０６）および第１の露光時間を使用して第１の画像データ（Ｌ）を取り込むことであって、前記第１の画像データ（Ｌ）は、ローリングシャッターを使用して取り込まれ、それにより、前記第１の画像データ内の異なるライン（３０４ａ、３０６ａ）は異なる第１の取り込み時間に取り込まれる、取り込むこと、
    １つまたは複数の第２の画像センサ（１０８、１１０）、および、前記第１の露光時間より短い１つまたは複数の第２の露光時間を使用して、第２の画像データの２つ以上のインスタンス（Ｓ１、Ｓ２）を取り込むこと、ここで
    第２の画像データの前記２つ以上のインスタンス（Ｓ１、Ｓ２）は、ローリングシャッターを使用して取り込まれ、それにより、第２の画像データの各インスタンス内の異なるライン（３０４ｂ、３０６ｂ、３０４ｃ、３０６ｃ）は異なる第２の取り込み時間に取り込まれ、
    第２の画像データの前記２つ以上のインスタンス（Ｓ１、Ｓ２）は、前記第１の画像データ（Ｌ）と少なくとも部分的にオーバーラップし、
    前記第１の画像データ（Ｌ）のライン（３０４ａ）は、第２の画像データの各インスタンス（Ｓ１、Ｓ２）内で空間的に対応するライン（３０４ｂ、３０４ｃ）を有し、第２の画像データの異なるインスタンス内の前記空間的に対応するライン（３０４ｂ、３０４ｃ）は、異なる第２の取り込み時間（ｔＳ１、ｔＳ２）に取り込まれ、および、
    前記第１の画像データ（Ｌ）内のライン（３０４ａ）について、高ダイナミックレンジ画像を生成するために前記第１の画像データ内の前記ラインとマージされる前記空間的に対応するライン（３０４ｂ）を、第２の画像データの前記インスタンス（Ｓ１）であって、前記インスタンス（Ｓ１）の第２の取り込み時間（ｔＳ１）が前記第１の取り込み時間（ｔＬ１）に最も近い前記インスタンス（Ｓ１）から選択する（２０４）こと
    を含む方法を前記プロセッサに実施させる、システム。
14. 高ダイナミックレンジイメージングのためのシステムを含むカメラであって、当該カメラは、
    メモリと、
    プロセッサと
    を備え、
    前記メモリは命令を含み、前記命令は、前記プロセッサによって実行されると、
    第１の画像センサ（１０６）および第１の露光時間を使用して第１の画像データ（Ｌ）を取り込むことであって、前記第１の画像データ（Ｌ）は、ローリングシャッターを使用して取り込まれ、それにより、前記第１の画像データ内の異なるライン（３０４ａ、３０６ａ）は異なる第１の取り込み時間に取り込まれる、取り込むこと、
    １つまたは複数の第２の画像センサ（１０８、１１０）、および、前記第１の露光時間より短い１つまたは複数の第２の露光時間を使用して、第２の画像データの２つ以上のインスタンス（Ｓ１、Ｓ２）を取り込むこと、ここで
    第２の画像データの前記２つ以上のインスタンス（Ｓ１、Ｓ２）は、ローリングシャッターを使用して取り込まれ、それにより、第２の画像データの各インスタンス内の異なるライン（３０４ｂ、３０６ｂ、３０４ｃ、３０６ｃ）は異なる第２の取り込み時間に取り込まれ、
    第２の画像データの前記２つ以上のインスタンス（Ｓ１、Ｓ２）は、前記第１の画像データ（Ｌ）と少なくとも部分的にオーバーラップし、
    前記第１の画像データ（Ｌ）のライン（３０４ａ）は、第２の画像データの各インスタンス（Ｓ１、Ｓ２）内で空間的に対応するライン（３０４ｂ、３０４ｃ）を有し、第２の画像データの異なるインスタンス内の前記空間的に対応するライン（３０４ｂ、３０４ｃ）は、異なる第２の取り込み時間（ｔＳ１、ｔＳ２）に取り込まれ、および、
    前記第１の画像データ（Ｌ）内のライン（３０４ａ）について、高ダイナミックレンジ画像を生成するために前記第１の画像データ内の前記ラインとマージされる前記空間的に対応するライン（３０４ｂ）を、第２の画像データの前記インスタンス（Ｓ１）であって、前記インスタンス（Ｓ１）の第２の取り込み時間（ｔＳ１）が前記第１の取り込み時間（ｔＬ１）に最も近い前記インスタンス（Ｓ１）から選択する（２０４）こと
    を含む方法を前記プロセッサに実施させる、カメラ。
15. 非一時的コンピュータ可読記憶媒体であって、当該非一時的コンピュータ可読記憶媒体は、それにより具現化されるプログラム命令を有し、前記プログラム命令は、
    第１の画像センサ（１０６）および第１の露光時間を使用して第１の画像データ（Ｌ）を取り込むことであって、前記第１の画像データ（Ｌ）は、ローリングシャッターを使用して取り込まれ、それにより、前記第１の画像データ内の異なるライン（３０４ａ、３０６ａ）は異なる第１の取り込み時間に取り込まれる、取り込むこと、
    １つまたは複数の第２の画像センサ（１０８、１１０）、および、前記第１の露光時間より短い１つまたは複数の第２の露光時間を使用して、第２の画像データの２つ以上のインスタンス（Ｓ１、Ｓ２）を取り込むこと、ここで
    第２の画像データの前記２つ以上のインスタンス（Ｓ１、Ｓ２）は、ローリングシャッターを使用して取り込まれ、それにより、第２の画像データの各インスタンス内の異なるライン（３０４ｂ、３０６ｂ、３０４ｃ、３０６ｃ）は異なる第２の取り込み時間に取り込まれ、
    第２の画像データの前記２つ以上のインスタンス（Ｓ１、Ｓ２）は、前記第１の画像データ（Ｌ）と少なくとも部分的にオーバーラップし、
    前記第１の画像データ（Ｌ）のライン（３０４ａ）は、第２の画像データの各インスタンス（Ｓ１、Ｓ２）内で空間的に対応するライン（３０４ｂ、３０４ｃ）を有し、第２の画像データの異なるインスタンス内の前記空間的に対応するライン（３０４ｂ、３０４ｃ）は、異なる第２の取り込み時間（ｔＳ１、ｔＳ２）に取り込まれ、および、
    前記第１の画像データ内のライン（３０４ａ）について、高ダイナミックレンジ画像を生成するために前記第１の画像データ内の前記ラインとマージされる前記空間的に対応するライン（３０４ｂ）を、第２の画像データの前記インスタンス（Ｓ１）であって、前記インスタンス（Ｓ１）の第２の取り込み時間（ｔＳ１）が前記第１の取り込み時間（ｔＬ１）に最も近い前記インスタンス（Ｓ１）から選択すること
    を含む方法を実施するためにプロセッサによって実行可能である、非一時的コンピュータ可読記憶媒体。