JP2023091707A - 画像処理方法および画像処理システム - Google Patents

Abstract

【課題】鮮明な画像を生成することができる画像処理方法および画像処理システムを提供する。【解決手段】画像処理方法は、表示画面の下方のカメラを用いて第１の画像を得るステップ、第１の画像の第１のサブ画像を判定し、第１の画像から第１の深さを有する第１のサブ画像を撮像するステップ、表示画面の下方のカメラを用いて第２の画像を得るステップ及び第２の画像の第２のサブ画像を判定し、第２の画像から第２の深さを有する第２のサブ画像を撮像するステップを含む。方法はさらに、第１のサブ画像と第２のサブ画像を重畳するステップ及び第１のサブ画像と第２のサブ画像を重畳した後、重畳画像を生成するステップを含む。第１の深さは第２の深さと異なる。【選択図】図７Ａ

Description

本発明は、画像処理方法および画像処理システムに関するものであり、特に、鮮明な画像を生成することができる画像処理方法および画像処理システムに関するものである。

表示画面の下方に配置されたカメラは、透明ディスプレイ、画像処理、およびカメラ設計技術を統合する必要がある。しかしながら、カメラの前にディスプレイ画面を配置すると、ヘイズ、グレア、および色かぶりなどの深刻な問題が生じる。

表示画面の周期的スリット構造は、光が画面を通過するときに回折と干渉を引き起こし、これらは、画像がオーバーレイされてぼやけることになる。さらに、撮影されたオブジェクトがカメラから遠く離れている場合、回折現象がより顕著になり、オブジェクトの画像がよりぼやけたものになる。

従って、鮮明な画像を生成することができる表示画面の下方の画像処理方法および画像処理システムが求められている。

鮮明な画像を生成することができる画像処理方法および画像処理システムを提供する。

本発明の実施形態は、表示画面の下方のカメラを用いて第１の画像を得るステップ、プロセッサを用いて第１の画像を処理するステップ、表示画面の下方のカメラを用いて第２の画像を得るステップ、プロセッサを用いて第２の画像を処理するステップ、および第１のサブ画像と第２のサブ画像を重畳した後、重畳画像を生成するステップを含む画像処理方法を提供する。プロセッサを用いて第１の画像を処理するステップは、第１の画像の第１のサブ画像を判定し、第１の画像から、第１の深さを有する第１の画像のサブ画像である第１のサブ画像を撮像するステップを含む。プロセッサを用いて第２の画像を処理するステップは、第２の画像の第２のサブ画像を判定し、第２の画像から、第２の深さを有する第２の画像のサブ画像である第２のサブ画像を撮像し、第１のサブ画像と第２のサブ画像を重畳するステップを含む。第１の深さは第２の深さと異なる。

いくつかの実施形態では、第１のサブ画像を判定するステップは、二層レンズアレイＣＩＳを用いて、第１の画像の位置情報および方向情報を得るステップ、第１の画像の複数のサブ画像の複数の深さを判定するステップ、および第１の深さを選び、第１のサブ画像を得るステップを含む。第２のサブ画像を判定するステップは、二層レンズアレイＣＩＳを用いて、第２の画像の位置情報および方向情報を得るステップ、第２の画像の複数のサブ画像の複数の深さを判定するステップ、および第２の深さを選び、第２のサブ画像を得るステップを含む。いくつかの実施形態では、画像処理方法は、第１のサブ画像と前記第２のサブ画像を重畳する前に、ユーザによって第１のサブ画像および第２のサブ画像を選択するステップ、および重畳画像が生成された後、重畳画像を出力するステップをさらに含む。いくつかの実施形態では、画像処理方法は、プロセッサを用いて重畳画像の鮮明さを判定するステップをさらに含む。いくつかの実施形態では、画像処理方法は、重畳画像が鮮明であるという判定に応じて、重畳画像を出力するステップをさらに含む。いくつかの実施形態では、画像処理方法は、重畳画像が鮮明でないという判定に応じて、表示画面の下方のカメラを用いて第３の画像を得るステップをさらに含む。いくつかの実施形態では、画像処理方法は、プロセッサを用いて第３の画像を処理するステップをさらに含む。プロセッサを用いて第３の画像を処理するステップは、第３の画像の第３のサブ画像を判定し、プロセッサを用いて第３の画像から、第1の深さおよび第２の深さと異なる第３の深さを有する第３のサブ画像を撮像するステップを含む。いくつかの実施形態では、重畳するステップは、第１のサブ画像、第２のサブ画像、および第３のサブ画像を重畳するステップを含む。いくつかの実施形態では、第３の深さは、第１の深さと第２の深さの間である。

さらに、本発明の実施形態は、表示画面、二層レンズアレイＣＩＳ、およびプロセッサを含む画像処理システムを提供する。二層レンズアレイＣＩＳは、表示画面の下方に配置され、第１の光および第２の光を受光するように構成される。第１の光の受光に応じて、二層レンズアレイＣＩＳは、第１の画像を生成する。第２の光の受光に応じて、二層レンズアレイＣＩＳは、第２の画像を生成する。プロセッサは、第１の画像の第１のサブ画像と第２の画像の第２のサブ画像を重畳して、重畳画像を生成するように構成される。第１のサブ画像は、第１の深さを有する第１の画像のサブ画像である。第２のサブ画像は、第２の深さを有する第２の画像のサブ画像である。第１の深さは第２の深さと異なる。

いくつかの実施形態では、二層レンズアレイＣＩＳは、第１の層レンズアレイ、第２の層レンズアレイ、およびセンサを含む。第１の層レンズアレイは、複数の第１の層レンズを含む。第２の層レンズアレイは、第１の層レンズアレイの上方に配置され、複数の第２の層レンズを含む。センサは複数の画素を含む。第１の層レンズのそれぞれのサイズは、画素のそれぞれのサイズと等しい。第２の層レンズのそれぞれのサイズは、画素のそれぞれのサイズの３倍以上である。いくつかの実施形態では、第１の光および第２の光は、表示画面、第２の層レンズアレイ、および第１の層レンズアレイを通過し、次いでセンサに到達する。第２の層レンズのそれぞれの面積は、センサの感知面積の３０％以下である。いくつかの実施形態では、第１の層レンズアレイと第２の層レンズアレイとの間の配置は、三角形配置、長方形配置、六角形配置、または多角形配置であり得る。いくつかの実施形態では、第１のサブ画像は、プロセッサによって第１の画像から撮像され、第２の画像から撮像された第２のサブ画像は、プロセッサによって撮像され、重畳される。重畳画像の鮮明さはプロセッサによって判定される。いくつかの実施形態では、二層レンズアレイＣＩＳは、重畳画像が鮮明でないという判定に応じて、第３の光を受光する。第３の光を受光することに応じて、二層レンズアレイＣＩＳは第３の画像を生成する。プロセッサは、第１のサブ画像、第２のサブ画像、および第３の画像の第３のサブ画像を重畳して、重畳画像を生成するように構成される。第３のサブ画像は、第３の深さを有する第３の画像のサブ画像である。第３の深さは第１の深さと第２の深さと異なる。いくつかの実施形態では、表示画面は、重畳画像が鮮明であるという判定に応じて重畳画像を出力する。いくつかの実施形態では、第３の深さは、第１の深さと第２の深さの間にある。いくつかの実施形態では、重畳するための第１のサブ画像および第２のサブ画像は、ユーザによって選択される。表示画面は重畳画像を出力する。いくつかの実施形態では、第１のオブジェクトの画像は第１の画像で鮮明であり、第２のオブジェクトの画像は第２の画像で鮮明である。第１のオブジェクトの画像は、第２の画像では鮮明でなく、第２のオブジェクトの画像は、第１の画像では鮮明でない。第１のオブジェクトは、画像処理システムから離れた第１の深さである。第２のオブジェクトは、画像処理システムから離れた第２の深さである。

本発明によれば、鮮明な重畳画像を生成できる。

図１は、本開示のいくつかの実施形態による、画像処理システムおよび第１のオブジェクト、第２のオブジェクト、および第３のオブジェクトの概略図を示している。 図２は、本開示のいくつかの実施形態による、二層レンズアレイＣＩＳの概略図を示している。 図３Ａは、本開示のいくつかの実施形態による、第１の層レンズアレイおよび第２の層レンズアレイの概略図を示している。 図３Ｂは、本開示のいくつかの実施形態による、第１の層レンズアレイおよび第２の層レンズアレイの概略図を示している。 図３Ｃは、本開示のいくつかの実施形態による、第１の層レンズアレイおよび第２の層レンズアレイの概略図を示している。 図４Ａは、本開示のいくつかの実施形態による、第１の画像、第２の画像、および第３の画像の概略図を示している。 図４Ｂは、本開示のいくつかの実施形態による、第１の画像、第２の画像、および第３の画像の概略図を示している。 図４Ｃは、本開示のいくつかの実施形態による、第１の画像、第２の画像、および第３の画像の概略図を示している。 図５Ａは、本開示のいくつかの実施形態による、画像処理の概略図を示している。 図５Ｂは、本開示のいくつかの実施形態による、画像処理の概略図を示している。 図５Ｃは、本開示のいくつかの実施形態による、画像処理の概略図を示している。 本開示のいくつかの実施形態による、第１のサブ画像、第２のサブ画像、および第３のサブ画像を重畳する概略図を示している。 図７Ａは、本開示のいくつかの実施形態による、画像処理方法のフローチャートを示している。 図７Ｂは、本開示のいくつかの実施形態による、画像処理方法のフローチャートを示している。 図８Ａは、本開示のいくつかの実施形態による、もう１つの画像処理方法のフローチャートを示している。 図８Ｂは、本開示のいくつかの実施形態による、もう１つの画像処理方法のフローチャートを示している。

次の開示では、異なる特徴を実施するために、多くの異なる実施形態または実施例を提供する。本開示を簡潔に説明するために、複数の要素および複数の配列の特定の実施形態が以下に述べられる。例えば、下記の開示において、第１の特徴が第２の特徴の上（または「上（ｏｎ）」または「上方（ｏｖｅｒ）」）に形成されるということは、第１と第２の特徴が直接接触して形成される複数の実施形態を含むことができ、且つ第１と第２の特徴が直接接触しないように、付加的な特徴が第１と第２の特徴間に形成される複数の実施形態を含むこともできる。

また、本開示は、複数の例において同じ構成要素の符号または文字を繰り返し用いる可能性がある。繰り返し用いる目的は、簡易化した、明確な説明を提供するためのもので、説明される様々な実施形態および／または構成の関係を限定するものではない。また、図の形状、サイズ、または厚さは、説明を明確にするために縮尺通りに描かれない、または簡素化される可能性もある。

図１に示すように、本開示のいくつかの実施形態による、画像処理システム１００および第１のオブジェクトＯ１、第２のオブジェクトＯ２、および第３のオブジェクトＯ３の概略図を示している。画像処理システム１００は、スマートフォン、タブレット、ラップトップなどの電子機器に搭載されることができる。画像処理システム１００は、表示画面１０、二層レンズアレイＣＩＳ２０、およびプロセッサ３０を含み得る。

二層レンズアレイＣＩＳ２０およびプロセッサ３０は、総称してカメラと呼ばれることがある。二層レンズアレイＣＩＳ２０（またはカメラ）は、表示画面１０の下方（ｂｅｌｏｗ）または下（ｕｎｄｅｒ）に配置されることができる。プロセッサ３０は、二層レンズアレイＣＩＳ２０に電気的に接続されることができ、その接続は、二層レンズアレイＣＩＳ２０とプロセッサ３０を接続する線によって示されている。

いくつかの実施形態では、画像処理システム１００は、画像処理システム１００に入射する光のプレノプティック関数（ＰＯＦ）を得ることができるライトフィールドカメラであり得る。いくつかの実施形態では、画像処理システム１００は、異なる波長を有する入射光に対する４Ｄプレノプティック関数（ＰＯＦ）を得ることができるライトフィールドカメラであり得る。

４Ｄプレノプティック関数は、平面座標および入射光の方向を含み得る。いくつかの実施形態では、平面座標は、第１のオブジェクトＯ１、第２のオブジェクトＯ２、および第３のオブジェクトＯ３のＸおよびＹ座標であり、それらは、位置情報と呼ばれ得る。いくつかの実施形態では、画像処理システム１００に関する第１のオブジェクトＯ１、第２のオブジェクトＯ２、および第３のオブジェクトＯ３の水平角および垂直角であり、これらは方向情報と呼ばれ得る。換言すれば、画像処理システム１００は、第１のオブジェクトＯ１、第２のオブジェクトＯ２、および第３のオブジェクトＯ３から入射する光のプレノプティック関数を得ることができる。

図１に示されるように、第１のオブジェクトＯ１は、画像処理システム１００から離れている。画像処理システム１００と第１のオブジェクトＯ１との間の距離は、第１の深さＤ１である。画像処理システム１００と第２のオブジェクトＯ２との間の距離は、第２の深さＤ２である。画像処理システム１００と第３のオブジェクトＯ３との間の距離は、第３の深さＤ３である。いくつかの実施形態では、第１の深さＤ１は、第２の深さＤ２とは異なる。いくつかの実施形態では、第３の深さＤ３は、第１の深さＤ１または第２の深さＤ２とは異なる。いくつかの実施形態では、第３の深さＤ３は、第１の深さＤ１と第２の深さＤ２との間にある。

図１に示されるように、第１の光Ｌ１は、第１のオブジェクトＯ１から画像処理システム１００に入射し； 第２の光Ｌ２は、第２のオブジェクトＯ２から画像処理システム１００に入射し； 第３の光Ｌ３は、第３のオブジェクトＯ３から画像処理システム１００に入射する。

画像処理システム１００は、第１の光Ｌ１を受光し、第１のオブジェクトＯ１の位置情報および方向情報を得ることができる。画像処理システム１００は、第２の光Ｌ２を受光し、第２のオブジェクトＯ２の位置情報および方向情報を得ることができる。画像処理システム１００は、第３１の光Ｌ３を受光し、第３のオブジェクトＯ３の位置情報および方向情報を得ることができる。

図２に示すように、図２は、本開示のいくつかの実施形態による、二層レンズアレイＣＩＳ２０の概略図を示している。二層レンズアレイＣＩＳ２０は、第１の層レンズアレイ２１、第２の層レンズアレイ２２、センサ２３、および中間層２４を含み得る。第２の層レンズアレイ２２は、第１の層レンズアレイ２１の上方に配置され、センサ２３は、第１の層レンズアレイ２１の下方に配置される。換言すれば、第１の層レンズアレイ２１は、第２の層レンズアレイ２２とセンサ２３との間に配置される。中間層２４は、第１の層レンズアレイ２１と第２の層レンズアレイ２２との間に配置される。

図２に示されるように、いくつかの実施形態では、第１の光Ｌ１、第２の光Ｌ２、および第３の光Ｌ３は、表示画面１０、第２の層レンズアレイ２２、中間層２４、および第１の層レンズアレイ２１を順次に通過し、次いでセンサ２３に到達する。

図３Ａ、図３Ｂ、および図３Ｃに示すように、図３Ａ、図３Ｂ、および図３Ｃは、本開示のいくつかの実施形態による、第１の層レンズアレイ２１および第２の層レンズアレイ２２の概略図を示している。１つの第２の層レンズ２２１のみが図２に示されているが、第２の層レンズアレイ２２が複数の第２の層レンズ２２１を含んでもよい（図３Ａ、図３Ｂ、および図３Ｃを参照されたい）。図２、図３Ａ、図３Ｂ、および図３Ｃに示すように、第１層レンズアレイ２１は、複数の第１層レンズ２１１を含み得る。第２の層レンズ２２１のサイズは、第１の層レンズ２１１のサイズより大きい。いくつかの実施形態では、第２の層レンズ２２１のサイズは、第１の層レンズ２１１のサイズの３倍以上である。しかしながら、いくつかの実施形態では、第２の層レンズ２２１のそれぞれの面積は、センサ２３の感知面積の３０％以下である（または以上でない）。センサ２３の感知領域は、光（または画像）を感知することができるセンサ２３の総面積として定義され得る。

図３Ａ、図３Ｂ、および図３Ｃは、第１の層レンズアレイ２１と第２の層レンズアレイ２２との間の配置のいくつかの例示的な実施形態を示している。図３Ａ、図３Ｂ、および図３Ｃに示されるように、１つの第２の層レンズ２２１は、いくつかの第１の層レンズ２１１に対応し得る。第１の層レンズアレイ２１と第２の層レンズアレイ２２との間の配置は、三角形配置（図３Ａ）、長方形配置（図３Ｂ）、六角形配置（図３Ｃ）、または多角形配置（図示せず）であり得る。

図２に示されるように、センサ２３は、複数の画素２３１を含み得る。いくつかの実施形態では、画素２３１のそれぞれのサイズは、第１の層レンズ２１１のそれぞれのサイズと等しい。

さらに、いくつかの実施形態では、中間層２４の屈折率は、１以上であり得、中間層２４の屈折率は、第１の層レンズアレイ２１の屈折率以下であり得る。いくつかの実施形態では、中間層２４の屈折率は１以上であり得、中間層２４の屈折率は第２の層レンズアレイ２２の屈折率以下であり得る。

いくつかの実施形態では、第１の層レンズアレイ２１の屈折率は、第２の層レンズアレイ２２の屈折率と等しくてもよい。いくつかの実施形態では、第１の層レンズアレイ２１の屈折率は、第２の層レンズアレイ２２の屈折率と等しくなくてもよい。

上記の構成により、二層レンズアレイＣＩＳ２０は、画像処理システム１００が、異なる波長の入射光の４Ｄプレノプティック関数（ＰＯＦ）を得るようにすることができる。

図４Ａ、図４Ｂ、および図４Ｃに示すように、これらは本開示のいくつかの実施形態による、第１の画像ＩＭ１、第２の画像ＩＭ２、および第３の画像ＩＭ３の概略図を示している。画像処理装置１００は、異なる深さに焦点を合わせた画像処理装置１００で複数の写真を撮影することできる。図４Ａ、図４Ｂ、および図４Ｃに示された実施形態では、画像処理システム１００は、３つの写真を撮影することができ、これは、第１の画像ＩＭ１、第２の画像ＩＭ２、および第３の画像ＩＭ３であり得る。

図４Ａは、第１の画像ＩＭ１が、第１の深さＤ１に焦点を合わせている画像処理システム１００によって得られることを示している。具体的には、第１の画像ＩＭ１は、第１の光Ｌ１を受光している二層レンズアレイＣＩＳ２０に応じて、二層レンズアレイＣＩＳ２０によって生成される。第１のオブジェクトＯ１は、第１の深さＤ１で画像処理システム１００から離れており、第１の画像ＩＭ１は、第１の深さＤ１に焦点を合わせている画像処理システム１００によって得られているため、第１の画像ＩＭ１の第１のオブジェクトＯ１は鮮明である。

図５Ａ、図５Ｂ、および図５Ｃに示すように、本開示のいくつかの実施形態による、画像処理の概略図を示している。画像処理システム１００によって得られた画像は、フィルタ関数ＦＦによって処理され得る。フィルタ関数ＦＦは、異なる深さで画像を処理する複数のフィルタ関数を含むことができ、次いで、サブ画像が生成される。いくつかの実施形態では、フィルタ関数ＦＦは、第１の深さのフィルタ関数ＦＦ１、第２の深さのフィルタ関数ＦＦ２、および第３の深さのフィルタ関数ＦＦ３を含み得る。第１の深さフィルタ関数ＦＦ１は、第１の深さＤ１で得られた画像を処理するためのものであり、第２の深さフィルタ関数ＦＦ２は、第２の深さＤ２で得られた画像を処理するためのものであり、第３の深さフィルタ関数ＦＦ３は、第３の深さＤ３で得られた画像を処理するためのものである。

図５Ａでは、第１の画像ＩＭ１は、第１の深さフィルタ関数ＦＦ１によって処理される。第１の深さフィルタ関数ＦＦ１は、第１の深さＤ１にない画像をフィルタリングし、第１のサブ画像ＳＩＭ１が残存する。第１のサブ画像ＳＩＭ１は、第１の画像ＩＭ１で鮮明であり、第１のオブジェクトＯ１の画像は、第１の画像ＩＭ１で鮮明であるため、第１のサブ画像ＳＩＭ１、第１のオブジェクトＯ１の画像を含む。即ち、第１の画像ＩＭ１で鮮明でない画像（第２のオブジェクトＯ２および第３のオブジェクトＯ３の画像など）はフィルタリングされる。

図４Ｂは、第２の画像ＩＭ２が、第２の深さＤ２に焦点を合わせている画像処理システム１００によって得られることを示している。具体的には、第２の画像ＩＭ２は、第２の光Ｌ２を受光している二層レンズアレイＣＩＳ２０に応じて、二層レンズアレイＣＩＳ２０によって生成される。第２のオブジェクトＯ２は、第２の深さＤ２で画像処理システム１００から離れており、第２の画像ＩＭ２は、第２の深さＤ２に焦点を合わせている画像処理システム１００によって得られているため、第２の画像ＩＭ２の第２のオブジェクトＯ２は鮮明である。

図５Ｂでは、第２の画像ＩＭ２は、第２の深さフィルタ関数ＦＦ２によって処理される。第２の深さフィルタ関数ＦＦ２は、第２の深さＤ２にない画像をフィルタリングし、第２のサブ画像ＳＩＭ２が残存する。第２のサブ画像ＳＩＭ２は、第２の画像ＩＭ２で鮮明であり、第２のオブジェクトＯ２の画像は、第２の画像ＩＭ２で鮮明であるため、第２のサブ画像ＳＩＭ２は、第２のオブジェクトＯ２の画像を含む。即ち、第２の画像ＩＭ２で鮮明でない画像（第１のオブジェクトＯ１および第３のオブジェクトＯ３の画像など）はフィルタリングされる。

図４Ｃは、第３の画像ＩＭ３が、第３の深さＤ３に焦点を合わせている画像処理システム１００によって得られることを示している。具体的には、第３の画像ＩＭ３は、第３の光Ｌ３を受光している二層レンズアレイＣＩＳ２０に応じて、二層レンズアレイＣＩＳ２０によって生成される。第３のオブジェクトＯ３は、第３の深さＤ３で画像処理システム１００から離れており、第３の画像ＩＭ３は、第３の深さＤ３に焦点を合わせている画像処理システム１００によって得られているため、第３の画像ＩＭ３の第３のオブジェクトＯ３は鮮明である。

図５Ｃでは、第３の画像ＩＭ３は、第３の深さフィルタ関数ＦＦ３によって処理される。第３の深さフィルタ関数ＦＦ３は、第３の深さＤ３にない画像をフィルタリングし、第３のサブ画像ＳＩＭ３が残存する。第３のサブ画像ＳＩＭ３は、第３の画像ＩＭ３で鮮明であり、第３のオブジェクトＯ３の画像は、第３の画像ＩＭ３で鮮明であるため、第３のサブ画像ＳＩＭ３は、第３のオブジェクトＯ３の画像を含む。即ち、第３の画像ＩＭ３で鮮明でない画像（第１のオブジェクトＯ１および第３のオブジェクトＯ３の画像など）はフィルタリングされる。

図６に示すように、図６は、本開示のいくつかの実施形態による、第１のサブ画像ＳＩＭ１、第２のサブ画像ＳＩＭ２、および第３のサブ画像ＳＩＭ３を重畳する概略図を示している。第１のサブ画像ＳＩＭ１、第２のサブ画像ＳＩＭ２、および第３のサブ画像ＳＩＭ３を重畳することは、第１のサブ画像ＳＩＭ１、第２のサブ画像ＳＩＭ２、および第３のサブ画像ＳＩＭ３が新しい画像に「合成（ｍｅｒｇｅｄ）」されることを意味する。図６に示されるように、第１のサブ画像ＳＩＭ１、第２のサブ画像ＳＩＭ２、および第３のサブ画像ＳＩＭ３は、プロセッサ３０によって、重畳画像ＳＩＩＭに重畳され得る。

重畳画像ＳＩＩＭは、第１のサブ画像ＳＩＭ１、第２のサブ画像ＳＩＭ２、および第３のサブ画像ＳＩＭ３の組み合わせであるため、全ての深さで鮮明である。また、重畳画像ＳＩＩＭでは、第１のオブジェクトＯ１、第２のオブジェクトＯ２、および第３のオブジェクトＯ３は鮮明である。

上述の実施形態は単に例であり、いくつかの実施形態では、画像処理システム１００は、第３の画像ＩＭ３を得る必要がないことに留意されたい。即ち、いくつかの実施形態では、画像処理システム１００は、第１の画像ＩＭ１および第２の画像ＩＭ２のみを得て、重畳画像ＳＩＩＭを生成する。

上述の画像処理システム１００は、異なる深さで画像を処理することにより、全ての深さで鮮明な重畳画像が生成されるようにすることができる。さらに、上述の画像処理システム１００は、光が表示画面を通過した後の回折および干渉影響によって引き起こされた画像のオーバーレイおよびぼやけの問題を解決することができる。

図７Ａおよび図７Ｂに示すように、これらは本開示のいくつかの実施形態による、画像処理方法２００のフローチャートを示している。いくつかの実施形態では、画像処理方法は、ステップ２０２から開始することができる。

ステップ２０２では、表示画面１０の下方のカメラ（二層レンズアレイＣＩＳ２０およびプロセッサ３０）は、第１の光Ｌ１を受光し、カメラを第１の深さＤ１に焦点を合わせることによって、第１の画像ＩＭ１を取得する。次いで、画像処理方法２００は、ステップ２０４に進む。

ステップ２０４では、第１の画像ＩＭ１は、プロセッサ３０によって処理される。ステップ２０４は、ステップ２０４１およびステップ２０４２を含み得る。ステップ２０４１では、プロセッサ３０によって、第１の画像ＩＭ１の第１のサブ画像ＳＩＭ１が第１の深さＤ１にあると判定される。ステップ２０４１は、ステップ２０４１ａを含み得る。ステップ２０４１ａでは、第１のサブ画像ＳＩＭ１の位置情報および方向情報は、二層レンズアレイＣＩＳ２０によって得られる。ステップ２０４２では、第１のサブ画像ＳＩＭ１は、第１の画像ＩＭ１から撮像される。次いで、画像処理方法２００は、ステップ２０６に進む。

ステップ２０６では、表示画面１０の下方のカメラ（二層レンズアレイＣＩＳ２０およびプロセッサ３０）は、第２の光Ｌ２を受光し、第２の画像ＩＭ２は、カメラを第２の深さＤ２に焦点を合わせることによって得られる。次いで、画像処理方法２００は、ステップ２０８に進む。

ステップ２０８では、第２の画像ＩＭ２は、プロセッサ３０によって処理される。ステップ２０８は、ステップ２０８１およびステップ２０８２を含み得る。ステップ２０８１では、プロセッサ３０によって、第２の画像ＩＭ２の第２のサブ画像ＳＩＭ２が第２の深さＤ２にあると判定される。ステップ２０８１は、ステップ２０８１ａを含み得る。ステップ２０８１ａでは、第２のサブ画像ＳＩＭ２の位置情報および方向情報は、二層レンズアレイＣＩＳ２０によって得られる。ステップ２０８２では、第２のサブ画像ＳＩＭ２は、第２の画像ＩＭ２から撮像される。次いで、画像処理方法２００は、ステップ２１０に進む。

ステップ２１０では、ユーザは、第１のサブ画像ＳＩＭ１および第２のサブ画像ＳＩＭ２を選択する。次いで、画像処理方法２００は、ステップ２１２に進む。

ステップ２１２では、プロセッサ３０によって第１のサブ画像ＳＩＭ１および第２のサブ画像ＳＩＭ２が重畳される。次いで、画像処理方法２００は、ステップ２１４に進む。

ステップ２１４では、重畳画像ＳＩＩＭは、プロセッサ３０が第１のサブ画像ＳＩＭ１および第２のサブ画像ＳＩＭ２を重畳した後、プロセッサ３０によって生成される。次いで、画像処理方法２００は、ステップ２１６に進む。

ステップ２１６では、重畳画像ＳＩＩＭは、表示画面１０に出力される。

図８Ａおよび図８Ｂに示すように、これらは本開示のいくつかの実施形態による、画像処理方法３００のフローチャートを示している。いくつかの実施形態では、画像処理方法は、ステップ３０２から開始することができる。

ステップ３０２では、表示画面１０の下方のカメラ（二層レンズアレイＣＩＳ２０およびプロセッサ３０）は、第１の光Ｌ１を受光し、第１の画像ＩＭ１は、カメラを第１の深さＤ１に焦点を合わせることによって得られる。次いで、画像処理方法３００は、ステップ３０４に進む。

ステップ３０４では、第１の画像ＩＭ１は、プロセッサ３０によって処理される。ステップ３０４は、ステップ３０４１およびステップ３０４２を含み得る。ステップ３０４１では、プロセッサ３０によって、第１の画像ＩＭ１の第１のサブ画像ＳＩＭ１が第１の深さＤ１にあると判定される。ステップ３０４１は、ステップ３０４１ａを含み得る。ステップ３０４１ａでは、第１のサブ画像ＳＩＭ１の位置情報および方向情報は、二層レンズアレイＣＩＳ２０によって得られる。ステップ３０４２では、第１のサブ画像ＳＩＭ１は、第１の画像ＩＭ１からプロセッサ３０によって撮像される。次いで、画像処理方法３００は、ステップ３０６に進む。

ステップ３０６では、表示画面１０の下方のカメラ（二層レンズアレイＣＩＳ２０およびプロセッサ３０）は、第２の光Ｌ２を受光し、第２の画像ＩＭ２は、カメラを第２の深さＤ２に焦点を合わせることによって得られる。次いで、画像処理方法３００は、ステップ３０８に進む。

ステップ３０８では、第２の画像ＩＭ２は、プロセッサ３０によって処理される。ステップ３０８は、ステップ３０８１およびステップ３０８２を含み得る。ステップ３０８１では、プロセッサ３０によって、第２の画像ＩＭ２の第２のサブ画像ＳＩＭ２が第２の深さＤ２にあると判定される。ステップ３０８１は、ステップ３０８１ａを含み得る。ステップ３０８１ａでは、第２のサブ画像ＳＩＭ２の位置情報および方向情報は、二層レンズアレイＣＩＳ２０によって得られる。ステップ３０８２では、第２のサブ画像ＳＩＭ２は、第２の画像ＩＭ２からプロセッサ３０によって撮像される。次いで、画像処理方法３００は、ステップ３１０に進む。

ステップ３１０では、サブ画像（第１のサブ画像ＳＩＭ１および第２のサブ画像ＳＩＭ２を含み得る）は、プロセッサ３０によって重畳される。次いで、画像処理方法３００は、ステップ３１２に進む。

ステップ３１２では、重畳画像ＳＩＩＭは、プロセッサ３０が第１のサブ画像ＳＩＭ１および第２のサブ画像ＳＩＭ２を重畳した後、プロセッサ３０によって生成される。次いで、画像処理方法３００は、ステップ３１４に進む。

ステップ３１４では、重畳画像ＳＩＩＭの鮮明さは、プロセッサ３０によって判定される。次いで、画像処理方法３００は、重畳画像ＳＩＩＭが鮮明でないと判定された場合、ステップ３１６に進む。次いで、画像処理方法３００は、重畳画像ＳＩＩＭが鮮明でないと判定された場合、ステップ３２０に進む。

ステップ３１６では、表示画面１０の下方のカメラ（二層レンズアレイＣＩＳ２０およびプロセッサ３０）は、第３の光Ｌ３を受光し、第３の画像ＩＭ３は、カメラを第３の深さＤ３に焦点を合わせることによって得られる。第３の深さＤ３は、第１の深さＤ１および第２の深さＤ２とは異なる。いくつかの実施形態では、第３の深さＤ３は、第１の深さＤ１と第２の深さＤ２との間にある。次いで、画像処理方法３００は、ステップ３１８に進む。

ステップ３１８では、第３の画像ＩＭ３は、プロセッサ３０によって処理される。ステップ３１８は、ステップ３１８１およびステップ３１８２を含み得る。ステップ３１８１では、プロセッサ３０によって、第３の画像ＩＭ３の第３のサブ画像ＳＩＭ３が第３の深さＤ３にあると判定される。ステップ３１８１は、ステップ３１８１ａを含み得る。ステップ３１８１ａでは、第３のサブ画像ＳＩＭ３の位置情報および方向情報は、二層レンズアレイＣＩＳ２０によって得られる。ステップ３１８２では、第３のサブ画像ＳＩＭ３は、第３の画像ＩＭ３からプロセッサ３０によって撮像される。次いで、画像処理方法３００は、ステップ３２０に進む。次いで、画像処理方法３００は、ステップ３１０に戻る。

ステップ３１０～３１８は、数回繰り返されることができ、複数のサブ画像は鮮明な重畳画像を生成する目的で、撮影されることができることに留意されたい。

ステップ３２０では、重畳画像ＳＩＩＭは、表示画面１０に出力される。

ステップの順序は変更可能であることに留意されたい。例えば、ステップ２０６は、ステップ２０４の前に行なわれてもよく、またはステップ３０６は、ステップ３０４の前に行なわれてもよい。

上述の画像処理方法２００および画像処理方法３００は、異なる深さで画像を処理することにより、全ての深さで鮮明な重畳画像が生成されるようにすることができる。さらに、上述の画像処理方法２００および画像処理方法３００は、光が表示画面を通過した後の回折および干渉影響によって引き起こされた画像のオーバーレイおよびぼやけの問題を解決することができる。

本開示は、実施例の方法を用いて、且つ実施形態の観点から記述されてきたが、本開示は開示された実施形態に限定するものではないということを理解されたい。逆に、（当業者には明らかであるように）種々の変更及び同様の配置を含むように意図される。よって、添付の特許請求の範囲は、全てのそのような変更および類似の配置を包含するように、最も広義な解釈が与えられるべきである。

１００ 画像処理システム
Ｏ１ 第１のオブジェクト
Ｏ２ 第２のオブジェクト
Ｏ３ 第３のオブジェクト
１０ 表示画面
２０ 二層レンズアレイＣＩＳ
２１ 第１の層レンズアレイ
２２ 第２の層レンズアレイ
２３ センサ
２４ 中間層
２１１ 第１の層レンズ
２２１ 第２の層レンズ
２３１ 画素
３０ プロセッサ
Ｄ１ 第１の深さ
Ｄ２ 第２の深さ
Ｄ３ 第３の深さ
Ｌ１ 第１の光
Ｌ２ 第２の光
Ｌ３ 第３の光
ＩＭ１ 第１の画像
ＩＭ２ 第２の画像
ＩＭ３ 第３の画像
ＦＦ１ 第１の深さのフィルタ関数
ＦＦ２ 第２の深さのフィルタ関数
ＦＦ３ 第３の深さのフィルタ関数
ＳＩＭ１ 第１のサブ画像
ＳＩＭ２ 第２のサブ画像
ＳＩＭ３ 第３のサブ画像
ＳＩＩＭ 重畳画像
Ｘ、Ｙ、Ｚ 座標

Claims (10)

1. 表示画面の下方のカメラを用いて第１の画像を得るステップ、
   前記第１の画像の第１のサブ画像を判定し、前記第１の画像から前記第１のサブ画像を撮像するステップを含み、プロセッサを用いて前記第１の画像を処理するステップであり、前記第１のサブ画像は第１の深さを有する前記第１の画像のサブ画像である、ステップと、
   前記表示画面の下方の前記カメラを用いて第２の画像を得るステップ、
   前記第２の画像の第２のサブ画像を判定し、前記第２の画像から第２のサブ画像を撮像し、前記第１のサブ画像と前記第２のサブ画像を重畳するステップを含み、前記プロセッサを用いて前記第２の画像を処理するステップであり、前記第２のサブ画像は第２の深さを有する前記第２の画像のサブ画像である、ステップ、および
   前記第１のサブ画像と前記第２のサブ画像を重畳した後、重畳画像を生成するステップを含み、
   前記第１の深さは前記第２の深さと異なる画像処理方法。
2. 前記第１のサブ画像を判定するステップは、
   二層レンズアレイＣＩＳを用いて、前記第１の画像の位置情報および方向情報を得るステップ、
   第１の画像の複数のサブ画像の複数の深さを判定するステップ、および
   前記第１の深さを選び、前記第１のサブ画像を得るステップを含み、
   前記第２のサブ画像を判定するステップは、
   二層レンズアレイＣＩＳを用いて、前記第２の画像の位置情報および方向情報を得るステップ、
   前記第２の画像の複数のサブ画像の複数の深さを判定するステップ、および
   前記第２の深さを選び、前記第２のサブ画像を得るステップを含む請求項１に記載の画像処理方法。
3. 前記第１のサブ画像と前記第２のサブ画像を重畳する前に、ユーザによって前記第１のサブ画像および前記第２のサブ画像を選択するステップ、および
   前記重畳画像が生成された後、前記重畳画像を出力するステップをさらに含む請求項１に記載の画像処理方法。
4. 前記プロセッサを用いて前記重畳画像の鮮明さを判定するステップ、
   前記重畳画像が鮮明であるという判定に応じて、前記重畳画像を出力するステップ、および
   前記重畳画像が鮮明でないという判定に応じて、前記表示画面の下方のカメラを用いて第３の画像を得るステップをさらに含む請求項１に記載の画像処理方法。
5. 前記プロセッサを用いて前記第３の画像を処理するステップであり、前記第３の画像の第３のサブ画像を判定し、前記プロセッサを用いて前記第３の画像から第３のサブ画像を撮像するステップを含み、前記第３のサブ画像は、前記第１の深さおよび前記第２の深さと異なる第３の深さを有する、ステップを含み、
   前記重畳するステップは、前記第１のサブ画像、前記第２のサブ画像、および前記第３のサブ画像を重畳するステップを含み、
   前記第３の深さは、前記第１の深さと前記第２の深さの間である請求項４に記載の画像処理方法。
6. 表示画面、
   前記表示画面の下方に配置され、第１の光および第２の光を受光するように構成される二層レンズアレイＣＩＳ、および
   プロセッサを含み、
   前記第１の光の受光に応じて、前記二層レンズアレイＣＩＳは、第１の画像を生成し、前記第２の光の受光に応じて、前記二層レンズアレイＣＩＳは、第２の画像を生成し、
   前記プロセッサは、前記第１の画像の第１のサブ画像と前記第２の画像の第２のサブ画像を重畳して、重畳画像を生成するように構成され、
   前記第１のサブ画像は、第１の深さを有する前記第１の画像のサブ画像であり、
   前記第２のサブ画像は、第２の深さを有する前記第２の画像のサブ画像であり、
   前記第１の深さは前記第２の深さと異なる画像処理システム。
7. 前記二層レンズアレイＣＩＳは、
   複数の第１の層レンズを含む第１の層レンズアレイ、
   前記第１の層レンズアレイの上方に配置され、複数の第２の層レンズを含む第２の層レンズアレイ、および
   複数の画素を含むセンサを含み、
   前記第１の層レンズのそれぞれのサイズは、前記複数の画素のそれぞれのサイズと等しく、
   前記第２の層レンズのそれぞれのサイズは、前記複数の画素のそれぞれのサイズの３倍以上であり、
   前記第１の光および前記第２の光は、前記表示画面、前記第２の層レンズアレイ、および前記第１の層レンズアレイを通過し、次いで前記センサに到達し、
   前記第２の層レンズのそれぞれの面積は、前記センサの感知面積の３０％以下であり、
   前記第１の層レンズアレイと前記第２の層レンズアレイとの間の配置は、三角形配置、長方形配置、六角形配置、および多角形配置のいずれか１つの配置である請求項６に記載の画像処理システム。
8. 前記第１のサブ画像は、前記プロセッサによって前記第１の画像から撮像され、
   前記第２の画像から撮像された前記第２のサブ画像は、重畳されるために、前記プロセッサによって撮像され、
   前記重畳画像の鮮明さは前記プロセッサによって判定され、
   重畳するための前記第１のサブ画像および前記第２のサブ画像は、ユーザによって選択され、
   前記表示画面は前記重畳画像を出力する請求項６に記載の画像処理システム。
9. 前記二層レンズアレイＣＩＳは、前記重畳画像が鮮明でないという判定に応じて、第３の光を受光し、
   前記第３の光を受光することに応じて、前記二層レンズアレイＣＩＳは第３の画像を生成し、
   前記プロセッサは、前記第１のサブ画像、前記第２のサブ画像、および前記第３の画像の第３のサブ画像を重畳して、重畳画像を生成するように構成され、
   前記第３のサブ画像は、第３の深さを有する前記第３の画像のサブ画像であり、
   前記第３の深さは前記第１の深さと前記第２の深さと異なり、
   前記表示画面は、前記重畳画像が鮮明であるという判定に応じて前記重畳画像を出力し、
   前記第３の深さは、前記第１の深さと前記第２の深さの間にある請求項８に記載の画像処理システム。
10. 第１のオブジェクトの前記画像は前記第１の画像で鮮明であり、第２のオブジェクトの前記画像は前記第２の画像で鮮明であり、
    前記第１のオブジェクトの前記画像は前記第２の画像では鮮明でなく、前記第２のオブジェクトの前記画像は前記第１の画像では鮮明でなく、
    前記第１のオブジェクトは前記画像処理システムから離れた前記第１の深さであり、前記第２のオブジェクトは前記画像処理システムから離れた前記第２の深さである請求項６に記載の画像処理システム。

Images