JP2021532640A - ただ二つのカメラを備える装置およびこの装置を用いて二つの画像を生成する方法 - Google Patents

ただ二つのカメラを備える装置およびこの装置を用いて二つの画像を生成する方法 Download PDF

Info

Publication number
JP2021532640A
JP2021532640A JP2021502502A JP2021502502A JP2021532640A JP 2021532640 A JP2021532640 A JP 2021532640A JP 2021502502 A JP2021502502 A JP 2021502502A JP 2021502502 A JP2021502502 A JP 2021502502A JP 2021532640 A JP2021532640 A JP 2021532640A
Authority
JP
Japan
Prior art keywords
camera
infrared
image
rgb
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021502502A
Other languages
English (en)
Inventor
バルバロス キリスケン
Original Assignee
ベステル エレクトロニク サナイー ベ ティカレト エー.エス.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベステル エレクトロニク サナイー ベ ティカレト エー.エス. filed Critical ベステル エレクトロニク サナイー ベ ティカレト エー.エス.
Publication of JP2021532640A publication Critical patent/JP2021532640A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Cameras In General (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Color Television Image Signal Generators (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Stroboscope Apparatuses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Shutters For Cameras (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

装置はただ二つのカメラ(100、102)を有する。第一カメラ(100)は、RGB画像を撮像するRGB(Red−Green−Blue)カメラ(100)である。第二カメラ(102)は、(i)第二カメラ(102)を使用してRGB画像または赤外線画像を選択的に撮像可能なように選択的に動作して赤外線のみを通過させる選択的動作可能な赤外線透過フィルタ(116)を有する、RGB画像と赤外線画像とを撮像するRGB/赤外線カメラ(102)であるか、または(ii)赤外線画像を撮像する赤外線カメラであり、装置が第二カメラによって撮像された赤外線画像を処理し、第一カメラ(100)によって撮像された画像からのRGB情報を用いて、第二カメラによって撮像された赤外線画像からRGB画像を生成するよう構成された処理装置を備えるか、のいずれかである。装置は、二つのカメラ(100、102)から、ある情景の二つのRGB画像、またはある情景のRGB画像および赤外線画像、を選択的に提供可能である。

Description

本願開示は、ただ二つのカメラを備える装置およびこの装置を用いて二つの画像を生成する方法に関する。
ユーザにとって、特に、例えばスマートフォンなどのコンシューマ装置を使って、複雑または技術的に高度なカメラを使う必要なく、高品質な写真を撮影することはますます望ましいものとなっている。デュアルカメラ写真撮影に対する興味が高まっている。
従来、単一のカメラまたはデュアルカメラを用いて撮影された写真は、RGB(Red−Green−Blue)画像である。デュアルカメラの場合、双方のカメラによって撮像される情報を用いてRGB画像が生成される。写真撮影において、例えば、画像の細部の解像度を上げるため、より編集可能性を大きくするため、および何らかの特殊効果のため、赤外線(IR)情報および赤外線画像を用いることに対する興味も高まりつつある。
本明細書に開示される第一の側面によれば、ただ二つのカメラを有する装置であって、
第一カメラが、RGB画像を撮像するためのRGB(Red−Green−Blue)カメラであり、
第二カメラは、
(i)RGB画像と赤外線画像とを撮像するRGB/赤外線カメラであって、第二カメラがRGB画像または赤外線画像を選択的に撮像するために使用可能となるよう選択的に動作して赤外線のみを通過させる、選択的に動作可能な赤外線透過フィルタを有するカメラであるか、または
(ii)赤外線画像を撮像する赤外線カメラであって、装置が、第二カメラによって撮像された赤外線画像を処理し、第一カメラによって撮像された画像からのRGB情報を用いて第二カメラによって撮像された赤外線画像からRGB画像を生成する処理装置を有する、カメラであり、
装置は、二つのカメラから、情景の二つのRGB画像、または情景の一つのRGB画像および赤外線画像を選択的に提供可能である装置が提供される。
一例において、第二カメラが赤外線カメラである場合、赤外線カメラは、情景の赤外線情報を撮像する赤外線センサチップを備える。
一例において、装置は、情景の二つのRGB画像、または情景の一つのRGB画像と赤外線画像とを結合して情景の単一の画像を生成する処理装置を備える。
一例において、装置は反射された赤外線放射が第二カメラによって撮像可能なように情景を赤外線で照明する赤外線フラッシュを備える。
一例において、第一カメラおよび第二カメラの少なくとも一方は、情景の画像を撮像するための固定レンズアセンブリを備える。
一例において、第二カメラがRGB/赤外線カメラである場合、選択的に動作可能な赤外線フィルタは、微小電気機械システム(MEMS)シャッタを備える。
本明細書に開示される第二の側面によれば、ただ二つのカメラを有する装置を用いて情景の二つの画像を生成する方法であって、
情景のRGB画像を装置の第一カメラによって撮像する工程と、
情景のRGB画像または赤外線画像である情景の第二画像を装置の第二カメラによって撮像する工程とを備え、
赤外線の第二画像は、
(i)第二カメラがRGB/赤外線カメラである場合、第二カメラが赤外線画像のみを撮像するよう第二カメラの赤外線透過フィルタを選択的に動作させること、または
(ii)第二カメラが赤外線画像を撮像する赤外線カメラである場合、情景の赤外線画像を撮像することによって得られ、
RGBの第二画像は、
(i)第二カメラがRGB/赤外線カメラである場合、第二カメラがRGB画像を撮像するよう第二カメラの赤外線透過フィルタを選択的に無効化し、または
(ii)第二カメラが赤外線画像を撮像する赤外線カメラである場合、情景の赤外線画像を撮像し、装置の処理装置によって、赤外線画像を処理し、第一カメラによって撮像された画像からのRGB情報を用いて第二カメラによって撮像された赤外線画像からRGB画像を生成することにより得られる方法が提供される。
一例において、方法は、第一カメラによって撮像された情景のRGB画像と第二カメラによって撮像された情景の第二画像とを結合して情景の単一の画像を生成する工程を含む。
一例において、方法は、反射された赤外線放射が装置の第二カメラによって撮像可能なように情景を装置の赤外線フラッシュからの赤外線で照明する工程を含む。
一例において、装置はモバイルユーザ装置である。
本願開示の理解を促進し、実施形態がどのように実施されるかを示すため、例示的に添付図面が参照される。
二つの画像を撮像する二つのカメラを備える例示的装置を模式的に示す。 図1の二つのカメラの例示的構造を模式的に示す。 図2の構造の使用時の例示的構成を模式的に示す。 図2の構造の使用時の例示的構成を模式的に示す。 二つの画像を撮像する二つのカメラを備える第二の例示的装置を模式的に示す。 図4の二つのカメラの例示的構造を模式的に示す。 図5の構造の使用時の例示的構成を模式的に示す。
上述のように、コンシューマ装置にとってますます重要な要件となっているより高品質な写真撮影、および/または何らかの視覚的効果を可能とすることから、デュアルカメラ写真撮影および赤外線写真撮影への興味が高まりつつある。デュアルカメラシステムで二つのカメラから入力される画像情報を結合することにより、装置が単一のより解像度の高い画像を生成可能となる。例えば、ユーザ装置でポートレート写真を撮影する際、デュアルカメラ写真によれば、よりクリアな容貌を表示可能であり、あるいは光深度写真撮影(light depth photography)、深度マップ、または複数の焦点を画像中に組み合わせることが可能となる。
赤外線画像は、赤外線放射を用いて撮影される。赤外線画像は、例えば、視認可能な要素の解像度を上げ、人間の眼には容易に検出できない細部をあらわにすることにより、RGB画像に比べてより精細な細部を表示可能である。
本明細書中で記載されるのは、ただ二つのカメラを有する装置である。第一カメラは、RGB画像を撮像するためのRGB(Red−Green−Blue)カメラである。第二カメラは、以下のいずれかである。(i)RGB画像と赤外線画像とを撮像するRGB/赤外線カメラであって、第二カメラがRGB画像または赤外線画像を選択的に撮像するのに使用可能となるよう、赤外線のみを通過させるよう選択的に動作可能な、選択的動作可能な赤外線透過フィルタを有するもの、または(ii)赤外線画像を撮像する赤外線カメラであり、装置が第二カメラによって撮像された赤外線画像を処理して第一カメラによって撮像された画像からのRGB情報を用いて第二カメラによって撮像された赤外線画像からRGB画像を生成する処理装置を有するもの。この装置は、二つのカメラから、ある情景の二つのRGB画像、またはある情景の一つのRGB画像および一つの赤外線画像、を選択的に提供可能である。
デュアルカメラ写真撮影により、装置によって撮像される情景についてより精細な細部を得ることができる。例えば、本明細書中に記載される装置を用いると、第一カメラと第二カメラとがある情景の画像情報を撮像する角度がわずかに異なることで、当該情景のより詳細な深度情報および/またはより詳細な細部を得ることが可能となる。双方のカメラによって撮像される情報を画像処理方法により結合することで、非常に詳細な単一の画像を生成可能である。一例において、二つのカメラは、当業種で公知のぼかし写真を撮像するよう構成される。この例では、デュアルカメラ写真撮影により、例えば、当該写真中に複数の焦点を設けることが可能となる。これに代えて、またはこれに加えて、二つのカメラにより合焦した対象をより精細に撮像し、当該対象がより焦点の合っていないぼかし写真の領域よりもさらに目立って見えるようにしてもよい。このような深度情報の必要性は、例えば、二つのカメラの少なくとも一方のカメラの絞り目盛り(f−stop)を変更して、合焦と非合焦領域とが明確に区別可能なぼかし画像を撮像することができない場合に重要となりうる。
例えば、カメラがRGB画像を撮像するよう構成される場合、カメラによってさもなければ撮像できない細部を提供することで、赤外線情報により、ある情景ないし対象の画像およびわずかな細部の検出を高度に精細化できることも公知である。赤外線画像によって提供されるより精細な細部のため、赤外線写真撮影は、例えば、同一性検出時に非常に有用である。例えば、スマートフォンのコンテンツへの個人のアクセスを許可するのに顔認識を必要とするスマートフォンは、当該個人の顔についての赤外線情報を撮像する可能性がある。デジタルカメラに用いられるセンサチップは、画像撮影の際に赤外線情報を検出可能であることが多い。
したがって、必要時に、ある環境のRGB画像とならんで赤外線画像を撮像できることは、装置にとって有用である。原理的に、二個のRGBカメラと一個の赤外線カメラの、全部で三個のカメラを使用してこれを実現してもよい。しかし、これは、各カメラが製造コストを意味することから高価な解決策である。本明細書中に記載される例では、たった二つのカメラを用いて、必要時にデュアルカメラによるRGB写真撮影および赤外線画像を実現する装置が提供される。
この装置は、例えばスマートフォン、専用デジタルカメラ、タブレットコンピュータ等であってもよく、この装置の第一カメラと第二カメラとは、それぞれ情景の画像を撮像するよう構成される。一例において、画像は、同時に撮像されてもよい。得られた二つのRGB画像、または一つのRGB画像と一つの赤外線画像とは、別々の画像として使用または記憶されてもよい。これにより、別々の画像を、後で編集および/または結合可能となる。これに代えて、またはこれに加えて、デュアルカメラ写真と、場合により赤外線画像の特徴を含む情景の単一の高品質画像を生成するため、これらの画像を結合してもよい。
図面を参照すると、図1には、第一RGB画像を撮像するよう構成される第一カメラ100と、RGB画像または赤外線画像を選択的に撮像するRGB/赤外線カメラである第二カメラ102とを備える例示的装置10が示される。双方のカメラ100、102の例を、以下にさらに詳述する。装置10は、赤外線を発生させて情景または対象を照明する赤外線フラッシュ103を備えてもよい。
本例では、この装置10はスマートフォン10であり、第一カメラ100と、第二カメラ102と、赤外線フラッシュ103とをその背面に備える。これに加えて、またはこれに代えて、スマートフォン10は、双方のカメラ100、102と、場合により赤外線フラッシュ103とを、その前面に備えてもよい。別の例では、この装置10は、カメラ、タブレット、パーソナルコンピュータ、ラップトップコンピュータなどであってよい。各カメラ100、102は、同種の、または異なる種類のレンズを有してもよい。例えば、第一カメラ100は広角レンズを有するカメラであり、第二カメラ102は望遠レンズを有するカメラであってよい。
図2は、図1の装置10の二つのカメラ100、102の例示的構造の上視図である。第一カメラ100は、情景のRGB画像を撮像するよう構成される。本例では、第一カメラ100は、センサ104と、カメラシャッタ106と、レンズ構造108とを備える。カメラシャッタ106は、例えば、微小電気機械システム(MEMS)シャッタを備えてもよい。第一カメラ100が写真を撮影する必要がある場合、センサ104には、情景のRGB情報が入力されるよう構成される。
カメラがRGB画像を撮像するよう構成される場合であっても、カメラセンサチップは、しばしば自動的に赤外線情報を捕捉する。このような不要な赤外線情報の存在を最小化または防止するため、第一カメラ100は、いくつかの例では、赤外線を遮断し、これにより赤外線が第一カメラ100のセンサ104に到達するのを防止する赤外線カットフィルタ(図示略)を備えてもよい。一例において、赤外線カットフィルタは固定されて、赤外線カットフィルタが常に赤外線情報を遮断してRGB情報(のみ)がカメラを通過するよう構成されてもよい。この赤外線カットフィルタは、当業種自体において公知のように、赤外線の特定の波長、または特定の波長範囲を反射および/または遮断する一方、可視光を通過可能とするよう構成されてもよい。
本例での第二カメラ102は、センサ110と、カメラシャッタ112と、レンズ構造114と、赤外線透過フィルタ116とを備えるものとして示される。本例での第二カメラ102は、RGB/赤外線カメラ102と見なされうる。
第二カメラ102からRGB画像が必要な場合、赤外線透過フィルタ116は「開く」よう操作されてよく、これにより赤外線透過フィルタ116は一切の放射がカメラセンサ110に到達するのを阻害しなくなる。したがって、RGB(および赤外線)放射は、カメラ100を通過して撮像可能であり、第二カメラ102がRGB画像を選択的に撮像可能となる。
第二カメラから赤外線画像が必要な場合、赤外線透過フィルタ116は「閉じる」よう操作されてよく、これにより赤外線透過フィルタは、選択的に赤外線放射のみがセンサ110へと通過することを許容し、RGB光を遮断する。これにより、第二カメラ102は、赤外線画像のみを選択的に撮像する。
RGB(および赤外線)情報が選択的にカメラを通過可能とする「開いた」赤外線透過フィルタ116と、RGB情報を選択的に遮断し、赤外線情報のみをカメラを通過可能とする「閉じた」赤外線透過フィルタ116との上述の定義は、本明細書を通して一貫して用いられる。
設けられる場合、赤外線フラッシュ103は、赤外線画像が第二カメラ102によって撮像される場合に、赤外線により撮像される情景を照明するよう動作可能である。
図3Aおよび3Bは、情景の画像を撮像するための二つの異なる例示的配置にある図2の構造を示す。
図3Aは、RGB画像を撮像するための図2の構造の例示的構成を示す。第一カメラ100のシャッタ106は開いている。この時点で、第一カメラ100は、第一RGB画像を撮像するよう構成される。第二カメラ102のシャッタ112も開かれ、これにより第二カメラ102は画像を撮像するよう構成される。本例では、第二カメラ102の赤外線透過フィルタ116は開かれ、これによりRGB(および赤外線)情報が第二カメラ102を通過可能となっている。したがって、本例では、第二カメラ102は情景の第二RGB画像を撮像するよう構成される。
図3Bは、一つのRGB画像と一つの赤外線画像とを撮像するための図2の構造の別の例示的構成を示す。上記と同様、第一カメラ100のシャッタ106は開かれ、第一カメラ100は第一RGB画像を撮像するよう構成される。第二カメラ102のシャッタ112も開かれ、これにより第二カメラ102は画像を撮像するよう構成される。しかし、赤外線透過フィルタ116は閉じられ、これによりRGB情報は遮断され、赤外線情報のみがカメラ102を通過可能となる。したがって、第二カメラ102のセンサ110には赤外線情報のみが入力され、第二カメラ102は赤外線画像を撮像するよう構成される。
図4には、第一RGB画像を撮像するよう構成される第一カメラ100と、赤外線画像のみを撮像する第二カメラ300とを備える第二の例示的装置20が示される。
例示的装置20において、第一カメラ100は、図1から3Bに開示される第一の例について上述したとおりである。本例では、装置20は、その背面に第一カメラ100と、第二カメラ300と、赤外線フラッシュ103とを備えるスマートフォン20である。これに加えて、またはこれに代えて、スマートフォン20は、双方のカメラ100、300と、場合により赤外線フラッシュ103とを、その前面に備えてもよい。別の例では、装置20は、カメラ、タブレット、パーソナルコンピュータ、ラップトップコンピュータなどであってもよい。場合により、装置20は、上述のように赤外線フラッシュ103を備えてもよい。
図5は、図4の装置20の二つのカメラ100、300の例示的構造の上視図である。第一カメラ100は、上述のように、情景のRGB画像を撮像するよう構成される。第二カメラ300は、赤外線画像を撮像するよう構成される赤外線専用カメラ300である。第二カメラ300は、センサ302と、カメラシャッタ304と、固定された赤外線透過フィルタ306と、レンズ構造308とを備える。カメラシャッタ304は、例えばMEMSシャッタを備えてもよい。固定された赤外線透過フィルタ306は、赤外線情報のみをセンサ302に通過させるように構成される。したがって、固定された赤外線フィルタ116により、第二カメラ300は赤外線画像のみを撮像可能となる。上記で用いられた用語にしたがうと、赤外線透過フィルタ116は、常に赤外線情報に第二カメラ300を通過可能とし、RGB情報を阻害するよう構成されることから、固定された赤外線透過フィルタ116は永続的に閉じた赤外線透過フィルタ116であると考えられてもよい。
図6は情景の画像を撮像するための例示的構成にある図5の構造を示す。第一カメラ100のシャッタ106は開いている。この時点で、第一カメラ100は、第一RGB画像を撮像するよう構成される。
第二カメラ300のシャッタ304は開いており、第二カメラ300は、情景の赤外線画像を撮像するよう構成される。第二カメラ300の固定された赤外線透過フィルタ306は閉じられたままであり、これにより第二カメラ300は赤外線のみがカメラ300を通過可能とし、RGB情報を遮断するよう構成される。
図6に示される例示的構成は、第一カメラ100からの第一RGB画像と、第一カメラ100からのRGB画像と第二カメラ300からの赤外線画像を用いる第二RGB画像との二つのRGB画像を実現するのに使用可能である。特に、一例において、第一カメラ100のRGB画像と第二カメラ300の赤外線画像とが処理装置(図示略)に送信されてもよい。処理装置は、第一カメラ100と第二カメラ300とを備える装置20に内蔵されてもよく、または処理装置は独立した実体内に存在してもよい。処理装置は、当業種で公知の画像着色方法、色復元プロセスまたは予測着色プロセスにより、第一カメラ100によって撮像されたRGB画像からの色情報を用いて第二カメラ300の赤外線画像を着色するよう構成されてもよい。すなわち、第一カメラ100によって撮像されたRGB画像からのRGBデータが、第二カメラ300によって撮像された赤外線画像を第二RGB画像に変換するプロセスで用いられる。
赤外線のみがセンサに向けて通過するよう固定された赤外線透過フィルタ306を有する第二カメラ300に代えて、第二カメラ300は、例えば赤外線センサチップを備えてもよい。赤外線センサチップまたは赤外線カメラ300が、略700nmから1mmの赤外線波長範囲に該当する放射線のみを受光するよう構成されてもよい。赤外線センサチップ300は、一例では、センサチップと、赤外線放射のみを通過させるよう構成される被覆材とを備えてよい。被覆材は、一例では、赤外線放射のみを通過させるよう構成される赤外線専用(IR−only)ガラスを備えてよい。別の例では、赤外線センサチップ300は、全てのRGB情報を遮断し、赤外線情報に第二カメラ300を通過させるよう構成される被覆材を備えてもよい。
二つのカメラ100、102(100、300)の少なくとも一方は、画像を撮影する際に、情景の画像にオートフォーカス可能とするためのオートフォーカスアクチュエータを備えてもよい。これに代えて、またはこれに加えて、二つのカメラ100、102(100、300)の少なくとも一方は、プリント配線基板(PWB)/プリント回路基板(PCB)画像センサを備えてもよい。
なお、本明細書中に記載される処理装置または処理システムもしくは回路は、実際には、単一のチップもしくは集積回路、または複数のチップまたは集積回路によって設けられてもよく、場合により、チップセット、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、デジタル・シグナル・プロセッサ(DSP)、画像処理装置(GPU)などとして設けられてもよい。チップまたは複数のチップは、例示的実施形態にしたがって動作するよう構成可能な、一つ以上のデータプロセッサ、一つ以上のデジタル・シグナル・プロセッサ、ベースバンド回路および無線周波数回路の少なくとも一つを実装するための回路(ならびに場合によりファームウェア)を備えてもよい。この点、例示的実施形態は(持続性)(non−transitory)メモリーに記憶され処理装置によって実行可能なコンピュータソフトウェア、またはハードウェア、または有形的に記憶されたソフトウェアおよびハードウェア(および有形的に記憶されたファームウェア)の組み合わせによって少なくとも部分的に実装されてもよい。
本明細書では、データ記憶用のデータ記憶装置が記載される。これは、単一の装置または複数の装置によって設けられてもよい。適切な装置としては、例えばハードディスクおよび非揮発性半導体メモリーが挙げられる。
図面を参照して本明細書に記載された実施形態の少なくともいくつかの側面は、処理システムまたは処理装置によって実行されるコンピュータプロセスを含むが、本発明は、本発明を実施可能なコンピュータプログラム、特に通信手段(carrier)上または通信手段内のコンピュータプログラムにも及ぶ。このプログラムは、持続性ソースコード、オブジェクトコード、部分的にコンパイルされた形態などのコード中間ソースおよびオブジェクトコード、またはその他任意の本発明にしたがった処理を実施するのに使用するのに適切な持続的形態であってよい。通信手段は、プログラムを搬送可能な任意の実体または装置であってよい。例えば、通信手段はソリッドステートドライブ(SSD)などの半導体ベースのRAM、例えばCD−ROMもしくは半導体ROMなどのROM、例えばフロッピーディスクまたはハードディスクなどの磁気記録媒体、光学メモリー装置一般などの記録媒体を含んでもよい。
本明細書に記載される例は、本発明の実施形態の説明的事例として理解されるべきである。別の実施形態および事例も想定される。任意の一例または実施形態に関連して記載された任意の特徴は、単独で、または他の特徴と組み合わせて利用可能である。さらに、任意の一例または実施形態に関連して記載された任意の特徴は、他の例または実施形態の一つ以上の特徴と組み合わせて、または任意の他の例または実施形態と組み合わせても利用可能である。さらに、本明細書に記載されない等価物または変形も、請求項に定義される本発明の範囲内で利用可能である。

Claims (11)

  1. 二つだけのカメラ(100、102:100、300)を備える装置(10、20)であって、
    第一カメラ(100)は、RGB画像を撮像するRGB(Red−Green−Blue)カメラであり、
    第二カメラ(102、300)は、
    (i)RGB画像と赤外線画像とを撮像するRGB/赤外線カメラ(102)であって、前記第二カメラ(102)がRGB画像または赤外線画像を選択的に撮像するために使用可能となるよう選択的に動作して赤外線のみを通過させる、選択的に動作可能な赤外線透過フィルタ(116)を有するカメラ、または
    (ii)赤外線画像を撮像する赤外線カメラ(300)であって、前記装置(20)が、前記第二カメラ(300)によって撮像された赤外線画像を処理し、前記第一カメラ(100)によって撮像された画像からのRGB情報を用いて前記第二カメラ(300)によって撮像された赤外線画像からRGB画像を生成する処理装置を有する、カメラであり、
    前記装置(10、20)は、前記二つのカメラ(100、102:100、300)から、情景の二つのRGB画像、または情景の一つのRGB画像および赤外線画像、を選択的に提供可能であることを特徴とする装置。
  2. 請求項1に記載の装置(20)であって、前記第二カメラ(300)が前記赤外線カメラ(300)である場合、前記赤外線カメラ(300)は、情景の赤外線情報を撮像するための赤外線センサチップを備えることを特徴とする装置。
  3. 請求項1または請求項2に記載の装置(10、20)であって、情景の前記二つのRGB画像、または情景の前記一つのRGB画像と前記赤外線画像とを結合して前記情景の単一の画像を生成する処理装置を備えることを特徴とする装置。
  4. 請求項1から3のいずれか一項に記載の装置(10、20)であって、反射された赤外線放射が前記第二カメラ(102、300)によって撮像可能なように情景を赤外線で照明する赤外線フラッシュ(103)を備えることを特徴とする装置。
  5. 請求項1から4のいずれか一項に記載の装置であって、前記第一カメラ(100)および前記第二カメラ(102、300)の少なくとも一方は、情景の画像を撮像するための固定レンズアセンブリを備えることを特徴とする装置。
  6. 請求項1から5のいずれか一項に記載の装置(10)であって、前記第二カメラ(102)が前記RGB/赤外線カメラ(102)である場合、前記選択的に動作可能な赤外線フィルタ(116)は、微小電気機械システム(MEMS)シャッタを備えることを特徴とする装置。
  7. 請求項1から6のいずれか一項に記載の装置であって、前記装置(10、20)はモバイルユーザ装置(10、20)であることを特徴とする装置。
  8. 二つだけのカメラ(100、102:100、300)を有する装置(10、20)を用いて情景の二つの画像を生成する方法であって、
    前記情景のRGB画像を前記装置(10、20)の第一カメラ(100)によって撮像する工程と、
    前記情景のRGB画像または赤外線画像である前記情景の第二画像を前記装置(10、20)の第二カメラ(102、300)によって撮像する工程とを含み、
    前記赤外線の第二画像は、
    (i)前記第二カメラ(102)がRGB/赤外線カメラ(102)である場合、前記第二カメラ(102)が赤外線画像のみを撮像するよう前記第二カメラ(102)の赤外線透過フィルタ(116)を選択的に動作させるか、または
    (ii)前記第二カメラ(300)が赤外線画像を撮像する赤外線カメラ(300)である場合、前記情景の赤外線画像を撮像することによって得られ、
    前記RGBの第二画像は、
    (i)前記第二カメラ(102)がRGB/赤外線カメラ(102)である場合、前記第二カメラ(102、300)の赤外線透過フィルタ(116)を前記第二カメラ(102)がRGB画像を撮像するよう選択的に無効化するか、または
    (ii)前記第二カメラ(300)が赤外線画像を撮像する赤外線カメラである場合、前記情景の赤外線画像を撮像し、前記装置(20)の処理装置によって、前記赤外線画像を処理し、前記第一カメラ(100)によって撮像された画像からのRGB情報を用いて前記第二カメラ(300)によって撮像された赤外線画像からRGB画像を生成することにより得られることを特徴とする方法。
  9. 請求項8に記載の方法であって、前記第一カメラ(100)によって撮像された前記情景の前記RGB画像と前記第二カメラ(102、300)によって撮像された前記情景の前記第二画像とを結合して前記情景の単一の画像を生成する工程を含むことを特徴とする方法。
  10. 請求項8または請求項9に記載の方法であって、反射された赤外線放射が前記装置(10、20)の前記第二カメラ(102、300)によって撮像可能なように前記装置(10、20)の赤外線フラッシュ(103)からの赤外線により前記情景を照明する工程を含むことを特徴とする方法。
  11. 請求項8から10のいずれか一項に記載の方法であって、前記装置(10、20)はモバイルユーザ装置(10、20)であることを特徴とする方法。
JP2021502502A 2018-07-17 2018-07-17 ただ二つのカメラを備える装置およびこの装置を用いて二つの画像を生成する方法 Pending JP2021532640A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/069417 WO2020015821A1 (en) 2018-07-17 2018-07-17 A device having exactly two cameras and a method of generating two images using the device

Publications (1)

Publication Number Publication Date
JP2021532640A true JP2021532640A (ja) 2021-11-25

Family

ID=63013003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021502502A Pending JP2021532640A (ja) 2018-07-17 2018-07-17 ただ二つのカメラを備える装置およびこの装置を用いて二つの画像を生成する方法

Country Status (6)

Country Link
US (1) US20210274108A1 (ja)
EP (1) EP3824617A1 (ja)
JP (1) JP2021532640A (ja)
KR (1) KR102506363B1 (ja)
CN (1) CN112262567A (ja)
WO (1) WO2020015821A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102458470B1 (ko) * 2020-05-27 2022-10-25 베이징 샤오미 모바일 소프트웨어 컴퍼니 리미티드 난징 브랜치. 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체
US20230262300A1 (en) * 2022-02-16 2023-08-17 Lenovo (Singapore) Pte. Ltd Information processing apparatus and control method
US20240015260A1 (en) * 2022-07-07 2024-01-11 Snap Inc. Dynamically switching between rgb and ir capture

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016001794A (ja) * 2014-06-11 2016-01-07 シャープ株式会社 表示装置
JP2016533695A (ja) * 2013-10-04 2016-10-27 アイシークラリティー,インク. センサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法
US20170142312A1 (en) * 2015-11-12 2017-05-18 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
WO2017208437A1 (ja) * 2016-06-03 2017-12-07 マクセル株式会社 撮像装置および撮像システム
JP2018032952A (ja) * 2016-08-23 2018-03-01 トヨタ自動車株式会社 画像処理装置
US20180131923A1 (en) * 2016-11-08 2018-05-10 Altek Semiconductor Corp. Image capturing device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH695964A5 (de) * 2002-07-12 2006-10-31 Paul Rosenich Fotocamera mit CCD und Blitzlichtgerät.
WO2015152829A1 (en) * 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US9578217B2 (en) * 2014-05-27 2017-02-21 Mems Drive, Inc. Moving image sensor package
US10284835B2 (en) * 2015-09-04 2019-05-07 Apple Inc. Photo-realistic shallow depth-of-field rendering from focal stacks
US20170111557A1 (en) * 2015-10-20 2017-04-20 Google Inc. Camera assembly with filter providing different effective entrance pupil sizes based on light type
US20170140221A1 (en) * 2015-11-13 2017-05-18 Intel Corporation Dual function camera for infrared and visible light with electrically-controlled filters
TWI584634B (zh) * 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法
US10156665B2 (en) * 2016-06-01 2018-12-18 Microsoft Technology Licensing, Llc Infrared cut-off filter
CN106657726B (zh) * 2016-10-21 2019-10-18 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端
CN207491128U (zh) * 2017-11-30 2018-06-12 北京中科虹霸科技有限公司 一种rgb+ir图像采集设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016533695A (ja) * 2013-10-04 2016-10-27 アイシークラリティー,インク. センサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法
JP2016001794A (ja) * 2014-06-11 2016-01-07 シャープ株式会社 表示装置
US20170142312A1 (en) * 2015-11-12 2017-05-18 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
WO2017208437A1 (ja) * 2016-06-03 2017-12-07 マクセル株式会社 撮像装置および撮像システム
JP2018032952A (ja) * 2016-08-23 2018-03-01 トヨタ自動車株式会社 画像処理装置
US20180131923A1 (en) * 2016-11-08 2018-05-10 Altek Semiconductor Corp. Image capturing device

Also Published As

Publication number Publication date
WO2020015821A1 (en) 2020-01-23
KR20210029200A (ko) 2021-03-15
KR102506363B1 (ko) 2023-03-06
CN112262567A (zh) 2021-01-22
US20210274108A1 (en) 2021-09-02
EP3824617A1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
KR101265358B1 (ko) 컬러 디지털 이미지를 사용하여 선명도 변경과 같은 액션을제어하는 방법
JP6911192B2 (ja) 画像処理方法、装置および機器
US9967535B2 (en) Methods and apparatus for reducing noise in images
KR101427660B1 (ko) 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
JP6838994B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
KR102266649B1 (ko) 이미지 처리 방법 및 장치
JP2020528700A (ja) デュアルカメラを使用する画像処理のための方法および移動端末
JP2009200560A (ja) 撮像装置、撮像方法及びプログラム
JP6800797B2 (ja) 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
KR20040062894A (ko) 카메라
AU2010221241A1 (en) Temporally aligned exposure bracketing for high dynamic range imaging
US9300857B2 (en) Real-time sharpening of raw digital images
US20140184586A1 (en) Depth of field visualization
JP2021532640A (ja) ただ二つのカメラを備える装置およびこの装置を用いて二つの画像を生成する方法
US11756221B2 (en) Image fusion for scenes with objects at multiple depths
US20180077298A1 (en) Image-capturing assistance device and image-capturing device
US20130120629A1 (en) Photographing apparatus and photographing method
JP2017060010A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
US8681245B2 (en) Digital photographing apparatus, and method for providing bokeh effects
JP2017060010A5 (ja)
JPWO2019171691A1 (ja) 画像処理装置、および撮像装置、並びに画像処理方法
JP2015084518A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
CN117241131B (zh) 图像处理方法和装置
WO2022226823A1 (en) Lens positioning for secondary camera in multi-camera system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230228