JP2021502004A - カメラモジュール、処理方法、装置、電子機器、記憶媒体及びプログラム - Google Patents

カメラモジュール、処理方法、装置、電子機器、記憶媒体及びプログラム Download PDF

Info

Publication number
JP2021502004A
JP2021502004A JP2019506519A JP2019506519A JP2021502004A JP 2021502004 A JP2021502004 A JP 2021502004A JP 2019506519 A JP2019506519 A JP 2019506519A JP 2019506519 A JP2019506519 A JP 2019506519A JP 2021502004 A JP2021502004 A JP 2021502004A
Authority
JP
Japan
Prior art keywords
signal
photosensitive pixel
photosensitive
image
camera module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019506519A
Other languages
English (en)
Other versions
JP6946416B2 (ja
Inventor
昆 ▲馬▼
昆 ▲馬▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Publication of JP2021502004A publication Critical patent/JP2021502004A/ja
Application granted granted Critical
Publication of JP6946416B2 publication Critical patent/JP6946416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示は、カメラモジュール、処理方法及び装置、電子機器、記憶媒体及びプログラムに関する。前記カメラモジュールは、画像センサーと、前記画像センサーにおける感光画素の一部を覆い、覆われている感光画素に向けて入射する入射光線を異なる位相の回折光線に分散させてから１つ又は複数の感光画素に入射する回折構造と、２Ｄ画像を生成するように前記回折光線を受信しない感光画素に対応する第１の感知信号を取得し、３Ｄ情報を生成するように前記回折光線に対応する第２の感知信号を取得する信号処理構造と、を含む。【選択図】図１

Description

本願は、出願番号が２０１８１１０５２６２０．４であって、出願日が２０１８年９月１０日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
本開示は、端末技術分野に関し、特に、カメラモジュール、処理方法、装置、電子機器及び記憶媒体に関する。
電子機器にカメラモジュールを組み立てることにより、２Ｄ画像の収集及び生成を実現することができる。３Ｄ顔認識技術や拡張現実感技術などの発展に伴い、電子機器による３Ｄ情報の収集が求められている。
従来技術では、電子機器に３Ｄ情報収集ユニットを実装することにより、構造化光やＴＯＦなどの技術による３Ｄ情報収集機能を実現することができるが、電子機器にスペースを別途占用する必要となる。
本開示は、従来技術における欠点を解決するために、カメラモジュール、処理方法、装置、電子機器及び記憶媒体を提供する。
本開示の実施例の第１の態様によれば、カメラモジュールを提供し、前記カメラモジュールは、
画像センサーと、
前記画像センサーにおける感光画素の一部を覆い、覆われている感光画素に向けて入射する入射光線を異なる位相の回折光線に分散させてから１つ又は複数の感光画素に入射させる回折構造と、
２Ｄ画像を生成するように前記回折光線を受信しない感光画素に対応する第１の感知信号を取得し、３Ｄ情報を生成するように前記回折光線に対応する第２の感知信号を取得する信号処理構造と、を含む。
選択的に、前記回折構造は、複数の回折領域を含み、各回折領域は、１つ又は複数の感光画素を覆う。
選択的に、前記回折領域は、同一感光画素が１つの回折領域により形成される回折光線しか受信できないように、互いに分離している。
選択的に、前記画像センサーにおける感光画素は、感光画素アレイを構成し、複数の回折領域は、前記感光画素アレイに均等に分布している。
選択的に、前記画像センサーにおける感光画素は、感光画素アレイを構成し、前記感光画素アレイの中央領域における回折領域の分布密度は、エッジ領域におけるその分布密度よりも高い。
選択的に、前記回折構造は、回折レンズ又は回折フィルムを含む。
選択的に、前記カメラモジュールは、前記画像センサーの感光画素を覆うカラーフィルターをさらに含む。
ここで、前記回折構造は、前記感光画素と前記カラーフィルターとの間に位置し、又は前記カラーフィルターの前記感光画素から離れた側に位置する。
本開示の実施例の第２の態様によれば、電子機器を提供し、前記電子機器は、上記実施例のいずれかに記載のカメラモジュールを含む。
選択的に、前記電子機器のフロントカメラ及び／又はバックカメラは、前記カメラモジュールから構成される。
選択的に、前記電子機器は、
前記カメラモジュールから出力された第１の感知信号及び第２の感知信号をそれぞれ取得し、前記第１の感知信号に基づいて２Ｄ画像を生成し、前記第２の感知信号に基づいて３Ｄ情報を生成するプロセッサをさらに含む。
本開示の実施例の第３の態様によれば、上記実施例のいずれかに記載の電子機器に応用される処理方法を提供し、前記方法は、
カメラモジュールから出力された第１の感知信号及び第２の感知信号を取得するステップと、
前記第１の感知信号に基づいて２Ｄ画像を生成するステップと、
前記第２の感知信号に基づいて３Ｄ情報を生成するステップと、を含む。
選択的に、前記第１の感知信号に基づいて２Ｄ画像を生成するステップは、
前記第１の感知信号及び前記第２の感知信号を処理して前記２Ｄ画像を生成し、
又は、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、補償された信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するステップを含む。
選択的に、いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される。
本開示の実施例の第４の態様によれば、上記実施例のいずれかに記載の電子機器に応用される処理装置を提供し、前記装置は、
カメラモジュールから出力された第１の感知信号及び第２の感知信号を取得する取得ユニットと、
前記第１の感知信号に基づいて２Ｄ画像を生成する画像生成ユニットと、
前記第２の感知信号に基づいて３Ｄ情報を生成する情報生成ユニットと、を含む。
選択的に、前記画像生成ユニットは、処理サブユニット又は補償サブユニットを含む。
前記処理サブユニットは、前記２Ｄ画像を生成するように、前記第１の感知信号及び前記第２の感知信号を処理するように構成される。
前記補償サブユニットは、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、補償された信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するように構成される。
選択的に、いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される。
本開示の実施例の第５の態様によれば、電子機器を提供し、前記電子機器は、
プロセッサと、
前記プロセッサで実行可能な命令を記憶するためのメモリと、を含み、
ここで、前記プロセッサは、実行可能な命令を実行することにより上記実施例のいずれかに記載の方法を実現する。
本発明の実施例の第６の態様によれば、コンピュータ命令を記憶しているコンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ命令がプロセッサにより実行される場合、上記実施例のいずれかに記載の方法のステップを実現する。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本開示を限定するものではない。
以下の図面は、明細書に組み入れて本明細書の一部分を構成し、本開示に該当する実施例を例示するとともに、明細書とともに本開示の原理を解釈する。
一例示的な実施例に係るカメラモジュールの構造を示す模式図である。 一例示的な実施例に係るカメラモジュールを示す断面図である。 一例示的な実施例に係る他のカメラモジュールを示す断面図である。 一例示的な実施例に係る回折領域の均等配置を示す模式図である。 一例示的な実施例に係る回折領域の他の均等配置を示す模式図である。 一例示的な実施例に係る回折領域のランダム配置を示す模式図である。 一例示的な実施例に係る回折領域の規則的配置を示す模式図である。 一例示的な実施例に係る処理方法を示すフローチャートである。 一例示的な実施例に係る処理装置を示すブロック図である。 一例示的な実施例に係る他の処理装置を示すブロック図である。 一例示的な実施例に係る処理装置の構造を示す模式図である。
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施例に記載の実施形態は、本発明と一致する全ての実施形態を代表するものではない。即ち、それらは、特許請求の範囲で詳細に記載される本発明のある側面に一致する装置及び方法の例に過ぎない。
本発明に記載の用語は、特定の実施例を説明する目的で使用されるものに過ぎず、本発明を限定するものではない。本発明及び添付された特許請求の範囲に記載の単数形式の「１種類」、「前記」及び「当該」は、前後の文章においてそれぞれ他の意味を含有すると明確に記載される以外には、複数の形式も含む。なお、本発明に記載の「及び／又は」は、挙げられる事項の１つ又は複数の何れ又は全ての組み合わせを意味する。
また、本発明は、第１、第２、第３などの用語を使って各種の情報を説明するが、それらの情報は上記用語に限定されない。それらの用語は、同一種類の情報同士を区分するためのものに過ぎない。例えば、本発明の範囲から逸脱しない状況で、第１の情報を第２の情報と称しても良い。同様に、第２の情報を第１の情報と称してもよい。ここで使っている用語「……場合」は、上下文の意味によって、「……時」又は「……と」又は「確定に応じる」に解釈されてもよい。
図１は一例示的な実施例に係るカメラモジュールの構造を示す模式図である。図１に示すように、このカメラモジュールは、画像センサー１（ｓｅｎｓｏｒ）と、回折構造２と、信号処理構造３と、を含む。その中、画像センサー１は、複数の感光画素を含み、これらの感光画素は、画像センサー１に入射する光線を感知するように、図１に示すようなＲ（ｒｅｄ、赤）、Ｇ（ｇｒｅｅｎ、緑）、Ｂ（ｂｌｕｅ、青）画素アレイを形成する。回折構造２は、画像センサー１における感光画素の一部を覆うことができ、例えば、図１における画素アレイが６４個の感光画素を含み、回折構造２が、その中の１６個の感光画素を覆い、覆われている感光画素に向けて入射する入射光線を異なる位相の回折光線に分散させてから１つ又は複数の感光画素に入射させる（即ち、１つの感光画素が１つ又は複数の位相の回折光線を受信することができる）。信号処理構造３は、２Ｄ画像を生成するように前記回折光線を受信しない感光画素に対応する第１の感知信号を取得し、且つ、３Ｄ情報を生成するように前記回折光線に対応する第２の感知信号を取得することができる。
したがって、別個の３Ｄ情報収集ユニットを別途装着する必要がなく、電子機器に本開示によるカメラモジュールのみを組み立てれば、２Ｄ画像及び３Ｄ情報を収集する機能を備え、電子機器にスペースを別途占用することを回避することができる。ここで、回折構造２が画像センサー１における感光画素の一部のみを覆うので、３Ｄ情報の取得を確保する上で、２Ｄ画像の生成への影響を可能な限り低減させ、２Ｄ画像の画質の劣化を回避することができる。
一実施例において、回折構造２は、回折機能を実現可能な任意の材料からなるが、本発明はこれを限定するものではない。例えば、この回折構造２は、回折レンズであってもよい。また、この回折構造２は、回折フィルムなどであってもよい。
一実施例において、図１に示す実施例における画像センサー１は、ベイヤーアレイ（Ｂａｙｅｒ Ａｒｒａｙ）でＲＢＧ感光画素をアレイ化しているが、本開示は、これを限定するものではなく、従来技術におけるＲＧＢＷ画素配列やＸ−Ｔｒａｎｓ画素配列などのその他の任意の画素配列パターンにも適用可能である。
本開示の技術案において、回折構造２が画像センサー１に入射する光線（回折構造２により覆われた感光画素に入射する光線）を回折させることを確保すればよく、つまり、回折構造２は、カメラモジュールにおけるその他の構造との位置関係にかかわらず、画像センサー１の前方に配置されるべきである。例えば、図２は一例示的な実施例に係るカメラモジュールを示す断面図である。図２に示すように、カメラモジュールは、画像センサー１、回折構造２以外に、カラーフィルター４（Ｃｏｌｏｒ Ｆｉｌｔｅｒ）をさらに含むことができる。この回折構造２は、カラーフィルター４の画像センサー１（又は感光画素）から離れた側に位置してもよく、即ち、回折構造２、カラーフィルター４及び画像センサー１が順次積層されている。また、例えば、図３は一例示的な実施例に係る他のカメラモジュールを示す断面図である。図３に示すように、回折構造２は、画像センサー１（又は感光画素）とカラーフィルター４との間に位置してもよい。
本発明の技術案において、回折構造２は、いくつかの回折領域２０を含むことができ、例えば、図１に示す実施例において４個の回折領域２０を含むが、他の実施例において１つ以上の他の数の回折領域２０を含むことができ、本発明はこれを限定するものではない。ここで、各回折領域２０は、図１に示す円形の以外、楕円形、矩形などの他の任意の形状を採用し得るが、本発明はこれを限定するものではない。
図２−３に示す実施例と組み合わせて、回折構造２に含まれるいくつかの回折領域２０が同一層に位置することが多く、各回折領域２０と画像センサー１との間の距離が等しく、これらの回折領域２０同士が、互いに独立していてもよいし、透明な材料によって一体的に接続されていてもよく、本発明はこれを限定するものではない。
図４は一例示的な実施例に係る回折領域の均等配置を示す模式図である。図４に示すように、回折構造２は、４個の回折領域２０を含むことができ、これらの回折領域２０が画像センサー１により形成される画素アレイに均等に分布することにより、回折構造２の２Ｄ画像への影響も各位置に均一に分担され、局所で２Ｄ画像に大きな影響を及ぼすことを回避することができる。同様に、図５は一例示的な実施例に係る回折領域の他の均等配置を示す模式図である。図５に示すように、回折構造２は、５個の回折領域２０を含むことができ、これらの回折領域２０は、画像センサー１により形成される画素アレイに均等に分布することができる。
ここで、回折領域２０の数だけでなく、図４及び図５に示す実施例における各回折領域２０により覆われた感光画素の数も異なり、例えば、図４における各回折領域２０は４個の感光領域を覆うことができ、図５における各回折領域２０は９個又はそれ以上の感光領域を覆うことができる。勿論、本開示の技術案に係る各回折領域２０は１つ又は複数の感光画素を覆うことができるが、本開示は覆われた感光画素の数を限定するものではない。
図６は一例示的な実施例に係る回折領域のランダム配置を示す模式図である。図６に示すように、回折構造２が複数の回折領域２０を含む場合、これらの回折領域２０が画像センサー１により形成される画素アレイにランダムに分布することができ、対応する回折機能を実現して２Ｄ画像及び３Ｄ情報を生成すればよい。
図７は一例示的な実施例に係る回折領域の規則的配置を示す模式図である。画像センサー１における感光画素により構成される感光画素アレイにおいて、回折構造２に含まれる複数の回折領域２０は、この感光画素アレイの中央領域の分布密度がエッジ領域の分布密度よりも高くてもよい。例えば、図７に示す実施例において、中央領域には７個の回折領域２０が分布できるが、エッジ領域には４個の回折領域２０のみが分布することにより、より重要な中央領域においてより多くの３Ｄ情報を取得することができ、３Ｄ顔認識などの場合、認識精度の向上に寄与する。
なお、回折構造２が複数の回折領域２０を含む場合、これらの回折領域２０同士は、同じ感光画素が１つの回折領域により形成される回折光線しか受信できないように、互いに分離しているべきである。これにより、複数の回折領域２０により形成される回折光線が同じ感光画素に入射することを回避し、最終的に得られた３Ｄ情報が十分な精度を有することを確保する。
本開示の技術案において、上記のいずれかの実施例によるカメラモジュールは、ある電子機器に適用可能であり、例えば、このカメラモジュールをこの電子機器のフロントカメラ又はバックカメラとするか、又はフロントカメラとバックカメラの両方とすることにより（同一のカメラがフロントカメラ及びバックカメラの両方としてもよいか、又は複数のカメラの一部をフロントカメラとし、残りのものをバックカメラとする）、２Ｄ画像を収集するとともに、３Ｄ情報を生成することもできる。ここで、この電子機器は、携帯電話、タブレットデバイス、ノートパソコン、ウェアラブルデバイスなどであってよく、本発明はこれを限定するものではない。
一実施例において、電子機器のプロセッサは、前記カメラモジュールから出力された第１の感知信号及び第２の感知信号をそれぞれ取得し、前記第１の感知信号に基づいて２Ｄ画像を生成し、前記第２の感知信号に基づいて３Ｄ情報を生成することができる。以下、図８を参照しプロセッサの処理ロジックを詳細に説明する。
図８は一例示的な実施例に係る処理方法を示すフローチャートであり、図８に示すように、前記方法は、上記の電子機器に適用し、以下のステップを含むことができる。
ステップ８０２において、カメラモジュールから出力された第１の感知信号、第２の感知信号を取得する。
一実施例において、カメラモジュールは、第１の感知信号及び第２の感知信号を出力する能力を同時に有するが、電子機器におけるプロセッサは、要求に応じて、同じ時刻に第１の感知信号又は第２の感知信号のみを出力してもよいし、同じ時刻に第１の感知信号及び第２の感知信号を同時に出力してもよい。
一実施例において、カメラモジュールは、第１の感知信号及び第２の感知信号を同時に出力できるが、プロセッサは、実際の要求に応じて、第１の感知信号に基づいて２Ｄ画像を生成するか、又は、第２の感知信号に基づいて３Ｄ情報を生成するか、又は、２Ｄ画像及び３Ｄ情報を同時に生成するかを選択可能となる。
ステップ８０４Ａにおいて、前記第１の感知信号に基づいて２Ｄ画像を生成する。
一実施例において、プロセッサは、前記第１の感知信号及び前記第２の感知信号を直接処理して前記２Ｄ画像を生成することができる。
一実施例において、第２の感知信号に含まれる３Ｄ情報が２Ｄ画像に影響を及ぼすおそれがあるので、第１の感知信号に基づいて回折光線を受信した感光画素に対して信号補償を行い、得られた補償後の信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成することができる。ここで、上記の補償プロセスは、第１の感知信号に基づいて第２の感知信号を補正するか、又は、第２の感知信号を完全に破棄して、前記第１の感知信号のみに基づいて回折光線を受信した感光画素に対して補間修復を行うことができる。
ステップ８０４Ｂにおいて、前記第２の感知信号に基づいて３Ｄ情報を生成する。
一実施例において、いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される。特に、ある位置における３Ｄ情報を生成する場合、比較的遠い距離にある感光画素により感知された第２の感知信号を参照すると、３Ｄ情報取得画素間のベースライン（ｂａｓｅｌｉｎｅ）を改善するのに寄与し、３Ｄ情報の生成精度を向上させることができる。
一実施例において、従来技術における３Ｄ情報生成方式を参照することにより、プロセッサが回折光線に対応する第２の感知信号に基づいて３Ｄ情報を生成することが可能となり、本発明は上記の３Ｄ情報生成方式の内容を限定するものではない。例えば、１つの３Ｄ情報生成方式の原理として、感光画素を複数の組に分け、その１組の感光画素の少なくとも１つの画素の片側が図１に示す回折構造２により覆われ、少なくとも１つの他の画素の他方の片側が回折構造２により覆われるので、これらの画素により感知された第２の感知信号が１組として一体化されることにより、双眼カメラに対応する光線の受信のアプリケーションシナリオをシミュレートし、これにより対応する３Ｄ情報（例えば対象物の深さ）を算出する。
本開示は、上述した処理方法の実施例に対応し、処理装置の実施例をさらに提供する。
図９は一例示的な実施例に係る処理装置を示すブロック図である。図９を参照すると、前記装置は、
カメラモジュールから出力された第１の感知信号、第２の感知信号を取得する取得ユニット９１と、
前記第１の感知信号に基づいて２Ｄ画像を生成する画像生成ユニット９２と、
前記第２の感知信号に基づいて３Ｄ情報を生成する情報生成ユニット９３と、を含む。
選択的に、いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される。
図１０に示すように、図１０は一例示的な実施例に係る他の処理装置を示すブロック図であり、本実施例は、上記の図９に示す実施例において、画像生成ユニット９２が処理サブユニット９２１又は補償サブユニット９２２を含む。
前記処理サブユニット９２１は、前記２Ｄ画像を生成するように、前記第１の感知信号及び前記第２の感知信号を処理するように構成される。
前記補償サブユニット９２２は、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、且つ得られた補償後の信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するように構成される。
上述した実施例の装置において各モジュールが操作を実行する具体的な形態は、既に前記方法に係る実施例において詳しく説明しており、ここで詳細な説明を省略する。
装置の実施例は、基本的に方法の実施例に対応するので、関連する部分は、方法の実施例の一部の説明を参照すればよい。前述した装置の実施例は、単に例示的なものであり、ここで、上記の分離部材として説明されるユニットは、物理的に離間したものであってもよいが、物理的に離間したものでなくてもよく、ユニットとして表示される部材は、物理的ユニットであってもよいが、物理的ユニットではなくてもよく、即ち、１つの場所に位置してもよいが、複数のネットワークユニットに分散されてもよい。実際の要求に応じて、その中の一部又は全部のモジュールを選択して、本開示の実施形態の目的を実現することができる。当業者は、創造的な労働を付与していない前提の下でも理解して実施することができる。
相応的に、本発明は、処理装置をさらに提供し、前記装置は、プロセッサと、前記プロセッサで実行可能な命令を記憶するためのメモリと、を含む。ここで、前記プロセッサは、実行可能な命令を実行することにより上記実施例のいずれかに記載の処理方法を実現するように構成される。
相応的に、本発明は、端末をさらに提供し、前記端末は、メモリと、１つ又は１つ以上のプログラムと、を含み、ここで、１つ又は１つ以上のプログラムは、メモリに記憶され、且つ、１つ又は１つ以上のプロセッサにより、以下のように操作するための命令が含まれる前記１つ又は１つ以上のプログラムを実行する。カメラモジュールから出力された第１の感知信号、第２の感知信号を取得し、前記第１の感知信号に基づいて２Ｄ画像を生成し、前記第２の感知信号に基づいて３Ｄ情報を生成する。
選択的に、前記第１の感知信号に基づいて２Ｄ画像を生成するステップは、
前記第１の感知信号及び前記第２の感知信号を処理して前記２Ｄ画像を生成し、
又は、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、且つ得られた補償後の信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するステップを含む。
選択的に、いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される。
図１１は一例示的な実施例に係る処理装置１１００の構造を示す模式図である。例えば、装置１１００は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機、ゲーム機、タブレットデバイス、医療機器、フィットネス機器、ＰＤＡなどのものであってもよい。
図１１を参照すると、電子機器１１００は、処理ユニット１１０２、メモリ１１０４、電源ユニット１１０６、マルチメディアユニット１１０８、オーディオユニット１１１０、入力／出力（Ｉ／Ｏ）インタフェース１１１２、センサーユニット１１１４、及び通信ユニット１１１６のうちの少なくとも１つを備えてもよい。
処理ユニット１１０２は、一般的には、電子機器１１００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット１１０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサ１１２０を備えてもよい。また、処理ユニット１１０２は、他のユニットとのインタラクションを便利にさせるように、少なくとも１つのモジュールを備えてもよい。例えば、処理ユニット１１０２は、マルチメディアユニット１１０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
メモリ１１０４は、電子機器１１００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置１１００で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ１１０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
電源ユニット１１０６は、装置１１００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置１１００のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
マルチメディアユニット１１０８は、前記装置１１００とユーザーとの間に出力インタフェースを提供するスクリーンを備えてもよい。一実施例では、スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザーからの入力信号を受信するように、タッチスクリーンになることができる。タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも１つのタッチセンサーを有してもよい。前記タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、前記タッチやスライド操作と関連する持続時間や圧力も感知できる。一実施例では、マルチメディアユニット１１０８は、フロントカメラ及び／又はバックカメラを有してもよい。装置１１００が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び／又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。ここで、フロントカメラ及び／又はバックカメラは、本開示の技術案によるカメラモジュールを採用でき、このカメラモジュールは、２Ｄ画像及び３Ｄ情報を収集する機能を同時に有し、実際の需要に応じて、２Ｄ画像及び／又は３Ｄ情報を収集することができる。
オーディオユニット１１１０は、オーディオ信号を出力及び／又は入力するように配置される。例えば、オーディオユニット１１１０は、マイクロフォン（ＭＩＣ）を有してもよい。電子機器１１００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ１１０４にさらに記憶されてもよいし、通信ユニット１１１６を介して送信されてもよい。一実施例では、オーディオユニット１１１０は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
Ｉ／Ｏインタフェース１１１２は、処理ユニット１１０２と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
センサーユニット１１１４は、装置１１００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサーユニット１１１４は、装置１１００のオン／オフ状態や、ユニットの相対的な位置を感知することができる。例えば、前記ユニットは、装置１１００のディスプレイ及びキーパッドである。センサーユニット１１１４は、装置１１００又は装置１１００の１つのユニットの位置の変化や、ユーザーが装置１１００に接触しているか否かや、装置１１００の方向又は加速／減速や、装置１１００の温度変化を感知することもできる。センサーユニット１１１４は、何れの物理的な接触もない場合に付近の物体を感知するように配置される近接センサーを有してもよい。センサーユニット１１１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。一実施例では、当該センサーユニット１１１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー、又は温度センサーをさらに備えてもよい。
通信ユニット１１１６は、装置１１００と他の設備の間との無線又は有線通信を便利にさせるように配置される。装置１１００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。１つの例示的な実施例では、通信ユニット１１１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。１つの例示的な実施例では、前記通信ユニット１１１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔ（登録商標））技術及び他の技術によって実現されてもよい。
例示的な実施例では、装置１１００は、上述した方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、数字信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラム可能論理デバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子機器によって実現されてもよい。
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ１１０４をさらに提供し、前記命令は、装置１１００のプロセッサ１１２０により実行されて上述した処理方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリなどであってもよい。
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本開示に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本開示の一般的な原理に従い、本開示では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本開示の本当の範囲と主旨は、以下の特許請求の範囲によって示される。
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
本願は、出願番号が２０１８１１０５２６２０．４であって、出願日が２０１８年９月１０日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
本開示は、端末技術分野に関し、特に、カメラモジュール、処理方法、装置、電子機器、記憶媒体及びプログラムに関する。
本開示は、従来技術における欠点を解決するために、カメラモジュール、処理方法、装置、電子機器、記憶媒体及びプログラムを提供する。
本発明の実施例の第７の態様によれば、プログラムを提供し、プロセッサに実行されることにより、上記実施例のいずれかに記載の方法のステップを実現する。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本開示を限定するものではない。

Claims (18)

  1. 画像センサーと、
    前記画像センサーにおける感光画素の一部を覆い、覆われている感光画素に向けて入射する入射光線を異なる位相の回折光線に分散させてから１つ又は複数の感光画素に入射させる回折構造と、
    ２Ｄ画像を生成するように前記回折光線を受信しない感光画素に対応する第１の感知信号を取得し、３Ｄ情報を生成するように前記回折光線に対応する第２の感知信号を取得する信号処理構造と、を含む
    ことを特徴とするカメラモジュール。
  2. 前記回折構造は、複数の回折領域を含み、
    各回折領域は、１つ又は複数の感光画素を覆うことを特徴とする請求項１に記載のカメラモジュール。
  3. 前記回折領域は、同一感光画素が１つの回折領域により形成される回折光線しか受信できないように、互いに分離していることを特徴とする請求項２に記載のカメラモジュール。
  4. 前記画像センサーにおける感光画素は、感光画素アレイを構成し、
    複数の回折領域は、前記感光画素アレイに均等に分布していることを特徴とする請求項２に記載のカメラモジュール。
  5. 前記画像センサーにおける感光画素は、感光画素アレイを構成し、
    前記感光画素アレイの中央領域における回折領域の分布密度は、エッジ領域におけるその分布密度よりも高いことを特徴とする請求項２に記載のカメラモジュール。
  6. 前記回折構造は、回折レンズ又は回折フィルムを含むことを特徴とする請求項１に記載のカメラモジュール。
  7. 前記カメラモジュールは、前記画像センサーの感光画素を覆うカラーフィルターをさらに含み、
    ここで、前記回折構造は、前記感光画素と前記カラーフィルターとの間に位置し、又は前記カラーフィルターの前記感光画素から離れた側に位置する
    ことを特徴とする請求項１に記載のカメラモジュール。
  8. 請求項１ないし７のいずれか１項に記載のカメラモジュールを含むことを特徴とする電子機器。
  9. 前記電子機器のフロントカメラ及び／又はバックカメラは、前記カメラモジュールから構成されることを特徴とする請求項８に記載の電子機器。
  10. 前記カメラモジュールから出力された第１の感知信号及び第２の感知信号をそれぞれ取得し、第１の感知信号に基づいて２Ｄ画像を生成し、第２の感知信号に基づいて３Ｄ情報を生成するプロセッサをさらに含む
    ことを特徴とする請求項８に記載の電子機器。
  11. 請求項８ないし１０のいずれか１項に記載の電子機器に応用され、
    カメラモジュールから出力された第１の感知信号及び第２の感知信号を取得するステップと、
    前記第１の感知信号に基づいて２Ｄ画像を生成するステップと、
    前記第２の感知信号に基づいて３Ｄ情報を生成するステップと、を含む
    ことを特徴とする処理方法。
  12. 前記第１の感知信号に基づいて２Ｄ画像を生成するステップは、
    前記第１の感知信号及び前記第２の感知信号を処理して前記２Ｄ画像を生成し、
    又は、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、補償された信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するステップを含む
    ことを特徴とする請求項１１に記載の方法。
  13. いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成されることを特徴とする請求項１１に記載の方法。
  14. 請求項８ないし１０のいずれか１項に記載の電子機器に応用され、
    カメラモジュールから出力された第１の感知信号及び第２の感知信号を取得する取得ユニットと、
    前記第１の感知信号に基づいて２Ｄ画像を生成する画像生成ユニットと、
    前記第２の感知信号に基づいて３Ｄ情報を生成する情報生成ユニットと、を含む
    ことを特徴とする処理装置。
  15. 前記画像生成ユニットは、処理サブユニット又は補償サブユニットを含み、
    前記処理サブユニットは、前記２Ｄ画像を生成するように、前記第１の感知信号及び前記第２の感知信号を処理するように構成され、
    前記補償サブユニットは、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、補償された信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するように構成される
    ことを特徴とする請求項１４に記載の装置。
  16. いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される
    ことを特徴とする請求項１４に記載の装置。
  17. プロセッサと、
    前記プロセッサで実行可能な命令を記憶するためのメモリと、を含み、
    ここで、前記プロセッサは、実行可能な命令を実行することにより請求項１１ないし１３のいずれか１項に記載の方法を実現する
    ことを特徴とする電子機器。
  18. コンピュータ命令を記憶しているコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータ命令がプロセッサにより実行される場合、請求項１１ないし１３のいずれか１項に記載の方法のステップを実現することを特徴とするコンピュータ読み取り可能な記録媒体。
JP2019506519A 2018-09-10 2018-11-16 カメラモジュール、処理方法、装置、電子機器、記憶媒体及びプログラム Active JP6946416B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811052620.4 2018-09-10
CN201811052620.4A CN110891131A (zh) 2018-09-10 2018-09-10 摄像头模组、处理方法及装置、电子设备、存储介质
PCT/CN2018/116016 WO2020052063A1 (zh) 2018-09-10 2018-11-16 摄像头模组、处理方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
JP2021502004A true JP2021502004A (ja) 2021-01-21
JP6946416B2 JP6946416B2 (ja) 2021-10-06

Family

ID=67981858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506519A Active JP6946416B2 (ja) 2018-09-10 2018-11-16 カメラモジュール、処理方法、装置、電子機器、記憶媒体及びプログラム

Country Status (7)

Country Link
US (1) US11425299B2 (ja)
EP (1) EP3621289B1 (ja)
JP (1) JP6946416B2 (ja)
KR (1) KR102285442B1 (ja)
CN (1) CN110891131A (ja)
RU (1) RU2730183C1 (ja)
WO (1) WO2020052063A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246073B (zh) * 2020-03-23 2022-03-25 维沃移动通信有限公司 成像装置、方法及电子设备
CN115250320B (zh) * 2021-04-28 2024-06-14 北京小米移动软件有限公司 图像获取方法及装置、电子设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012212978A (ja) * 2011-03-30 2012-11-01 Nikon Corp 撮像素子および撮像装置
JP2014041202A (ja) * 2012-08-21 2014-03-06 Nikon Corp 焦点検出装置および撮像装置
JP2016156934A (ja) * 2015-02-24 2016-09-01 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5013133A (en) * 1988-10-31 1991-05-07 The University Of Rochester Diffractive optical imaging lens systems
CN2689459Y (zh) * 2003-12-19 2005-03-30 鸿富锦精密工业（深圳）有限公司 图像传感器
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
WO2011106327A2 (en) * 2010-02-23 2011-09-01 California Institute Of Technology High resolution imaging devices with wide field and extended focus
WO2013086452A1 (en) * 2011-12-09 2013-06-13 California Institute Of Technology Multi-view difraction granting imaging with two-dimensional displacement measurement for three-dimensional deformation or profile output
CN102494771A (zh) * 2011-12-14 2012-06-13 中国科学院光电研究院 一种衍射光学成像系统及包含该衍射光学成像系统的成像光谱仪
JPWO2013108656A1 (ja) * 2012-01-16 2015-05-11 ソニー株式会社 固体撮像素子およびカメラシステム
EP2815251B1 (en) * 2012-02-15 2017-03-22 Heptagon Micro Optics Pte. Ltd. Time of flight camera with stripe illumination
US20130229712A1 (en) * 2012-03-02 2013-09-05 Google Inc. Sandwiched diffractive optical combiner
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US9402067B2 (en) * 2012-10-22 2016-07-26 Samsung Electronics Co., Ltd. Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
US10154197B2 (en) * 2013-09-11 2018-12-11 Google Llc Image capture device having light field image capture mode, 2D image capture mode, and intermediate capture mode
US9445018B2 (en) * 2014-05-01 2016-09-13 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
RU2595759C2 (ru) * 2014-07-04 2016-08-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для захвата изображения и одновременного извлечения глубины
ES2529267B1 (es) * 2014-09-25 2015-12-18 Sergio Oscar Luque Lente intraocular multifocal con profundidad de campo extendida
EP3029931A1 (en) * 2014-12-04 2016-06-08 Thomson Licensing Image sensor unit and imaging apparatus
CN108156360A (zh) * 2018-01-29 2018-06-12 信利光电股份有限公司 一种具有3d效果的摄像模组结构

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012212978A (ja) * 2011-03-30 2012-11-01 Nikon Corp 撮像素子および撮像装置
JP2014041202A (ja) * 2012-08-21 2014-03-06 Nikon Corp 焦点検出装置および撮像装置
JP2016156934A (ja) * 2015-02-24 2016-09-01 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム

Also Published As

Publication number Publication date
WO2020052063A1 (zh) 2020-03-19
KR102285442B1 (ko) 2021-08-04
EP3621289B1 (en) 2023-08-16
KR20200032025A (ko) 2020-03-25
CN110891131A (zh) 2020-03-17
RU2730183C1 (ru) 2020-08-19
EP3621289A1 (en) 2020-03-11
JP6946416B2 (ja) 2021-10-06
US11425299B2 (en) 2022-08-23
US20200084374A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
RU2667714C2 (ru) Мобильное устройство и его модуль экрана, способ и устройство для получения отпечатка пальца и электронное устройство
US10268861B2 (en) Screen module, fingerprint acquisition method, and electronic device
RU2672173C2 (ru) Способ и устройство для обработки видеоинформации
KR101831077B1 (ko) 색역 모드 스위칭 방법 및 장치
US20230009389A1 (en) One-hand operation method and electronic device
CN104221369A (zh) 摄像元件以及使用该摄像元件的摄像装置和摄像方法
CN105474626A (zh) 摄像装置
CN103096098A (zh) 成像装置
JP6946416B2 (ja) カメラモジュール、処理方法、装置、電子機器、記憶媒体及びプログラム
CN112825040B (zh) 用户界面的显示方法、装置、设备及存储介质
US10951816B2 (en) Method and apparatus for processing image, electronic device and storage medium
EP2728850B1 (en) Close-up photography method and terminal supporting the same
CN104221149A (zh) 摄像元件以及摄像装置
EP3933502A1 (en) Optical processing apparatus, camera module, electronic device and capturing method
WO2016080088A1 (ja) 撮像装置及びその制御方法
US20180314394A1 (en) Method and apparatus for sorting filter options
US11016660B2 (en) Method and apparatus for responding to gesture operation and storage medium
CN113573120A (zh) 音频的处理方法及电子设备
CN115514874A (zh) 一种视频拍摄方法及电子设备
KR20160081698A (ko) 화이트 밸런스 모듈 및 이를 구비하는 이동 단말기
KR20190067685A (ko) 카메라 장치를 구비하는 전자장치
US9560178B1 (en) Support housing for modular electronic devices
CN210038409U (zh) 彩色图像采集设备和电子设备
CN116929542A (zh) 光感检测模组、光感检测方法、装置及存储介质
KR100735255B1 (ko) 디지털 오디오 방송을 제공하는 방법과 그에 따른 디지털방송 수신장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210915

R150 Certificate of patent or registration of utility model

Ref document number: 6946416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150