JP2021521438A - カメラモジュールおよびその深さ情報抽出方法 - Google Patents

カメラモジュールおよびその深さ情報抽出方法 Download PDF

Info

Publication number
JP2021521438A
JP2021521438A JP2020555858A JP2020555858A JP2021521438A JP 2021521438 A JP2021521438 A JP 2021521438A JP 2020555858 A JP2020555858 A JP 2020555858A JP 2020555858 A JP2020555858 A JP 2020555858A JP 2021521438 A JP2021521438 A JP 2021521438A
Authority
JP
Japan
Prior art keywords
unit
light signal
image sensor
camera module
reflected light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020555858A
Other languages
English (en)
Inventor
ウン ソン キム
ウン ソン キム
ウン イ
ウン イ
チャン ヒョク イ
チャン ヒョク イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of JP2021521438A publication Critical patent/JP2021521438A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/006—Filter holders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings

Abstract

本発明の一実施例に係るカメラモジュールは、客体に照射される入射光信号を出力する照明部、前記客体から反射した反射光信号を集光するレンズ部、前記レンズ部によって集光した反射光信号から電気信号を生成するイメージセンサ部、前記反射光信号の光経路をシフトさせるチルティング部および前記チルティング部によってシフトされたフレームに対して前記入射光信号および前記イメージセンサ部に受信された前記反射光信号間の位相差を利用して前記客体の深さ情報を抽出する映像制御部を含み、前記レンズ部は前記イメージセンサ部上に配置され、前記レンズ部は前記イメージセンサ部上に配置されるＩＲ（InfraRed）フィルタと、前記ＩＲフィルタ上に配置される少なくとも１枚のレンズとを含み、前記チルティング部は前記ＩＲフィルタの傾きを制御する。【選択図】図６

Description

本発明はカメラモジュールおよびその深さ情報抽出方法に関する。
３次元コンテンツはゲーム、文化だけでなく、教育、製造、自律走行などの多くの分野で適用されており、３次元コンテンツを獲得するために深さ情報（Ｄｅｐｔｈ Ｍａｐ）が必要である。深さ情報は空間上の距離を示す情報であり、２次元映像の一地点に対して他の地点の遠近情報を示す。
深さ情報を獲得する方法の一つは、ＩＲ（Ｉｎｆｒａｒｅｄ）構造光を客体に投射し、客体から反射した光を解析して深さ情報を抽出する方式である。ＩＲ構造光方式によると、動く客体に対して望む水準の深さ分解能（Ｄｅｐｔｈ ｒｅｓｏｌｕｔｉｏｎ）を獲得し難いという問題がある。
一方、ＩＲ構造光方式を代替する技術としてＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式が注目されている。
ＴＯＦ方式によると、飛行時間、すなわち光を発射して反射してくる時間を測定することによって物体との距離を計算する。ＴｏＦ方式の最も大きな長所は３次元空間に対する距離情報をリアルタイムで早く提供するという点にある。また、使用者が別途のアルゴリズムを適用したり、ハードウェア的な補正をしたりしなくても正確な距離情報を獲得することができる。また、非常に近い被写体を測定したり動く被写体を測定したりしても正確な深さ情報を獲得することができる。
しかし、現在のＴｏＦ方式の場合、一フレーム当たりに獲得できる情報、すなわち解像度が非常に低いという問題点がある。
解像度を高めるための方法として、イメージセンサの画素数を高める方法がある。しかし、この場合、カメラモジュールの体積および製造費用が大きく増加するという問題が発生する。
これに伴い、カメラモジュールの体積および製造費用を大きく増加させることなく解像度を高めることができる深さ情報獲得方法が必要である。
本発明が達成しようとする技術的課題は、ＴＯＦ方式を利用して深さ情報を抽出するカメラモジュールおよびその深さ情報抽出方法を提供するところにある。
本発明の実施例に係るカメラモジュールは、客体に照射される入射光信号を出力する照明部、前記客体から反射した反射光信号を集光するレンズ部、前記レンズ部によって集光した反射光信号から電気信号を生成するイメージセンサ部、前記反射光信号の光経路をシフトさせるチルティング部、および前記チルティング部によってシフトされたフレームに対して前記入射光信号および前記イメージセンサ部に受信された前記反射光信号間の位相差を利用して前記客体の深さ情報を抽出する映像制御部を含み、前記レンズ部は前記イメージセンサ部上に配置され、前記レンズ部は前記イメージセンサ部上に配置されるＩＲ（ＩｎｆｒａＲｅｄ）フィルタ、そして、前記ＩＲフィルタ上に配置される少なくとも１枚のレンズを含み、前記チルティング部は前記ＩＲフィルタの傾きを制御する。
前記チルティング部はＶＣＭ（ｖｏｉｃｅ ｃｏｉｌ ｍｏｔｏｒ）を含み、前記ＩＲフィルタは前記イメージセンサ部と前記ＶＣＭの間に配置され得る。
前記ＶＣＭはマグネットホルダー、前記マグネットホルダー上に所定の間隔で離隔して配置された複数のマグネット、コイルホルダー、前記コイルホルダー上で前記複数のマグネットと対をなすように所定の間隔で離隔して配置された複数のコイルを含むことができる。
前記ＩＲフィルタはガラス層、そして、前記ガラス層を支持するガラス層ホルダーを含み、前記ガラス層ホルダーの少なくとも一部は前記マグネットホルダーによって囲まれ得る。
前記マグネットホルダーは前記複数のマグネットを収容する複数のマグネットガイドを含み、前記ガラス層ホルダーは前記複数のマグネットガイドに対応するように突出した複数の突出部を含み、前記複数の突出部は前記複数のコイルおよび前記複数のマグネットの間に発生する磁場によって前記複数のマグネットガイドに接触したり、前記複数のマグネットガイドから離隔したりするように動くことができる。
前記複数の突出部の動きにより前記ガラス層が所定の角度にチルティングされ得る。
前記ガラス層はＩＲパスガラス層であり得る。
前記ＩＲフィルタは前記イメージセンサ部上で前記ガラス層と離隔して配置されるＩＲパスガラス層をさらに含むことができる。
前記イメージセンサと前記ＩＲフィルタ間に配置される弾性膜をさらに含むことができる。
前記イメージセンサを収容するハウジングをさらに含み、前記弾性膜は前記ハウジングに接合され得る。
本発明の一実施例に係るカメラモジュールは、客体に照射される入射光信号を出力する照明部、前記客体から反射した反射光信号を集光するレンズ部、前記レンズ部によって集光した反射光信号から電気信号を生成するイメージセンサ部、前記イメージセンサ部上に配置される弾性膜、前記反射光信号の光経路をシフトさせるチルティング部、および前記チルティング部によってシフトされたフレームに対して前記入射光信号および前記センサ部に受信された前記反射光信号間の位相差を利用して前記客体の深さ情報を抽出する映像制御部を含み、前記チルティング部は前記弾性膜の形状を制御する。
前記イメージセンサを収容するハウジングを含み、前記弾性膜の一面は前記ハウジングに結合され、前記弾性膜の他面は前記チルティング部と結合され得る。
本発明の一実施例に係るカメラモジュールを利用すると、イメージセンサの画素数を大きく増加させることなく高い解像度で深さ情報を獲得することができる。
また、本発明の一実施例によると、簡単な構造を利用してサブピクセルシフト効果を得ることができ、これとともに水分、異物などからイメージセンサを保護することができる。
本発明の一実施例に係るＴｏＦカメラモジュールのブロック図。 入射光信号の周波数を説明するための図面。 カメラモジュールの断面図の一例。 本発明の実施例に係る電気信号生成過程を説明するための図面。 本発明の実施例に係るイメージセンサ１３０を説明するための図面。 チルティング部１４０による反射光信号の光経路の変更を説明するための図面。 本発明の実施例に係るＳＲ技法を説明するための図面。 本発明の実施例に係るＳＲ技法を説明するための図面。 本発明の実施例に係るピクセル値配置過程を説明するための図面。 ＩＲフィルタの傾きの制御によりイメージセンサ上に入力される映像フレームがシフトされる効果を説明するための図面。 ＩＲフィルタの傾きの制御によりイメージセンサ上に入力される映像フレームがシフトされる効果を説明するための図面。 本発明の一実施例に係るＶＣＭおよびＩＲフィルタの斜視図。 本発明の一実施例に係るＶＣＭおよびＩＲフィルタを含むＴｏＦカメラモジュールの断面図。 本発明の一実施例に係るＶＣＭに含まれるマグネットアセンブリーとＩＲフィルタの結合過程を示す図面。 本発明の一実施例に係るＶＣＭに含まれるコイルアセンブリーの結合過程を示す図面。 本発明の一実施例に係るマグネットアセンブリー、ＩＲフィルタおよびコイルアセンブリーの結合過程を示す図面。 本発明の一実施例に係るカメラモジュールの一部断面図。 弾性膜が配置される多様な例を示した図面。 弾性膜が配置される多様な例を示した図面。 弾性膜が配置される多様な例を示した図面。 弾性膜が配置される多様な例を示した図面。 弾性膜が配置される多様な例を示した図面。 弾性膜が配置される多様な例を示した図面。
本発明は多様な変更を加えることができ、多様な実施例を有することができるところ、特定の実施例を図面に例示して説明する。しかし、これは本発明を特定の実施形態に対して限定しようとするものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物乃至代替物を含むものと理解されるべきである。
第２、第１等のように序数を含む用語は多様な構成要素の説明に使われ得るが、前記構成要素は前記用語によって限定されはしない。前記用語は一つの構成要素を他の構成要素から区別する目的でのみ使われる。例えば、本発明の権利範囲を逸脱することなく第２構成要素は第１構成要素と命名され得るし、同様に第１構成要素も第２構成要素と命名され得る。および／またはという用語は複数の関連した記載された項目の組み合わせまたは複数の関連した記載された項目のうちいずれかの項目を含む。
ある構成要素が他の構成要素に「連結されて」いるとか「接続されて」いると言及された時には、その他の構成要素に直接的に連結されていてもよく、または接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。その反面、ある構成要素が他の構成要素に「直接連結されて」いるとか「直接接続されて」いると言及された時には、中間に他の構成要素が存在しないものと理解されるべきである。
本出願で使った用語は単に特定の実施例を説明するために使われたものであって、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なって意味しない限り、複数の表現を含む。本出願で、「含む」または「有する」等の用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加の可能性をあらかじめ排除しないものと理解されるべきである。
異なって定義されない限り、技術的または科学的な用語を含んでここで使われるすべての用語は、本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有している。一般的に使われる辞書に定義されているような用語は関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味で解釈されない。
以下、添付された図面を参照して実施例を詳細に説明するものの、図面符号にかかわらず同一または対応する構成要素は同じ参照番号を付し、これに対する重複する説明は省略する。
図１は、本発明の一実施例に係るＴｏＦカメラモジュールのブロック図である。
図１を参照すると、ＴｏＦカメラモジュール１００は照明１１０、レンズ部１２０、イメージセンサ部１３０、チルティング部１４０および映像制御部１５０を含む。
照明部１１０は入射光信号を生成した後客体に照射する。この時、照明部１１０はパルス波（ｐｕｌｓｅ ｗａｖｅ）の形態や持続波（連続波、ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅ）の形態で入射光信号を生成して出力することができる。持続波は正弦波（ｓｉｎｕｓｏｉｄ ｗａｖｅ）や矩形波（ｓｑｕａｒｅｄ ｗａｖｅ）の形態であり得る。入射光信号をパルス波や持続波の形態で生成することによって、ＴｏＦカメラモジュール１００は照明部１１０から出力された入射光信号と客体から反射した反射光信号の間の位相差を検出することができる。本明細書において、入射光は照明部１１０から出力されて客体に入射する光を意味し、反射光は照明部１１０から出力されて客体に到達した後、客体から反射する光を意味し得る。ＴｏＦカメラモジュール１００の立場では、入射光は出力光となり得るし、反射光は入力光となり得る。
照明部１１０は生成された入射光信号を所定の露出周期（ｉｎｔｅｇｒａｔｉｏｎ ｔｉｍｅ）の間、客体に照射する。ここで、露出周期とは、１個のフレーム周期を意味する。複数のフレームを生成する場合、設定された露出周期が繰り返される。例えば、ＴｏＦカメラモジュール１００が２０ＦＰＳで客体を撮影する場合、露出周期は１／２０［ｓｅｃ］となる。そして、１００個のフレームを生成する場合、露出周期は１００回繰り返され得る。
照明部１１０は互いに異なる周波数を有する複数の入射光信号を生成することができる。照明部１１０は互いに異なる周波数を有する複数の入射光信号を順次繰り返して生成することができる。または照明部１１０は互いに異なる周波数を有する複数の入射光信号を同時に生成してもよい。
図２は、入射光信号の周波数を説明するための図面である。本発明の実施例によると、照明部１１０は図２のように、露出周期の最初の半分は周波数ｆ1である入射光信号が生成されるように制御し、残りの半分の露出周期は周波数ｆ2である入射光信号が生成されるように制御することができる。
他の実施例によると、照明部１１０は複数の発光ダイオードのうち一部の発光ダイオードは周波数ｆ1である入射光信号が生成されるように制御し、残りの発光ダイオードは周波数ｆ2である入射光信号が生成されるように制御してもよい。
このために、照明部１１０は光を生成する光源１１２と光を変調する光変調部１１４を含むことができる。
まず、光源１１２は光を生成する。光源１１２が生成する光は波長が７７０〜３０００ｎｍである赤外線でも、波長が３８０〜７７０ｎｍである可視光線でもよい。光源１１２は発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）を利用することができ、複数の発光ダイオードが一定のパターンによって配列された形態を有することができる。それだけでなく、光源１１２は有機発光ダイオード（Ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）やレーザーダイオード（Ｌａｓｅｒ ｄｉｏｄｅ、ＬＤ）を含んでもよい。
光源１１２は一定の時間間隔で点滅（ｏｎ／ｏｆｆ）を繰り返してパルス波の形態や持続波の形態の入射光信号を生成する。一定の時間間隔は入射光信号の周波数であり得る。光源の点滅は光変調部１１４により制御され得る。
光変調部１１４は光源１１２の点滅を制御して光源１１２が持続波やパルス波の形態の入射光信号を生成するように制御する。光変調部１１４は周波数変調（ｆｒｅｑｕｅｎｃｙ ｍｏｄｕｌａｔｉｏｎ）やパルス変調（ｐｕｌｓｅ ｍｏｄｕｌａｔｉｏｎ）等を通して、光源１１２が持続波やパルス波の形態の入射光信号を生成するように制御することができる。
一方、レンズ部１２０は客体から反射した反射光信号を集光してイメージセンサ部１３０に伝達する。
図３は、カメラモジュールの断面図の一例である。
図３を参照すると、カメラモジュール３００はレンズアセンブリー３１０、イメージセンサ３２０および印刷回路基板３３０を含む。ここで、レンズアセンブリー３１０は図１のレンズ部１２０に対応し、イメージセンサ３２０は図１のイメージセンサ部１３０に対応することができる。そして、図１の映像制御部１５０等は印刷回路基板３３０内で具現され得る。図示されてはいないが、図１の照明部１１０は印刷回路基板３３０上でイメージセンサ３２０の側面に配置されても、カメラモジュール３００の外部に配置されてもよい。
レンズアセンブリー３１０はレンズ３１２、レンズバレル３１４、レンズホルダー３１６およびＩＲフィルタ３１８を含むことができる。
レンズ３１２は複数枚で構成されても、１枚で構成されてもよい。レンズ３１２が複数枚で構成される場合、各レンズは中心軸を基準として整列して光学系を形成することができる。ここで、中心軸は光学系の光軸（Ｏｐｔｉｃａｌ ａｘｉｓ）と同じであり得る。
レンズバレル３１４はレンズホルダー３１６と結合され、内部にレンズを収容できる空間が設けられ得る。レンズバレル３１４は一つまたは複数のレンズと回転結合され得るが、これは例示的なものであり、接着剤（例えば、エポキシ（ｅｐｏｘｙ）等の接着用樹脂）を利用した方式など、他の方式で結合され得る。
レンズホルダー３１６はレンズバレル３１４と結合されてレンズバレル３１４を支持し、イメージセンサ３２０が搭載された印刷回路基板３３０に結合され得る。レンズホルダー３１６によってレンズバレル３１４の下部にＩＲフィルタ３１８が付着され得る空間が形成され得る。レンズホルダー３１６の内周面には螺旋状のパターンが形成され、これと同様に外周面に螺旋状のパターンが形成されたレンズバレル３１４と回転結合することができる。しかし、これは例示的なものであって、レンズホルダー３１６とレンズバレル３１４は接着剤を通じて結合されても、レンズホルダー３１６とレンズバレル３１４が一体型に形成されてもよい。
レンズホルダー３１６はレンズバレル３１４と結合される上部ホルダー３１６−１およびイメージセンサ３２０が搭載された印刷回路基板３３０と結合される下部ホルダー３１６−２に区分されてよく、上部ホルダー３１６−１および下部ホルダー３１６−２は一体型に形成されるか、互いに分離された構造で形成された後、締結または結合されるか、互いに分離されて離隔した構造を有してもよい。この時、上部ホルダー３１６−１の直径は下部ホルダー３１６−２の直径より小さく形成され得る。
前記の例示は一実施例に過ぎず、レンズ部１２０はＴｏＦカメラモジュール１００に入射する反射光信号を集光してイメージセンサ部１３０に伝達できる他の構造で構成されてもよい。
再び図１を参照すると、イメージセンサ部１３０はレンズ部１２０を通じて集光した反射光信号を利用して電気信号を生成する。
イメージセンサ部１３０は照明部１１０の点滅周期と同期化されて反射光信号を吸収することができる。具体的には、イメージセンサ部１３０は照明部１１０から出力された入射光信号と同相（ｉｎ ｐｈａｓｅ）および異相（ｏｕｔ ｐｈａｓｅ）でそれぞれ光を吸収することができる。すなわち、イメージセンサ部１３０は光源がオンになっている時間に反射光信号を吸収する段階と光源がオフになっている時間に反射光信号を吸収する段階を繰り返し遂行することができる。
次に、イメージセンサ１３０部は互いに異なる位相差を有する複数の参照信号（ｒｅｆｅｒｅｎｃｅ ｓｉｇｎａｌ）を利用して各参照信号に対応する電気信号を生成することができる。参照信号の周波数は照明部１１０から出力された入射光信号の周波数と同一に設定され得る。したがって、照明部１１０が複数の周波数で入射光信号を生成する場合、イメージセンサ部１３０は各周波数に対応する複数の参照信号を利用して電気信号を生成する。電気信号は各参照信号に対応する電荷量や電圧に関する情報を含むことができる。
図４は、本発明の実施例に係る電気信号生成過程を説明するための図面である。
図４に示された通り、本発明の実施例に係る参照信号は４個（Ｃ1〜Ｃ4）であり得る。各参照信号（Ｃ1〜Ｃ4）は入射光信号と同一の周波数を有するものの、互いに９０度の位相差を有することができる。４個の参照信号のうち一つ（Ｃ1）は入射光信号と同じ位相を有することができる。反射光信号は入射光信号が客体に入射してから反射して帰ってくる距離だけ位相が遅延される。イメージセンサ部１３０は反射光信号と各参照信号をそれぞれミキシング（ｍｉｘｉｎｇ）する。そうすると、イメージセンサ部１３０は図４の陰影部分に対応する電気信号を各参照信号別に生成することができる。
他の実施例として、露出時間の間に複数の周波数で入射光信号が生成された場合、イメージセンサ部１３０は複数の周波数による反射光信号を吸収する。例えば、周波数ｆ1とｆ2で入射光信号が生成され、複数の参照信号は９０度の位相差を有すると仮定する。そうすると、反射光信号も周波数ｆ1とｆ2を有するので、周波数がｆ1である反射光信号とこれに対応する４個の参照信号を通じて４個の電気信号が生成され得る。そして、周波数がｆ2である反射光信号とこれに対応する４個の参照信号を通じて４個の電気信号が生成され得る。したがって、電気信号は計８個が生成され得る。
イメージセンサ部１３０は複数のピクセルがグリッドの形態で配列された構造で構成され得る。イメージセンサ部１３０はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサでも、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサでもよい。また、イメージセンサ部１３０は被写体に反射する赤外線光を受け入れて時間または位相差を利用して距離を測定するＴｏＦセンサを含むことができる。
図５は、本発明の実施例に係るイメージセンサ１３０を説明するための図面である。例えば、図５のように、３２０ｘ２４０解像度のイメージセンサ１３０の場合、７６，８００個のピクセルがグリッドの形態で配列される。この時、複数のピクセルの間には図５の陰影部分のように一定の間隔が形成され得る。本発明の実施例ではピクセルに隣接した一定の間隔を含んで１ピクセルとして説明する。
本発明の実施例によると、各ピクセル１３２は第１フォトダイオードおよび第１トランジスタを含む第１受光部１３２−１と第２フォトダイオードおよび第２トランジスタを含む第２受光部１３２−２を含むことができる。
第１受光部１３２−１は入射光の波形と同じ位相で反射光信号を受信する。すなわち、光源がオンになっている時間に、第１フォトダイオードはターンオン（ｔｕｒｎ−ｏｎ）されて反射光信号を吸収する。そして、光源がオフになっている時間に、第１フォトダイオードはターンオフ（ｔｕｒｎ−ｏｆｆ）されて反射光の吸収を中断する。第１フォトダイオードは吸収した反射光信号を電流に変換して第１トランジスタに伝達する。第１トランジスタは伝達された電流を電気信号に変換して出力する。
第２受光部１３２−２は入射光の波形と反対の位相で反射光信号を受信する。すなわち、光源がオンになっている時間に、第２フォトダイオードはターンオフされて反射光信号を吸収する。そして、光源がオフになっている時間に、第２フォトダイオードはターンオンされて反射光の吸収を中断する。第２フォトダイオードは吸収した反射光信号を電流に変換して第２トランジスタに伝達する。第２トランジスタは伝達された電流を電気信号に変換する。
これに伴い、第１受光部１３２−１はＩｎ Ｐｈａｓｅ受信ユニットと称することができ、第２受光部１３２−２はＯｕｔ Ｐｈａｓｅ受信ユニットと称することができる。このように、第１受光部１３２−１および第２受光部１３２−２が時間差を置いて活性化されると、客体との距離により受信される光量に差が発生することになる。例えば、客体がＴＯＦカメラモジュール１００の直ぐ前にある場合（すなわち、距離＝０の場合）には、照明部１１０から光が出力された後に客体から反射してくるのにかかる時間が０であるため、光源の点滅周期はそのまま光の受信周期となる。これに伴い、第１受光部１３２−１のみが光を受信することになり、第２受光部１３２−２は光を受信できなくなる。他の例として、客体がＴｏＦカメラモジュール１００と所定の距離離れて位置する場合、照明部１１０から光が出力された後に客体から反射してくるのに時間がかかるため、光源の点滅周期は光の受信周期と差が発生することになる。これに伴い、第１受光部１３２−１と第２受光部１３２−２が受信する光の量に差が発生することになる。すなわち、第１受光部１３２−１と第２受光部１３２−２に入力された光量の差を利用して客体の距離が演算され得る。再び図１を参照すると、映像制御部１５０はイメージセンサ部１３０から受信した電気信号を利用して入射光と反射光の間の位相差を計算し、位相差を利用して客体とＴｏＦカメラモジュール１００の間の距離を計算する。
具体的には、映像制御部１５０は電気信号の電荷量情報を利用して入射光と反射光の間の位相差を計算することができる。
前記で詳察した通り、入射光信号の周波数ごとに電気信号は４個が生成され得る。したがって、映像制御部１５０は下記の数学式１を利用して入射光信号と反射光信号の間の位相差（ｔd）を計算することができる。
Figure 2021521438
ここで、Ｑ1〜Ｑ4は４個の電気信号それぞれの電荷充電量である。Ｑ1は入射光信号と同じ位相の基準信号に対応する電気信号の電荷量である。Ｑ2は入射光信号より位相が１８０度遅い基準信号に対応する電気信号の電荷量である。Ｑ3は入射光信号より位相が９０度遅い基準信号に対応する電気信号の電荷量である。Ｑ4は入射光信号より位相が２７０度遅い基準信号に対応する電気信号の電荷量である。
そうすると、映像制御部１５０は入射光信号と反射光信号の位相差を利用して客体とＴｏＦカメラモジュール１００の間の距離を計算することができる。この時、映像制御部１５０は下記の数学式２を利用して客体とＴｏＦカメラモジュール１００の間の距離（ｄ）を計算することができる。
Figure 2021521438
ここで、ｃは光の速度であり、ｆは入射光の周波数である。
一方、本発明の実施例では深さ情報の解像度を高めるために、スーパーレゾリューション（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ、ＳＲ）技法を利用する。ＳＲ技法は複数の低解像映像から高解像映像を得る技法であって、ＳＲ技法の数学的モデルは数学式３のように示すことができる。
Figure 2021521438
ここで、１≦ｋ≦ｐであり、ｐは低解像映像の個数であり、ｙkは低解像映像（＝［ｙk、1、ｙk、2、．．．、ｙk、M］T、ここで、Ｍ＝Ｎ1＊Ｎ2）Ｄkはダウンサンプリング（ｄｏｗｎ ｓａｍｐｌｉｎｇ）マトリックス、Ｂkは光学ブラー（ｂｌｕｒ）マトリックス、Ｍkは映像歪曲（ｗａｒｐｉｎｇ）マトリックス、ｘは高解像映像（＝［ｘ1、ｘ2、．．．、ｘN］T、ここで、Ｎ＝Ｌ1Ｎ1＊Ｌ2Ｎ2）、ｎkはノイズを示す。すなわち、ＳＲ技法によると、ｙkに推定された解像度劣化要素の逆関数を適用してｘを推定する技術を意味する。ＳＲ技法は統計的方式とマルチフレーム方式に大別され得るし、マルチフレーム方式は空間分割方式と時間分割方式に大別され得る。深さ情報獲得のためにＳＲ技法を利用する場合、数学式１のＭkの逆関数が存在しないため、統計的方式が試みられ得る。ただし、統計的方式の場合、繰り返し演算過程が必要であるため、効率が低い問題がある。
深さ情報の抽出にＳＲ技法を適用するために、映像制御部１５０はイメージセンサ部１３０から受信した電気信号を利用して複数の低解像サブフレームを生成した後、複数の低解像サブフレームを利用して複数の低解像深さ情報を抽出することができる。そして、複数の低解像深さ情報のピクセル値を再配列して高解像深さ情報を抽出することができる。
ここで、高解像とは、低解像より高い解像度を示す相対的な意味である。
ここで、サブフレームとは、いずれか一つの露出周期および参照信号に対応した電気信号から生成されるイメージデータを意味し得る。例えば、第１露出周期、すなわち一つの映像フレームで８個の参照信号を通じて電気信号が生成される場合、８個のサブフレームが生成され得るし、開始フレーム（ｓｔａｒｔ ｏｆ ｆｒａｍｅ）が１個さらに生成され得る。本明細書において、サブフレームはイメージデータ、サブフレームイメージデータなどと混用され得る。
または、深さ情報の抽出に本発明の実施例に係るＳＲ技法を適用するために、映像制御部１５０はイメージセンサ部１３０から受信した電気信号を利用して複数の低解像サブフレームを生成した後、複数の低解像サブフレームのピクセル値を再配列して複数の高解像サブフレームを生成することができる。そして、高解像サブフレームを利用して高解像深さ情報を抽出することができる。
このために、ピクセルシフト（ｐｉｘｅｌ ｓｈｉｆｔ）技術を利用することができる。すなわち、ピクセルシフト技術を利用してサブフレーム別にサブピクセルだけシフトされた複数枚のイメージデータを獲得した後、サブフレーム別にＳＲ技法を適用して複数の高解像サブフレームイメージデータを獲得し、これらを利用して高解像の深さ情報を抽出することができる。ピクセルシフトのために、本発明の一実施例に係るＴｏＦカメラモジュール１００はチルティング部１４０を含む。
再び図１を参照すると、チルティング部１４０は入射光信号または反射光信号のうち少なくとも一つの光経路をイメージセンサ部１３０のサブピクセル単位に変更する。
チルティング部１４０は映像フレーム別に入射光信号または反射光信号のうち少なくとも一つの光経路を変更する。前述した通り、一つの露出周期ごとに１個の映像フレームが生成され得る。したがって、チルティング部１４０は一つの露出周期が終了すると、入射光信号または反射光信号のうち少なくとも一つの光経路を変更する。
チルティング部１４０はイメージセンサ部１３０を基準としてサブピクセル単位だけ入射光信号または反射光信号のうち少なくとも一つの光経路を変更する。この時、チルティング部１４０は現在の光経路を基準として入射光信号または反射光信号のうち少なくとも一つの光経路を、上、下、左、右のうちいずれか一つの方向に変更する。
図６は、チルティング部１４０による反射光信号の光経路の変更を説明するための図面である。
図６の（ａ）で実線で表示された部分は反射光信号の現在の光経路を示し、点線で示された部分は変更された光経路を示す。現在の光経路に対応する露出周期が終了すると、チルティング部１４０は反射光信号の光経路を点線のように変更することができる。そうすると、反射光信号の経路は現在の光経路からサブピクセルだけ移動する。例えば、図６の（ａ）のように、チルティング部１４０が現在の光経路を０．１７３度右側に移動させると、イメージセンサ部１３０に入射する反射光信号は右側に０．５ピクセル（サブピクセル）だけ移動することができる。
本発明の実施例によると、チルティング部１４０は基準位置から時計回り方向に反射光信号の光経路を変更することができる。例えば、図６の（ｂ）に示された通り、チルティング部１４０は第１露出周期が終了した後、第２露出周期に反射光信号の光経路をイメージセンサ部１３０を基準として０．５ピクセルだけ右側に移動させる。そして、チルティング部１４０は第３露出周期に反射光信号の光経路をイメージセンサ部１３０を基準として０．５ピクセルだけ下側に移動させる。そして、チルティング部１４０は第４露出周期に反射光信号の光経路をイメージセンサ部１３０を基準として０．５ピクセルだけ左側に移動させる。そして、チルティング部１４０は第５露出周期に反射光信号の光経路をイメージセンサ部１３０を基準として０．５ピクセルだけ上側に移動させる。すなわち、４個の露出周期でチルティング部１４０は反射光信号の光経路を元の位置に移動させることができる。これは入射光信号の光経路を移動させる時にも同様に適用され得るところ、詳細な説明は省略する。また、光経路の変更パターンが時計回り方向であることは一例に過ぎず、反時計回り方向でもよい。
一方、サブピクセルは０ピクセルより大きく１ピクセルより小さくてもよい。例えば、サブピクセルは０．５ピクセルの大きさを有しても、１／３ピクセルの大きさを有してもよい。サブピクセルの大きさは当業者によって設計変更が可能である。
図７および図８は、本発明の実施例に係るＳＲ技法を説明するための図面である。
図７を参照すると、映像制御部１５０は同じ露出周期、すなわち同じフレームで生成された複数の低解像サブフレームを利用して複数の低解像深さ情報を抽出することができる。そして、映像制御部１５０は複数の低解像深さ情報のピクセル値を再配置して高解像深さ情報を抽出することができる。ここで複数の低解像深さ情報に対応する入射光信号または反射光信号の光経路は互いに異なり得る。
例えば、映像制御部１５０は複数の電気信号を利用して１−１〜４−８の低解像サブフレームを生成することができる。低解像サブフレーム１−１〜１−８は第１露出周期で生成された低解像サブフレームである。低解像サブフレーム２−１〜２−８は第２露出周期で生成された低解像サブフレームである。低解像サブフレーム３−１〜３−８は第３露出周期で生成された低解像サブフレームである。低解像サブフレーム４−１〜４−８は第４露出周期で生成された低解像サブフレームである。そうすると、映像制御部１５０は各露出周期で生成された複数の低解像サブフレームに深さ情報抽出技法を適用して低解像深さ情報ＬＲＤ−１〜ＬＲＤ−４を抽出する。低解像深さ情報ＬＲＤ−１はサブフレーム１−１〜１−８を利用して抽出された低解像深さ情報である。低解像深さ情報ＬＲＤ−２はサブフレーム２−１〜２−８を利用して抽出された低解像深さ情報である。低解像深さ情報ＬＲＤ−３はサブフレーム３−１〜３−８を利用して抽出された低解像深さ情報である。低解像深さ情報ＬＲＤ−４はサブフレーム４−１〜４−８を利用して抽出された低解像深さ情報である。そして、映像制御部１５０は低解像深さ情報ＬＲＤ−１〜ＬＲＤ−４のピクセル値を再配置して高解像深さ情報ＨＲＤを抽出する。
または前述した通り、映像制御部１５０は同じ参照信号に対応する複数のサブフレームのピクセル値を再配置して高解像サブフレームを生成することができる。この時、複数のサブフレームは対応する入射光信号または反射光信号の光経路が異なる。そして、映像制御部１５０は複数の高解像サブフレームを利用して高解像深さ情報を抽出することができる。
例えば、図８で、映像制御部１５０は複数の電気信号を利用して１−１〜４−８の低解像サブフレームを生成する。低解像サブフレーム１−１〜１−８は第１露出周期で生成された低解像サブフレームである。低解像サブフレーム２−１〜２−８は第２露出周期で生成された低解像サブフレームである。低解像サブフレーム３−１〜３−８は第３露出周期で生成された低解像サブフレームである。低解像サブフレーム４−１〜４−８は第４露出周期で生成された低解像サブフレームである。ここで、低解像サブフレーム１−１、２−１、３−１、４−１は同じ参照信号Ｃ1に対応するものの、互いに異なる光経路に対応する。そうすると、映像制御部１５０は低解像サブフレーム１−１、２−１、３−１、４−１のピクセル値を再配置して高解像サブフレームＨ−１を生成することができる。ピクセル値の再配置を通じて高解像サブフレームＨ−１〜Ｈ−８が生成されると、映像制御部は高解像サブフレームＨ−１〜Ｈ−８に深さ情報抽出技法を適用して高解像深さ情報ＨＲＤを抽出することができる。
図９は、本発明の実施例に係るピクセル値配置過程を説明するための図面である。
ここで、４個の４ｘ４大きさの低解像映像を利用して１個の８ｘ８大きさの高解像映像を生成することを仮定する。この時、高解像ピクセルグリッドは８ｘ８のピクセルを有し、これは高解像映像のピクセルと同じである。ここで低解像映像は低解像サブフレームおよび低解像深さ情報を含む意味であり得るし、高解像映像は高解像サブフレームおよび高解像深さ情報を含む意味であり得る。
図９で第１〜４低解像映像は、０．５ピクセルの大きさのサブピクセル単位で光経路が移動して撮影された映像である。映像制御部１５０は光経路が移動されていない第１低解像映像を基準として光経路が移動した方向に沿って第２〜第４低解像映像のピクセル値を高解像映像に合うように配置する。
具体的には、第２低解像映像は第１低解像映像からサブピクセルだけ右側に移動した映像である。したがって、第１低解像映像の各ピクセルＡの右側に位置したピクセルには第２低解像映像のピクセルＢが配置される。
第３低解像映像は第２低解像映像からサブピクセルだけ下側に移動した映像である。したがって、第２低解像映像の各ピクセルＢの下に位置したピクセルには第３低解像映像のピクセルＣが配置される。
第４低解像映像は第３低解像映像からサブピクセルだけ左側に移動した映像である。したがって、第３低解像映像のピクセルＣの左側に位置したピクセルには第４低解像映像のピクセルＤが配置される。
高解像ピクセルグリッドに第１〜第４低解像映像のピクセル値がすべて再配置されると、低解像映像より解像度が４倍増加した高解像映像フレームが生成される。
一方、映像制御部１５０は配置されるピクセル値に加重値を適用することができる。この時、加重値はサブピクセルの大きさや光経路の移動方向によって異なって設定され得るし、各低解像映像別に異なって設定され得る。
このために、チルティング部１４０はソフトウェア的にまたはハードウェア的に光経路を変更することができる。チルティング部１４０がソフトウェア的に光経路を変更しようとする場合、ＴｏＦカメラモジュール１００の演算量が増加する問題があり、ハードウェア的に光経路を変更しようとする場合、ＴｏＦカメラモジュール１００の構造が複雑になったり、体積が増加したりする問題がある。
本発明の実施例によると、チルティング部１４０はレンズアセンブリー、例えばレンズアセンブリーに含まれたＩＲフィルタ（図２の３１８）の傾きを制御する方法でサブピクセルだけシフトされたデータを得ようとする。
図１０〜図１１は、ＩＲフィルタの傾きの制御によってイメージセンサ上に入力される映像フレームがシフトされる効果を説明するための図面である。図１１は、ＩＲフィルタの厚さが０．２１ｍｍであり、ＩＲの屈折率が１．５である条件でチルティング角度に対するシフト距離をシミュレーションした結果である。
図１０および下記の数学式４を参照すると、ＩＲフィルタ３１８の傾きθ1とシフト距離離隔は次の関係を有することができる。
Figure 2021521438
ここで、θ2は数学式５のように示すことができる。
Figure 2021521438
そして、θ1はＩＲフィルタ３１８の傾き、すなわちチルティング角度であり、ｎgはＩＲフィルタ３１８の屈折率であり、ｄはＩＲフィルタ３１８の厚さである。例えば、数学式４〜５を参照すると、イメージセンサ上に入力される映像フレームを７μｍだけシフトさせるために約５〜６°だけチルティングされ得る。この時、ＩＲフィルタ３１８の垂直変位は約１７５〜２１０μｍになり得る。
このように、ＩＲフィルタ３１８の傾きを制御すると、イメージセンサ３２０自体をチルティングせずともシフトされたイメージデータを得ることが可能である。
本発明の実施例によると、ＩＲフィルタの傾きを制御するためのチルティング部はＶＣＭ（ｖｏｉｃｅ ｃｏｉｌ ｍｏｔｏｒ）を含むことができ、ＩＲフィルタ３１８はイメージセンサとＶＣＭの間に配置され得る。
図１２は本発明の一実施例に係るＶＣＭおよびＩＲフィルタの斜視図であり、図１３は本発明の一実施例に係るＶＣＭおよびＩＲフィルタを含むＴｏＦカメラモジュールの断面図であり、図１４は本発明の一実施例に係るＶＣＭに含まれるマグネットアセンブリーとＩＲフィルタの結合過程を示す図面であり、図１５は本発明の一実施例に係るＶＣＭに含まれるコイルアセンブリーの結合過程を示す図面であり、図１６は本発明の一実施例に係るマグネットアセンブリー、ＩＲフィルタおよびコイルアセンブリーの結合過程を示す図面である。
図１２〜図１６を参照すると、チルティング部１４０はＶＣＭ１０００を含み、ＶＣＭ１０００はマグネットアセンブリー１１００およびコイルアセンブリー１２００を含み、ＩＲフィルタ３１８と結合されたり、接触したり、連結され得る。
図１３（ａ）で、説明の便宜のために、ＶＣＭ１０００がレンズバレル３１４およびレンズホルダー３１８によって囲まれるものとしてのみ図示され、レンズ３１２およびＩＲフィルタ３１８は省略されているが、レンズ３１２およびＩＲフィルタ３１８は図３で図示された通りに配置され得る。すなわち、レンズ３１２はレンズバレル３１４によって囲まれることも、ＶＣＭ１０００内の空間に収容されることもある。またはレンズバレル３１４はＶＣＭ１０００の一部の構成でもよい。
本発明の実施例によると、マグネットアセンブリー１１００はマグネットホルダー１１１０および複数のマグネット１１２０を含み、複数のマグネット１１２０はマグネットホルダー１１１０上に所定の間隔で離隔して配置され得る。例えば、マグネットホルダー１１１０は中空の円形のリング状または角形のリング状であり得るし、複数のマグネット１１２０を収容するための複数のマグネットガイド１１１２が形成され得る。ここで、マグネットホルダー１１１０は磁性物質または軟磁性物質を含むことができ、例えばＦｅを含むことができる。
次に、コイルアセンブリー１２００はコイルホルダー１２１０、複数のコイル１２２０およびコイルターミナル１２３０を含むことができ、複数のコイル１２２０はコイルホルダー１２１０上で複数のマグネット１１２０と対をなすように所定の間隔で離隔して配置され得る。例えば、コイルホルダー１２１０は中空の円形のリング状または角形のリング状であり得るし、複数のコイル１２２０を収容するための複数のコイルガイド１２１２が形成され得る。コイルホルダー１２１０はレンズバレル３１４でもよい。コイルターミナル１２３０は複数のコイル１２２０に連結され、複数のコイル１２２０に電源を印加することができる。
ＩＲフィルタ３１８はガラス層ホルダー３１８２およびガラス層ホルダー３１８２によって支持されるガラス層３１８４を含む。ガラス層ホルダー３１８２はガラス層３１８４の下部に配置される第１ガラス層ホルダー３１８２−１およびガラス層３１８４の上縁に配置される第２ガラス層ホルダー３１８２−２を含むことができる。第２ガラス層ホルダー３１８２−２は中空の円形のリング状または角形のリング状であり得るし、マグネットホルダー１１１０によって囲まれるようにマグネットホルダー１１１０の中空内に配置され得る。この時、第２ガラス層ホルダー３１８２−２はマグネットホルダー１１１０の複数のマグネットガイド１１１２に対応するように突出した複数の突出部Ｐ１、Ｐ２、Ｐ３、Ｐ４を含むことができる。複数の突出部Ｐ１、Ｐ２、Ｐ３、Ｐ４は複数のマグネットガイド１１１２と接触したり、複数のマグネットガイド１１１２から離隔したりするように動くことができる。第２ガラス層ホルダー３１８２−２は磁性物質または軟磁性物質を含むことができる。
コイルターミナル１２３０を通じて複数のコイル１２２０に電源が印加されると、複数のコイル１２２０を通じて電流が流れ、これに伴い、複数のコイル１２２０と複数のマグネット１１２０の間に磁場が発生し得る。
これに伴い、複数のマグネットガイド１１１２と第２ガラス層ホルダー３１８２−２の複数の突出部Ｐ１、Ｐ２、Ｐ３、Ｐ４の間には電気駆動力が発生し得るし、第２ガラス層ホルダー３１８２−２によって支持されるガラス層３１８４は所定の角度にチルティングされ得る。
例えば、複数のマグネットガイド１１１２と複数の突出部Ｐ１、Ｐ２、Ｐ３、Ｐ４の間に加えられる力によって、突出部Ｐ１と突出部Ｐ３の間に形成される傾きまたは突出部Ｐ２と突出部Ｐ４の間に形成される傾きが変わり得る。そして、突出部Ｐ１と突出部Ｐ３の間に形成される傾きまたは突出部Ｐ２と突出部Ｐ４の間に形成される傾きによってガラス層３１８４の傾きも変わり得る。ここで、第２ガラス層ホルダー３１８２−２の複数の突出部Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置によってＩＲフィルタ３１８、さらに具体的にはガラス層３１８４の傾きが変わるため、本明細書で第２ガラス層ホルダー３１８２−２はシェイパー（ｓｈａｐｅｒ）と称されてもよい。
この時、ガラス層３１８４のチルティング自由度のために、マグネットホルダー１１１０と第１ガラス層ホルダー３１８２−１の間にはスペーサー１１３０がさらに配置されてもよい。
ここで、ガラス層３１８４はＩＲパスガラス層であり得る。
または図１３（ｂ）で図示された通り、ガラス層３１８４は一般のガラス層であってよく、ＩＲフィルタ３１８はイメージセンサ３２０上でガラス層３１８４と離隔して配置されるＩＲパスガラス層３１８６をさらに含んでもよい。ＩＲパスガラス層３１８６がイメージセンサ３２０上に配置されると、イメージセンサ３２０上に水分または異物が直接浸透する可能性を減らすことができる。
一方、本発明の実施例によると、マグネットアセンブリー１１１０はマグネットホルダー１１４０をさらに含んでもよい。マグネットホルダー１１４０は複数のマグネット１１２０の上部を支持することができ、これに伴い、複数のマグネット１１２０はさらに安定的で信頼性を持って動くことができる。
このように、本発明の実施例によると、ＩＲフィルタ３１８の傾きはＶＣＭ１０００の駆動により制御される。このために、ＩＲフィルタ３１８はＶＣＭ１０００とともに配置されるべきであり、これに伴いＩＲフィルタ３１８はイメージセンサ３２０と離隔して配置される必要がある。
一方、本発明の実施例によると、ＩＲフィルタ３１８の傾きが随時変わらなければならないため、ＩＲフィルタ３１８が動くことができる余裕空間が必要である。この時、ＩＲフィルタ３１８の動きのための余裕空間内に水分、異物などが浸透する可能性が大きくなり、これに伴い、イメージセンサ３２０が水分、異物などに容易に露出され得る。
本発明の実施例では、イメージセンサ３２０が水分、異物などに露出されることを防止する構造をさらに含ませようとする。
図１７は、本発明の一実施例に係るカメラモジュールの一部断面図である。ここで、説明の便宜のために、カメラモジュールの上端、例えばレンズ、レンズバレル、ＶＣＭなどは省略して図示しているが、図３、図１０〜図１４で説明した内容は同様に適用され得る。
図１７を参照すると、印刷回路基板３３０上にイメージセンサ３２０が搭載され、イメージセンサ３２０はハウジング３４０内に収容され得る。ここで、ハウジングは第２レンズホルダー３１６−２でもよい。ＩＲフィルタ３１８の傾きはＶＣＭ（１０００、図１２〜１６参照）によって制御され得る。例えば、ＶＣＭ１０００の駆動によって第１ガラス層ホルダー３１８２−１の第１突出部Ｐ１が上を向き、第３突出部Ｐ３が下を向く場合、ＩＲフィルタ３１８のガラス層３１８４には傾きが形成され得る。
本発明の実施例によると、ＩＲフィルタ３１８とイメージセンサ３２０の間には弾性膜１４００が配置され得る。弾性膜１４００はハウジング３４０に固定され得る。この時、弾性膜１４００の一面はハウジング３４０に固定され、弾性膜１４００の他面はチルティング部１４０と結合され得る。弾性膜１４００は、例えばＲＯ（ｒｅｖｅｒｓｅ ｏｓｍｏｓｉｓ）メンブレン、ＮＦ（ｎａｎｏ ｆｉｌｔｒａｔｉｏｎ）メンブレン、ＵＦ（ｕｌｔｒａ−ｆｉｌｔｒａｔｉｏｎ）メンブレン、ＭＦ（ｍｉｃｒｏ ｆｉｌｔｒａｔｉｏｎ）メンブレンなどであり得る。ここで、ＲＯメンブレンは約１〜１５オングストロームのポアサイズを有するメンブレンであり、ＮＦメンブレンは約１０オングストロームのポアサイズを有するメンブレンであり、ＵＦメンブレンは約１５〜２００オングストロームのポアサイズを有するメンブレンであり、ＭＦメンブレンは約２００〜１０００オングストロームのポアサイズを有するメンブレンである。これに伴いＩＲフィルタ３１８とハウジング３４０の間、すなわちＩＲフィルタ３１８の動きのために配置された空間に水分、異物などが浸透する現象を防止することができる。
この時、弾性膜１４００は２５〜５０μｍ厚の透明かつ伸縮可能な膜であり得るし、弾性膜１４００上にＩＲフィルタ３１８の少なくとも一部が直接接触するように配置され得る。すなわち、弾性膜１４００の形状はチルティング部１４００によって制御され得る。これに伴い、弾性膜１４００はＩＲフィルタ３１８が傾く場合、ＩＲフィルタ３１８とともに伸びたり収縮したりし得るし、ＩＲフィルタ３１８が元の位置に戻るとＩＲフィルタ３１８とともにすぐに復元され得るため、ＩＲフィルタ３１８の動きを安定的に支持することができる。
図１８〜図２３は、弾性膜が配置される多様な例を示す。
図１８を参照すると、弾性膜１４００は接着剤１４１０を通じてイメージセンサ３２０を収容するハウジング３４０に接着され得る。
図１９を参照すると、弾性膜１４００は機構物１４２０を通じてイメージセンサ３２０を収容するハウジング３４０に固定されてもよい。
図２０を参照すると、弾性膜１４００はイメージセンサ３２０を収容するハウジング３４０の外周面を覆うように配置されてよく、これとともに弾性膜１４００を固定するために、ハウジング３４０の外周面を囲むように追加の固定部材１４３０が配置されてもよい。
図２１を参照すると、弾性膜１４００はイメージセンサ３２０上に直接配置されてもよい。
図２２を参照すると、弾性膜１４００は第１ガラス層ホルダー３１８２−１とハウジング３４０の間に配置され、機構物１４４０、１４４２によって固定され得る。
図２３を参照すると、弾性膜１４００は第１ガラス層ホルダー３１８２−１とハウジング３４０に接着剤１４５０、１４５２を通じて接着されてもよい。
以上、実施例を中心に説明したが、これは例示に過ぎず、本発明を限定するものではなく、本発明が属する分野の通常の知識を有する者であれば、本実施例の本質的な特性を逸脱しない範囲で、以上で例示されていない多様な変形と応用が可能であることが分かるであろう。例えば、実施例に具体的に示された各構成要素は変形して実施できるものである。そして、このような変形と応用に関連した差異点は添付された特許請求の範囲で規定する本発明の範囲に含まれるものと解釈されるべきである。
１００：ＴｏＦカメラモジュール
１１０：照明部
１２０：レンズ部
１３０：イメージセンサ部
１４０：チルティング部
１５０：映像制御部

Claims (10)

  1. 客体に照射される入射光信号を出力する照明部と、
    前記客体から反射した反射光信号を集光するレンズ部と、
    前記レンズ部によって集光した反射光信号から電気信号を生成するイメージセンサ部と、
    前記反射光信号の光経路をシフトさせるチルティング部と、
    前記チルティング部によってシフトされたフレームに対して前記入射光信号および前記イメージセンサ部に受信された前記反射光信号間の位相差を利用して前記客体の深さ情報を抽出する映像制御部と、を含み、
    前記レンズ部は、前記イメージセンサ部上に配置され、
    前記レンズ部は、
    前記イメージセンサ部上に配置されるＩＲ（InfraRed）フィルタと、
    前記ＩＲフィルタ上に配置される少なくとも１枚のレンズと、を含み、
    前記チルティング部は、前記ＩＲフィルタの傾きを制御する、カメラモジュール。
  2. 前記チルティング部は、ＶＣＭ（voice coil motor）を含み、
    前記ＩＲフィルタは、前記イメージセンサ部と前記ＶＣＭとの間に配置される、請求項１に記載のカメラモジュール。
  3. 前記ＶＣＭは
    マグネットホルダーと、
    前記マグネットホルダー上に所定の間隔で離隔して配置された複数のマグネットと、
    コイルホルダーと、
    前記コイルホルダー上で前記複数のマグネットと対をなすように所定の間隔で離隔して配置された複数のコイルと、を含む、請求項２に記載のカメラモジュール。
  4. 前記ＩＲフィルタは、
    ガラス層と、
    前記ガラス層を支持するガラス層ホルダーと、を含み、
    前記ガラス層ホルダーの少なくとも一部は、前記マグネットホルダーによって囲まれる、請求項３に記載のカメラモジュール。
  5. 前記マグネットホルダーは、前記複数のマグネットを収容する複数のマグネットガイドを含み、
    前記ガラス層ホルダーは、前記複数のマグネットガイドに対応するように突出した複数の突出部を含み、
    前記複数の突出部は、前記複数のコイルおよび前記複数のマグネットの間に発生する磁場によって前記複数のマグネットガイドに接触したり、前記複数のマグネットガイドから離隔するように動く、請求項４に記載のカメラモジュール。
  6. 前記複数の突出部の動きにより、前記ガラス層は、所定の角度にチルティングされる、請求項５に記載のカメラモジュール。
  7. 前記ガラス層は、ＩＲパスガラス層である、請求項４に記載のカメラモジュール。
  8. 前記ＩＲフィルタは、前記イメージセンサ部上で前記ガラス層と離隔して配置されるＩＲパスガラス層をさらに含む、請求項４に記載のカメラモジュール。
  9. 客体に照射される入射光信号を出力する照明部と、
    前記客体から反射した反射光信号を集光するレンズ部と、
    前記レンズ部によって集光した反射光信号から電気信号を生成するイメージセンサ部と、
    前記イメージセンサ部上に配置される弾性膜と、
    前記反射光信号の光経路をシフトさせるチルティング部と、
    前記チルティング部によってシフトされたフレームに対して前記入射光信号および前記センサ部に受信された前記反射光信号間の位相差を利用して前記客体の深さ情報を抽出する映像制御部と、を含み、
    前記チルティング部は、前記弾性膜の形状を制御する、カメラモジュール。
  10. 前記イメージセンサを収容するハウジングを含み、
    前記弾性膜の一面は、前記ハウジングに結合され、
    前記弾性膜の他面は、前記チルティング部と結合される、請求項９に記載のカメラモジュール。
JP2020555858A 2018-04-13 2019-04-12 カメラモジュールおよびその深さ情報抽出方法 Pending JP2021521438A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0043431 2018-04-13
KR1020180043431A KR102473650B1 (ko) 2018-04-13 2018-04-13 카메라 모듈 및 그의 깊이 정보 추출 방법
PCT/KR2019/004416 WO2019199101A1 (ko) 2018-04-13 2019-04-12 카메라 모듈 및 그의 깊이 정보 추출 방법

Publications (1)

Publication Number Publication Date
JP2021521438A true JP2021521438A (ja) 2021-08-26

Family

ID=68164284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020555858A Pending JP2021521438A (ja) 2018-04-13 2019-04-12 カメラモジュールおよびその深さ情報抽出方法

Country Status (6)

Country Link
US (1) US11568553B2 (ja)
EP (1) EP3780596A4 (ja)
JP (1) JP2021521438A (ja)
KR (1) KR102473650B1 (ja)
CN (1) CN111971957B (ja)
WO (1) WO2019199101A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486425B1 (ko) 2018-02-23 2023-01-09 엘지이노텍 주식회사 카메라 모듈 및 그의 초해상도 영상 처리 방법
KR102513680B1 (ko) * 2018-06-08 2023-03-24 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
KR102618276B1 (ko) * 2019-01-07 2023-12-28 엘지이노텍 주식회사 카메라 모듈
KR20210072458A (ko) * 2019-12-09 2021-06-17 에스케이하이닉스 주식회사 비행시간거리측정 방식의 센싱 시스템 및 이미지 센서
CN115023939A (zh) * 2019-12-26 2022-09-06 Lg 伊诺特有限公司 相机模块
US11867562B2 (en) * 2022-01-25 2024-01-09 Visera Technologies Company Limited Optical devices

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0974524A (ja) * 1995-07-05 1997-03-18 Sharp Corp 画像入力装置
JPH09186920A (ja) * 1995-12-27 1997-07-15 Canon Inc 画像入力装置
JP2005266676A (ja) * 2004-03-22 2005-09-29 Nikon Corp 可変光学ローパスフィルタおよび撮像ユニット
US20070064976A1 (en) * 2005-09-20 2007-03-22 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
JP2008167426A (ja) * 2006-12-08 2008-07-17 Advanced Chip Engineering Technology Inc イメージセンサ・モジュール
JP2010122183A (ja) * 2008-11-21 2010-06-03 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP2017167120A (ja) * 2016-03-10 2017-09-21 株式会社リコー 距離測定装置、移動体、ロボット、装置及び３次元計測方法
KR101804779B1 (ko) * 2016-08-26 2017-12-05 엘지이노텍 주식회사 카메라 모듈

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3038134B2 (ja) 1994-06-20 2000-05-08 シャープ株式会社 撮像装置
JPH11187309A (ja) 1997-12-19 1999-07-09 Canon Inc 撮像装置及び撮像方法
US8629976B2 (en) * 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
KR101925028B1 (ko) * 2012-08-29 2018-12-04 엘지전자 주식회사 깊이 영상 생성 장치 및 방법
CN103915454B (zh) * 2012-12-31 2017-02-08 意法半导体研发(深圳)有限公司 具有对齐的ir滤光片和电介质层的图像传感器设备和相关方法
KR20160142156A (ko) * 2015-06-02 2016-12-12 주식회사 옵트론텍 오토 포커스 촬영 모듈을 이용한 광각 촬영 장치
US9921298B2 (en) 2015-07-20 2018-03-20 Google Llc Method and apparatus for increasing the resolution of a time of flight pixel array

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0974524A (ja) * 1995-07-05 1997-03-18 Sharp Corp 画像入力装置
JPH09186920A (ja) * 1995-12-27 1997-07-15 Canon Inc 画像入力装置
JP2005266676A (ja) * 2004-03-22 2005-09-29 Nikon Corp 可変光学ローパスフィルタおよび撮像ユニット
US20070064976A1 (en) * 2005-09-20 2007-03-22 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
JP2008167426A (ja) * 2006-12-08 2008-07-17 Advanced Chip Engineering Technology Inc イメージセンサ・モジュール
JP2010122183A (ja) * 2008-11-21 2010-06-03 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP2017167120A (ja) * 2016-03-10 2017-09-21 株式会社リコー 距離測定装置、移動体、ロボット、装置及び３次元計測方法
KR101804779B1 (ko) * 2016-08-26 2017-12-05 엘지이노텍 주식회사 카메라 모듈

Also Published As

Publication number Publication date
CN111971957A (zh) 2020-11-20
KR20190119904A (ko) 2019-10-23
KR102473650B1 (ko) 2022-12-02
WO2019199101A1 (ko) 2019-10-17
CN111971957B (zh) 2024-03-08
EP3780596A1 (en) 2021-02-17
EP3780596A4 (en) 2021-09-01
US11568553B2 (en) 2023-01-31
US20210166408A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
JP2021521438A (ja) カメラモジュールおよびその深さ情報抽出方法
KR102514487B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
CN104704821A (zh) 扫描双向光场相机和显示器
JP2012230341A5 (ja)
US20220345626A1 (en) Camera module and super resolution image processing method thereof
KR102571864B1 (ko) 카메라 장치
CN112262572B (zh) 相机模块及由此的深度信息获取方法
US11627301B2 (en) Image sensor and camera module using same
CN112771857B (zh) 相机装置
KR102553555B1 (ko) 카메라 모듈
TW202117385A (zh) 飛行時間相機
KR20200108736A (ko) 카메라 모듈
US20220244390A1 (en) Camera module
US11867817B2 (en) Camera module and depth information extraction method thereof
JP2006235549A (ja) 鏡胴、鏡胴ユニット、および撮像装置
JP2015161904A (ja) 光学素子、撮像素子および撮像装置
KR20200139532A (ko) 카메라 모듈

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402