JP2012128425A - 照明光学系及びそれを備える3次元映像取得装置 - Google Patents

照明光学系及びそれを備える3次元映像取得装置 Download PDF

Info

Publication number
JP2012128425A
JP2012128425A JP2011272397A JP2011272397A JP2012128425A JP 2012128425 A JP2012128425 A JP 2012128425A JP 2011272397 A JP2011272397 A JP 2011272397A JP 2011272397 A JP2011272397 A JP 2011272397A JP 2012128425 A JP2012128425 A JP 2012128425A
Authority
JP
Japan
Prior art keywords
beam shaping
light
shaping element
image acquisition
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011272397A
Other languages
English (en)
Other versions
JP5956146B2 (ja
Inventor
Yong-Hwa Park
勇 和 朴
Alexander Shirankov
シランコフ アレクサンドル
Jang-Woo You
長 雨 柳
O Rozhkov
オー.ロズコフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2012128425A publication Critical patent/JP2012128425A/ja
Application granted granted Critical
Publication of JP5956146B2 publication Critical patent/JP5956146B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stroboscope Apparatuses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)

Abstract

【課題】照明光学系及びそれを備える3次元映像取得装置を提供する。
【解決手段】3次元映像取得装置の撮影視野と一致する照明視野を提供するために、所定の断面形状を有するビーム成形素子を含む3次元映像取得装置用の照明光学系。ビーム成形素子は、その断面形状により照明光の形状を調節できる。したがって、3次元映像取得装置の撮影視野に照明光を集光させることにより、被写体からの反射光の光量を増大させて深さ情報の正確性が向上する。また、ビーム成形素子は、光の散乱や吸収なしに照明光を均質化できるため、スペックルノイズを効率的に抑制できる。
【選択図】図3

Description

本発明は、照明光学系及びこれを利用した3次元映像取得装置に関し、さらに詳細には、取得される深さ情報の正確性が向上するように3次元映像取得装置の撮影視野と一致する照明視野を有する照明光学系及び、これを利用した3次元映像取得装置に関する。
最近、深さのある映像を表示できる3Dディスプレイ装置の進歩及びニーズの増加と共に3Dコンテンツの重要性が高まっている。これにより、一般ユーザが3Dコンテンツを直接製作できる3Dカメラなどの3次元映像取得装置が研究されている。このような3Dカメラは、一回の撮影により既存の2次元カラー映像情報と共に深さ(depth)情報も取得できるものでなければならない。
被写体の表面と3Dカメラ間の距離に関する深さ情報は、2台のカメラを利用した両眼立体視(Stereo Vision)方法や、構造光とカメラを利用した三角測量法を利用して取得する。しかし、このような方法は、被写体の距離が遠ざかるほど、深さ情報の正確性が急激に低下し、被写体の表面状態に依存するため正確な深さ情報の取得が困難である。
このような問題を改善するためにタイムオブフライト法(Time−of−Flight:TOF)が導入された。TOF技術は、照明光を被写体に照射した後、被写体から反射される光が受光部において受光されるまでの光飛行時間を測定する方法である。TOF技術によれば、発光ダイオード(Light Emitting Diode:LED)またはレーザーダイオード(Laser Diode:LD)を含む照明光学系を利用して特定波長の光(例えば、850nmの近赤外線)を被写体に照射し、被写体から反射された光を受光部において受光した後、既知の利得波長を有する変調器により受光された光を変調するなど、深さ情報を抽出するための一連の処理過程を経る。このような一連の光処理過程のために多様なTOF技術が利用されている。
このように照明光学系を利用して光を被写体に照射し、反射光を利用して距離を測定する場合に、3Dカメラに入射される反射光の光量が増加するほど、深さ情報の正確性が向上する。これは、3Dカメラの深さ情報抽出のための信号処理過程において、信号対ノイズ比は入射される光量に比例するためであり、信号対ノイズ比が大きいほど、取得される深さ情報の正確性が向上するためである。ところが、一般的に3Dカメラの撮影視野と照明光学系の照明視野とが異なるため、照明光の相当部分が深さ情報の抽出に使われずに浪費される。したがって、3Dカメラに入射される反射光の光量が最大となるように照明光学系を効率的に設計する必要がある。
また、3Dカメラにより取得される深さ情報の正確性を向上させるためには、単一波長を有するLD、LEDなどの可干渉性(coherent)光源を使用することが有利である。ところが、可干渉性光源は被写体から反射される時にスペックルノイズが存在して、撮影された映像の品質を劣化させる虞がある。このようなスペックルノイズを除去するためにすりガラスなどの拡散板を使用できるが、この場合、拡散板による光の散乱及び吸収によって深さ情報の正確性が低下する虞もある。
本発明は、3次元映像取得装置により取得される深さ情報の正確性を向上させる照明光学系を提供することを目的とする。
また本発明は、スペックルノイズを効率的に抑制できる照明光学系を提供することを目的とする。
また本発明は、前述した照明光学系を含む3次元映像取得装置を提供することを目的とする。
本発明の一実施形態によれば、光源と、前記光源から放出された光を均質化して所定のビーム断面形状を有する光を放出させるビーム成形素子と、前記ビーム成形素子から放出された光をフォーカシングするレンズ装置と、を備える3次元映像取得装置用の照明光学系が提供される。
前記ビーム成形素子から放出された光のビーム断面形状は、前記ビーム成形素子の光出射面の断面形状と同一である。
前記照明光学系は、前記光源と前記ビーム成形素子との間に配置されて、前記光源から放出された光を前記ビーム成形素子の光入射面に案内するマッチングレンズをさらに含む。
本発明の一実施形態において、前記ビーム成形素子の光入射面及び光出射面にそれぞれ反射防止コーティングが形成されている。
本発明の一実施形態において、前記ビーム成形素子の内周面に反射コーティングが形成されており、前記ビーム成形素子の光入射面に入射した光は、前記反射コーティングにより反射されつつ前記ビーム成形素子の光出射面に向かって進む。
前記ビーム成形素子は、例えば、透明な材質からなるインテグレータロッドである。
例えば、前記インテグレータロッドは、長方形の断面を有する。
前記照明光学系は、前記光源から放出された光を前記ビーム成形素子の内部に案内する光導波路をさらに備え、前記光導波路の第1端部は前記光源に連結されており、前記光導波路の第2端部は前記ビーム成形素子の側面に連結されている。
また、前記光導波路の光軸は、前記ビーム成形素子の側面に対して傾いて配置されている。
前記光源は複数の光源を含み、前記光導波路は複数の光導波路を含み、前記複数の光源はそれぞれ、前記複数の光導波路のうちの一つを介して、前記ビーム成形素子に連結されている。
前記ビーム成形素子は長方形の断面を有し、前記ビーム成形素子の4つの側面に、前記光源と前記光導波路とが少なくとも一つずつ配置されている。
前記光源は複数の光源を含み、前記複数の光源と前記ビーム成形素子との間のそれぞれの光路に配置されている複数のマッチングレンズをさらに含む。
前記複数の光源と前記複数のマッチングレンズのうち、少なくとも一つの光源及び少なくとも一つのマッチングレンズの光軸が、前記ビーム成形素子の光入射面に対して傾いている。
前記ビーム成形素子は、光出射面の面積が光入射面の面積より小さくなるようにテーパ形状を有する。
前記光源は複数の光源を含み、前記ビーム成形素子は、前記複数の光源にそれぞれ対応する複数のビーム成形素子を含み、前記複数の光源と前記複数のビーム成形素子との間のそれぞれの光路に配置されている複数のマッチングレンズをさらに含む。
本発明の一実施形態において、前記複数のビーム成形素子は、高さ方向と幅方向のうち少なくとも一方向において互いに隣接するように配置されている。
前記複数のビーム成形素子の幅の和と、前記複数のビーム成形素子の高さの和との比率は、前記所定のビーム断面形状の幅と高さの比率と同一である。
例えば、前記レンズ装置は、ズームレンズである。
また、本発明の他の実施形態によれば、被写体からの映像をフォーカシングする対物レンズと、前記対物レンズによりフォーカシングされた映像を処理して映像信号を生成する映像処理部と、前記被写体を照らす上述した照明光学系と、前記対物レンズ、映像処理部及び照明光学系の動作を制御する制御部と、を備える3次元映像取得装置が提供され、ここで、前記ビーム成形素子の光出射面から放出された光の断面形状は、3次元映像取得装置の撮影視野と比例する。
また、本発明のさらに他の実施形態によれば、照明光学系と、映像を処理して映像信号を生成する映像処理部と、を備える3次元映像取得装置が提供され、ここで、前記照明光学系は、光源と、前記光源から放出された光を均質化して所定のビーム断面形状を有する光を放出させるビーム成形素子と、前記ビーム成形素子から放出された光をフォーカシングするレンズ装置と、を備え、前記所定のビーム断面形状は、前記映像処理部の撮影視野と同一である。
本発明の一実施形態による3次元映像取得装置の構造を例示的に示す概念図である。 図1に示される照明光学系の本発明の一実施形態による構造を概略的に示す概念図である。 図2に示される照明光学系のビーム成形素子のA−A’断面を概略的に示す断面図である。 図2に示される照明光学系から放出される照明光の断面形状による光効率の上昇を説明する図面である。 本発明の他の実施形態による照明光学系の構造を概略的に示す概念図である。 図5に示される光源及び光導波路がビーム成形素子のすべての側面に配置された例を概略的に示す断面図である。 本発明のさらに他の実施形態による照明光学系の構造を概略的に示す概念図である。 本発明のさらに他の実施形態による照明光学系の構造を概略的に示す概念図である。 図8に示されるアレイ状のビーム成形素子の配列構造の一例を概略的に示す断面図である。 図8に示されるアレイ状のビーム成形素子の配列構造の他の例を概略的に示す断面図である。 本発明のさらに他の実施形態による照明光学系の構造を概略的に示す概念図である。
以下、添付した図面を参照して、照明光学系及びそれを備える3次元映像取得装置について詳細に説明する。以下の図面上で同じ参照符号は同じ構成要素を示し、図面上で各構成要素のサイズは、説明の明瞭性及び便宜のため誇張していることもある。
図1は、本発明の一実施形態による3次元映像取得装置100の構造を例示的に示す概念図である。図1を参照すれば、本発明の一実施形態による3次元映像取得装置100は、被写体200からの映像をフォーカシングする対物レンズ110、対物レンズ110によりフォーカシングされた映像を処理して映像信号を生成する映像処理部120、被写体200についての深さ情報を取得するために被写体200を照らす照明光学系130、並びに対物レンズ110、映像処理部120及び照明光学系130の動作を制御する制御部140を備える。このような構造により、照明光学系130は被写体200に赤外線光を照射する。被写体200により反射された赤外線光は、対物レンズ110により映像処理部120上にフォーカシングされる。それと同時に、被写体200から反射された一般的な可視光も映像処理部120上にフォーカシングされる。映像処理部120は、公知のTOF技術により、赤外線光を変調して深さ情報を抽出するための深さ映像信号を生成できる。また、映像処理部120は、可視光を利用して一般的なRGB映像信号を生成できる。制御部140は、映像処理部120において生成された深さ映像信号及びRGB映像信号を利用して被写体200の深さ情報を計算し、ユーザに見られる映像を生成できる。
前述したように、被写体200の深さ情報を取得する過程は、照明光学系130から放出された照明光に依存するため、正確な深さ情報を取得するためには照明光学系130の役割が重要である。図2は、本発明の一実施形態によって深さ情報の正確性を向上させる照明光学系130の構造を概略的に示す概念図である。図2を参照すれば、照明光学系130は、光源131、光源131から放出された光を均質化して光ビームの断面形状を所定の形状に変化させるビーム成形素子133、光源131とビーム成形素子133との間に配置されて光源131から放出された光をビーム成形素子133の光入射面133iに案内するマッチングレンズ132、及びビーム成形素子133の光出射面133eから出た光を被写体200上にフォーカシングするレンズ装置134を備える。
光源131には、例えば、安全のために、人間の肉眼では見えない約850nmの近赤外線(Near Infra−Red:NIR)波長を有する光を放出させる発光ダイオード(LED)またはレーザーダイオード(LD)を使用できる。しかし、これは単に例示的なものであって、設計によっては適切な異なる波長帯域の光と異なる種類の光源とを使用してもよい。また、光源131は、制御部140から受信した制御信号によって、例えば、サイン波、ランプ波、四角波などのように特殊に定義された波形を有する光を放出できる。
光源131から放出された光は、マッチングレンズ132を通りビーム成形素子133の光入射面133iに案内される。ビーム成形素子133は、例えば、ガラスまたは透光性プラスチックなどの透明な材質からなるインテグレータロッドである。ビーム成形素子133の光入射面133iと光出射面133eとには、光の反射による損失を低減させるために、反射防止コーティングが形成される。また、ビーム成形素子133の内周面には高反射コーティング135が形成される。高反射コーティング135は、例えば、反射度の高いAuやAgなどの金属をビーム成形素子133の内周面に蒸着して形成された金属ミラーである。または、高反射コーティング135は、光源131から放出された近赤外線帯域の光に対して約99%以上の反射度を有するように設計された複数層構造の誘電体ミラーでもあってもよい。したがって、光入射面133iに入射した光は、ビーム成形素子133の内部を全反射しながら進み、ビーム成形素子133の光出射面133eに出る。
この時、光出射面133eから出射された光は、ビーム成形素子133の断面形状と同じ形状のビーム断面を有するようになる。ビーム成形素子133の断面形状は、3次元映像取得装置100の撮影視野と実質的に同じ形状である。図3は、図2に示されるビーム成形素子133のA−A’断面を概略的に示す断面図である。図3に示されるように、ビーム成形素子133は、長方形の断面形状を有する。例えば、3次元映像取得装置100が、一般的なカメラと同様にアスペクト比4:3の撮影視野を有する場合、ビーム成形素子133の幅wと高さhとの比率は、撮影視野と同じ4:3である。それにより、照明光学系130により照明される被写体200の照明視野は、3次元映像取得装置100の撮影視野と一致する。
図4は、照明光学系130の照明視野が3次元映像取得装置100の撮影視野と一致する場合の利点を説明するための図である。図4においてAと表示された円は、円形断面を有する従来の照明光学系の照明視野を表し、Bと表示された長方形は、3次元映像取得装置100の撮影視野を表す。前述したように、3次元映像取得装置100はアスペクト比4:3の長方形の撮影視野を有するため、照明視野の断面が円形である場合に照明光の相当部分が浪費される。すなわち、図4において長方形Bの外側にある円Aの内部は撮影視野と一致しないため、深さ情報の抽出に使われずに浪費される照明光部分となる。したがって、照明光が長方形Bの撮影視野内に集光されるならば、すなわち、照明視野が撮影視野に一致するように形成されるならば光効率が上昇するため、光源131の出力を増大させなくても、取得される深さ情報の正確性を向上させることができる。
例えば、円Aの直径がdならば、円Aの面積は(π/4)・d2である。そして、アスペクト比4:3を有して円Aと接する長方形Bの面積は(12/25)・d2である。したがって、照明光を長方形B内に集光させるならば、光効率は、(円Aの面積)/(長方形Bの面積)=25π/48=1.64まで上昇する。本発明の一実施形態によれば、3次元映像取得装置100の撮影視野と同じ断面形状を有するビーム成形素子133を使用することにより、照明光学系130の照明視野と3次元映像取得装置100の撮影視野とが一致するようになる。したがって、光効率が約60%以上上昇して、深さ情報の正確性を向上させることができる。
また、ビーム成形素子133の内部において光が連続的に全反射を行うことにより、色々な経路に進行する光が互いに混ざりつつ照明断面に沿う光強度が全体的に均質化される。その結果、照明視野内のいかなる点でも光強度がほぼ同一となる。また、可干渉性光源の使用時に発生するスペックルノイズが、光損失なしに効率的に緩和及び抑制される。したがって、深さ情報の正確性をさらに向上させることができる。
再び図2を参照すれば、ビーム成形素子133から出た光は、レンズ装置134を通り被写体200にフォーカシングされる。前述したように、被写体200にフォーカシングされる光は、3次元映像取得装置100の撮影視野内に集光される。このためには、ビーム成形素子133の断面形状だけではなく、レンズ装置134のフォーカシングの役割も重要である。すなわち、レンズ装置134は、3次元映像取得装置100の撮影視野と一致する領域に光を照射する適切な倍率を有するように構成される。図2には、レンズ装置134が便宜上一つのレンズ素子のみで表されているが、レンズ装置134は、例えば、複数のレンズを有する可変倍率のズームレンズであってもよい。3次元映像取得装置100の対物レンズ110がズームレンズである場合、レンズ装置134のズーム倍率は、3次元映像取得装置100の対物レンズ110のズーム倍率に連動して調節される。例えば、制御部140は、3次元映像取得装置100の対物レンズ110と照明光学系130のレンズ装置134とを同時に制御して、対物レンズ110とレンズ装置134とが同じズーム倍率を有するように調節できる。
一方、照明光強度が大きくなるほど、深さ情報の正確性が向上するので、照明光学系は複数の光源を含んでもよい。図5は、複数の光源131を含む本発明の他の実施形態による照明光学系230の構造を例示的に示す概念図である。図5を参照すれば、照明光学系230は、光を均質化して光ビームの断面形状を所定の形状に変化させるビーム成形素子133、ビーム成形素子133の側面に設置された複数の光源131、複数の光源131から放出された光をビーム成形素子133の内部に案内する複数の光導波路136、及びビーム成形素子133の光出射面133eから出た光を被写体200上にフォーカシングするレンズ装置134を備える。光源131から放出された光をビーム成形素子133の内部に案内するために、それぞれの光導波路136の一側端部は光源131に連結されており、他側端部はビーム成形素子133の側面に連結されている。また、ビーム成形素子133の内部に案内された光がビーム成形素子133の光出射面133eに向かって進むように、光導波路136は、ビーム成形素子133の側面に対して傾いて配置されている。
図5に示されるように、ビーム成形素子133の上部側面及び下部側面に、複数の光源131及び光導波路136がそれぞれ配置されている。しかし、光源131及び光導波路136は、ビーム成形素子133のすべての側面に配置されてもよい。図6は、光源131と光導波路136とがビーム成形素子133のすべての側面に配置された例を概略的に示す断面図である。図6に示されるように、光源131及び光導波路136は、長方形断面を有するビーム成形素子133の4つの側面にそれぞれ配置される。また、図5に示されるように、ビーム成形素子133の各側面に複数の光源131と光導波路136とが配置されているが、各側面に光源131と光導波路136とが一つずつ配置されてもよい。
図7は、本発明のさらに他の実施形態による照明光学系330の構造を概略的に示す概念図である。図7を参照すれば、照明光学系330は、複数の光源131、複数の光源131から放出された光を均質化して光ビームの断面形状を所定の形状に変化させるビーム成形素子133、複数の光源131から放出された光をそれぞれビーム成形素子133の光入射面133iに案内する複数のマッチングレンズ132、及びビーム成形素子133の光出射面133eから出た光を被写体200上にフォーカシングするレンズ装置134を備える。すなわち、図7に示される実施形態の場合、ビーム成形素子133が光入射面133iに対向する位置に、アレイ状の複数の光源131とアレイ状の複数のマッチングレンズ132とが配置されている。また、図7に示されるように、複数の光源131及び複数のマッチングレンズ132のうちエッジに配置された一部の光源131及び一部のマッチングレンズ132の光軸は、ビーム成形素子133の光入射面133iに対して少しずつ傾く。しかし、ビーム成形素子133の断面積が十分に大きく、アレイ状の光源131とマッチングレンズ132とが十分に小さく形成される場合には、すべての光源131とマッチングレンズ132との光軸が平行に配置されてもよい。
図8は、本発明のさらに他の実施形態による照明光学系430の構造を概略的に示す概念図である。図8に示される実施形態の場合、すべての光源131とマッチングレンズ132との光軸が平行になるように、照明光学系430は複数のビーム成形素子133を含む。すなわち、照明光学系430は、互いに対応するアレイ状の複数の光源131、マッチングレンズ132及びビーム成形素子133を有する。例えば、第1光源131aから放出された光は、第1マッチングレンズ132aにより第1ビーム成形素子133aに入射する。また、第2光源131bから放出された光は、第2マッチングレンズ132bにより第2ビーム成形素子133bに入射し、第3光源131cから放出された光は、第3マッチングレンズ132cにより第3ビーム成形素子133cに入射する。この場合、複数の光源131a〜131cとマッチングレンズ132a〜132cとの光軸は互いに平行となる。
このように複数のビーム成形素子133a〜133cを使用する場合、複数のビーム成形素子133a〜133c全体の断面形状が、3次元映像取得装置100の撮影視野と実質的に同一である。例えば、図9は、図8に示される複数のビーム成形素子133a〜133cのB−B’断面を概略的に示す断面図である。図9に示されるように、3次元映像取得装置100の撮影視野が4:3のアスペクト比を有する場合、それぞれのビーム成形素子133a〜133cの幅wと、複数のビーム成形素子133a〜133cの高さとの和hが4:3の比率を有する。図9には、例示的に3つのビーム成形素子133a〜133cが高さ方向に沿って順次に隣接して積層された例を示している。しかし、図10に示されるように、高さ方向だけでなく幅方向にも複数のビーム成形素子が積層されうる。図10には、4個のビーム成形素子133a〜133dが、幅方向と高さ方向とにそれぞれ2つずつ配置された場合を例示的に示している。この場合、光源131及びマッチングレンズ132も、それぞれのビーム成形素子133a〜133dに対応して4つずつ配置される。また、図10の場合にも、ビーム成形素子133a〜133d全体の断面形状が3次元映像取得装置100の撮影視野と実質的に同一である。例えば、3次元映像取得装置100の撮影視野が4:3のアスペクト比を有する場合、幅方向に2つのビーム成形素子(133a、133b:133c、133d)の幅の和wと、高さ方向に2つのビーム成形素子(133a、133c:133b、133d)の高さの和hとが4:3の比率を有する。
図11は、本発明のさらに他の実施形態による照明光学系530の構造を概略的に示す概念図である。図11に示される実施形態の場合、図10の実施形態と同様に、照明光学系530は、光軸の平行な複数の光源131及びマッチングレンズ132を含むが、一つのビーム成形素子233のみを含むという点において図10の実施形態と相違する。本実施形態において、ビーム成形素子233は、複数の光源131及びマッチングレンズ132のすべてと向かい合う大きさの光入射面233iを有する。一方、ビーム成形素子233の光出射面233eは光入射面233iに対して相対的に小さい。すなわち、ビーム成形素子233は、光出射面233eが光入射面233iより小さいテーパ形状を有する。この場合、ビーム成形素子233の光出射面233eから出る光ビームの断面を小さくすることができるため、レンズ装置134の口径を相対的に小さくすることができる。したがって、この場合、レンズ装置134のコストダウンを実現できる。
これまで、本発明の理解を助けるために照明光学系及びそれを備える3次元映像取得装置についての例示的な実施形態が説明され、かつ添付した図面に示された。しかし、このような実施形態は単に本発明を例示するためのものであり、これを限定するものではない。そして本発明は、図示され、説明された実施形態に限定されるものではない。これは、多様な他の変形が当業者によりなされうるためである。
本発明は、照明光学系及びそれを備える3次元映像取得装置関連の技術分野に好適に用いられる。
100 3次元映像取得装置、
110 対物レンズ、
120 映像処理部、
130 照明光学系、
133 ビーム成形素子、
135 高反射コーティング、
140 制御部、
200 被写体。

Claims (21)

  1. 光源と、
    前記光源から放出された光を均質化して所定のビーム断面形状を有する光を放出させるビーム成形素子と、
    前記ビーム成形素子から放出された光をフォーカシングするレンズ装置と、を備える3次元映像取得装置用の照明光学系。
  2. 前記ビーム成形素子から放出された光のビーム断面形状は、前記ビーム成形素子の光出射面の断面形状と同一である請求項1に記載の3次元映像取得装置用の照明光学系。
  3. 前記光源と前記ビーム成形素子との間に配置されて、前記光源から放出された光を前記ビーム成形素子の光入射面に案内するマッチングレンズをさらに含む請求項1または2に記載の3次元映像取得装置用の照明光学系。
  4. 前記ビーム成形素子の光入射面及び光出射面にそれぞれ反射防止コーティングが形成されている請求項3に記載の3次元映像取得装置用の照明光学系。
  5. 前記ビーム成形素子の内周面に反射コーティングが形成されており、前記ビーム成形素子の光入射面に入射した光は、前記反射コーティングにより反射されつつ前記ビーム成形素子の光出射面に向かって進む請求項3に記載の3次元映像取得装置用の照明光学系。
  6. 前記ビーム成形素子は、透明な材質からなるインテグレータロッドである請求項1〜5のいずれか1項に記載の3次元映像取得装置用の照明光学系。
  7. 前記インテグレータロッドは、長方形の断面を有する請求項6に記載の3次元映像取得装置用の照明光学系。
  8. 前記光源から放出された光を前記ビーム成形素子の内部に案内する光導波路をさらに備え、
    前記光導波路の第1端部は前記光源に連結されており、前記光導波路の第2端部は前記ビーム成形素子の側面に連結されている請求項1に記載の3次元映像取得装置用の照明光学系。
  9. 前記光導波路の光軸は、前記ビーム成形素子の側面に対して傾いて配置されている請求項8に記載の3次元映像取得装置用の照明光学系。
  10. 前記光源は複数の光源を含み、
    前記光導波路は複数の光導波路を含み、
    前記複数の光源はそれぞれ、前記複数の光導波路のうちの一つを介して、前記ビーム成形素子に連結されている請求項8に記載の3次元映像取得装置用の照明光学系。
  11. 前記ビーム成形素子は長方形の断面を有し、前記ビーム成形素子の4つの側面に、前記光源と前記光導波路とが少なくとも一つずつ配置されている請求項10に記載の3次元映像取得装置用の照明光学系。
  12. 前記光源は複数の光源を含み、
    前記複数の光源と前記ビーム成形素子との間のそれぞれの光路に配置されている複数のマッチングレンズをさらに含む請求項1に記載の3次元映像取得装置用の照明光学系。
  13. 前記複数の光源と前記複数のマッチングレンズのうち、少なくとも一つの光源と少なくとも一つのマッチングレンズの光軸が、前記ビーム成形素子の光入射面に対して傾いている請求項12に記載の3次元映像取得装置用の照明光学系。
  14. 前記ビーム成形素子は、光出射面の面積が光入射面の面積より小さくなるようにテーパ形状を有する請求項12に記載の3次元映像取得装置用の照明光学系。
  15. 前記光源は複数の光源を含み、
    前記ビーム成形素子は前記複数の光源にそれぞれ対応する複数のビーム成形素子を含み、
    前記複数の光源と前記複数のビーム成形素子との間のそれぞれの光路に配置されている複数のマッチングレンズをさらに含む請求項1に記載の3次元映像取得装置用の照明光学系。
  16. 前記複数のビーム成形素子は、高さ方向と幅方向のうち少なくとも一方向において互いに隣接するように配置されている請求項15に記載の3次元映像取得装置用の照明光学系。
  17. 前記複数のビーム成形素子の幅の和と、前記複数のビーム成形素子の高さの和との比率は、前記所定のビーム断面形状の幅と高さの比率と同一である請求項16に記載の3次元映像取得装置用の照明光学系。
  18. 前記レンズ装置は、ズームレンズである請求項1〜17のいずれか1項に記載の3次元映像取得装置用の照明光学系。
  19. 被写体からの映像をフォーカシングする対物レンズと、
    前記対物レンズによりフォーカシングされた映像を処理して映像信号を生成する映像処理部と、
    前記被写体を照らす、請求項1〜18のいずれか1項に記載の照明光学系と、
    前記対物レンズ、映像処理部及び照明光学系の動作を制御する制御部と、を備え、
    前記ビーム成形素子の光出射面から放出された光の断面形状は、3次元映像取得装置の撮影視野と比例する3次元映像取得装置。
  20. 前記ビーム成形素子から放出された光の断面形状は、前記ビーム成形素子の光出射面の断面形状と同一である請求項19に記載の3次元映像取得装置。
  21. 照明光学系と、
    映像を処理して映像信号を生成する映像処理部と、を備え、
    前記照明光学系は、
    光源と、
    前記光源から放出された光を均質化して所定のビーム断面形状を有する光を放出させるビーム成形素子と、
    前記ビーム成形素子から放出された光をフォーカシングするレンズ装置と、を備え、
    前記所定のビーム断面形状は、前記映像処理部の撮影視野と同一である3次元映像取得装置。
JP2011272397A 2010-12-14 2011-12-13 照明光学系及びそれを備える3次元映像取得装置 Active JP5956146B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100127866A KR101798063B1 (ko) 2010-12-14 2010-12-14 조명 광학계 및 이를 포함하는 3차원 영상 획득 장치
KR10-2010-0127866 2010-12-14

Publications (2)

Publication Number Publication Date
JP2012128425A true JP2012128425A (ja) 2012-07-05
JP5956146B2 JP5956146B2 (ja) 2016-07-27

Family

ID=45440175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011272397A Active JP5956146B2 (ja) 2010-12-14 2011-12-13 照明光学系及びそれを備える3次元映像取得装置

Country Status (4)

Country Link
US (1) US9874637B2 (ja)
EP (1) EP2466905B1 (ja)
JP (1) JP5956146B2 (ja)
KR (1) KR101798063B1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103162239A (zh) * 2011-12-09 2013-06-19 苏州科医世凯半导体技术有限责任公司 一种led光源耦合器
US20140002608A1 (en) * 2011-12-28 2014-01-02 Faro Technologies, Inc. Line scanner using a low coherence light source
US9471864B2 (en) * 2012-06-22 2016-10-18 Microsoft Technology Licensing, Llc Encoding data in depth patterns
US9057784B2 (en) * 2012-08-14 2015-06-16 Microsoft Technology Licensing, Llc Illumination light shaping for a depth camera
JP2016532396A (ja) 2013-09-03 2016-10-13 シーイング マシーンズ リミテッド 低電力眼追跡システムおよび眼追跡方法
WO2015101899A1 (en) 2014-01-06 2015-07-09 Koninklijke Philips N.V. Thin led flash for camera
KR102312273B1 (ko) * 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
US9635231B2 (en) 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US9674415B2 (en) 2014-12-22 2017-06-06 Google Inc. Time-of-flight camera system with scanning illuminator
FR3032642B1 (fr) * 2015-02-17 2017-08-11 Snecma Outil de controle referentiel
KR102372088B1 (ko) 2015-10-29 2022-03-08 삼성전자주식회사 영상 획득 장치 및 영상 획득 방법
KR102598711B1 (ko) 2016-07-07 2023-11-06 삼성전자주식회사 불균일 광을 조사하는 라이다 장치 및 이를 포함하는 자율 주행 로봇
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
KR102402477B1 (ko) * 2017-08-04 2022-05-27 엘지이노텍 주식회사 ToF 모듈
US11567175B2 (en) * 2017-09-29 2023-01-31 Infineon Technologies Ag Apparatuses and method for light detection and ranging
DE102017123896A1 (de) * 2017-10-13 2019-04-18 Olympus Winter & Ibe Gmbh Optisches System für ein Stereo-Videoendoskop
US11180373B2 (en) 2017-11-29 2021-11-23 Samsung Electronics Co., Ltd. Nanocrystalline graphene and method of forming nanocrystalline graphene
US10436953B2 (en) 2017-12-01 2019-10-08 Rockwell Automation Technologies Inc. Arched collimating lens forming a disk-like illumination
KR102532605B1 (ko) 2018-07-24 2023-05-15 삼성전자주식회사 나노결정질 그래핀 캡층을 포함하는 인터커넥트 구조체 및 이 인터커넥트 구조체를 포함하는 전자 소자
US11217531B2 (en) 2018-07-24 2022-01-04 Samsung Electronics Co., Ltd. Interconnect structure having nanocrystalline graphene cap layer and electronic device including the interconnect structure
KR20200011821A (ko) 2018-07-25 2020-02-04 삼성전자주식회사 탄소물 직접 성장방법
US10609266B2 (en) 2018-08-21 2020-03-31 Rockwell Automation Technologies, Inc. Camera for wide field of view with an arbitrary aspect ratio
KR102601607B1 (ko) 2018-10-01 2023-11-13 삼성전자주식회사 그래핀의 형성방법
KR20200126721A (ko) 2019-04-30 2020-11-09 삼성전자주식회사 그래핀 구조체 및 그래핀 구조체의 형성방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11295649A (ja) * 1998-04-14 1999-10-29 Agency Of Ind Science & Technol レーザー光集光照射装置
JP2004170484A (ja) * 2002-11-18 2004-06-17 Yuji Matsuura ビームホモジナイザ
JP2004341299A (ja) * 2003-05-16 2004-12-02 Ishikawajima Harima Heavy Ind Co Ltd レーザビームの干渉パターン強度低減装置及び方法
JP2005024963A (ja) * 2003-07-03 2005-01-27 Seiko Epson Corp 照明装置および投写型表示装置
JP2007157638A (ja) * 2005-12-08 2007-06-21 Minebea Co Ltd 光源装置およびそれを用いた画像表示装置
JP2008180650A (ja) * 2007-01-25 2008-08-07 Sumitomo Electric Ind Ltd 光源装置およびスペクトル分析装置
JP2009122614A (ja) * 2007-11-12 2009-06-04 Soken:Kk レーザー光のホモジナイザ組立体
WO2010068499A1 (en) * 2008-11-25 2010-06-17 Tetravue, Inc. Systems and methods of high resolution three-dimensional imaging
JP2012078784A (ja) * 2010-09-10 2012-04-19 Canon Inc 撮像装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62150315A (ja) 1985-12-25 1987-07-04 Minolta Camera Co Ltd 照明光学系
JPH0611663A (ja) 1992-06-29 1994-01-21 Minolta Camera Co Ltd 照明光学系
US5850300A (en) 1994-02-28 1998-12-15 Digital Optics Corporation Diffractive beam homogenizer having free-form fringes
AU6136096A (en) 1995-06-22 1997-01-22 3Dv Systems Ltd. Telecentric 3d camera and method
US6445884B1 (en) 1995-06-22 2002-09-03 3Dv Systems, Ltd. Camera with through-the-lens lighting
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5986807A (en) 1997-01-13 1999-11-16 Xerox Corporation Single binary optical element beam homogenizer
JP3840341B2 (ja) 1998-10-15 2006-11-01 浜松ホトニクス株式会社 立体情報検出方法及び装置
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US6822687B1 (en) 1999-07-08 2004-11-23 Pentax Corporation Three-dimensional image capturing device and its laser emitting device
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP2002062588A (ja) * 2000-08-23 2002-02-28 Minolta Co Ltd 平滑化光学素子および照明光学系
JP4623843B2 (ja) 2001-03-02 2011-02-02 Hoya株式会社 3次元画像入力装置
US6688747B2 (en) * 2001-06-08 2004-02-10 Infocus Corporation Achieving color balance in image projection systems by injecting compensating light
JP2003043411A (ja) * 2001-08-03 2003-02-13 Kyocera Corp 照明光学系
US6827467B2 (en) 2002-02-18 2004-12-07 Canon Kabushiki Kaisha Illuminating apparatus
US6895149B1 (en) 2002-05-13 2005-05-17 James Jeffery Jacob Apparatus for beam homogenization and speckle reduction
JP2004126203A (ja) * 2002-10-02 2004-04-22 Nitto Kogaku Kk 光学エンジン
US6986591B2 (en) 2002-12-20 2006-01-17 Hewlett-Packard Development Company, L.P. Non-imaging photon concentrator
US7174077B1 (en) * 2003-07-30 2007-02-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Fiber coupled laser diodes with even illumination pattern
JP4379056B2 (ja) 2003-08-12 2009-12-09 富士ゼロックス株式会社 三次元画像撮像装置および方法
US7095487B2 (en) 2003-10-09 2006-08-22 Honda Motor Co., Ltd. Systems and methods for determining depth using shuttered light pulses
DE202005006418U1 (de) * 2004-04-23 2005-09-08 Infocus Corp., Wilsonville Anordnung von lichtaussendenden Einrichtungen in Projektionssystemen
US7206132B2 (en) 2004-08-06 2007-04-17 Visx, Incorporated Lenslet array for beam homogenization
US7390097B2 (en) 2004-08-23 2008-06-24 3M Innovative Properties Company Multiple channel illumination system
JP4764088B2 (ja) * 2005-07-27 2011-08-31 キヤノン株式会社 撮像装置
WO2007013221A1 (ja) * 2005-07-28 2007-02-01 Matsushita Electric Industrial Co., Ltd. レーザ画像表示装置、ならびに、それに用いる光インテグレータおよびレーザ光源パッケージ
US20110057930A1 (en) * 2006-07-26 2011-03-10 Inneroptic Technology Inc. System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy
US20090147159A1 (en) * 2007-12-06 2009-06-11 Young Optics Inc. Projector
KR100972661B1 (ko) 2008-04-15 2010-07-27 리 조나단 적외선 조명장치
US7959297B2 (en) 2008-05-15 2011-06-14 Eastman Kodak Company Uniform speckle reduced laser projection using spatial and temporal mixing
JP2009300268A (ja) * 2008-06-13 2009-12-24 Nippon Hoso Kyokai <Nhk> 3次元情報検出装置
KR101483462B1 (ko) 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11295649A (ja) * 1998-04-14 1999-10-29 Agency Of Ind Science & Technol レーザー光集光照射装置
JP2004170484A (ja) * 2002-11-18 2004-06-17 Yuji Matsuura ビームホモジナイザ
JP2004341299A (ja) * 2003-05-16 2004-12-02 Ishikawajima Harima Heavy Ind Co Ltd レーザビームの干渉パターン強度低減装置及び方法
JP2005024963A (ja) * 2003-07-03 2005-01-27 Seiko Epson Corp 照明装置および投写型表示装置
JP2007157638A (ja) * 2005-12-08 2007-06-21 Minebea Co Ltd 光源装置およびそれを用いた画像表示装置
JP2008180650A (ja) * 2007-01-25 2008-08-07 Sumitomo Electric Ind Ltd 光源装置およびスペクトル分析装置
JP2009122614A (ja) * 2007-11-12 2009-06-04 Soken:Kk レーザー光のホモジナイザ組立体
WO2010068499A1 (en) * 2008-11-25 2010-06-17 Tetravue, Inc. Systems and methods of high resolution three-dimensional imaging
JP2012078784A (ja) * 2010-09-10 2012-04-19 Canon Inc 撮像装置

Also Published As

Publication number Publication date
KR20120066499A (ko) 2012-06-22
KR101798063B1 (ko) 2017-11-15
JP5956146B2 (ja) 2016-07-27
US9874637B2 (en) 2018-01-23
US20120147147A1 (en) 2012-06-14
EP2466905A2 (en) 2012-06-20
EP2466905A3 (en) 2013-03-20
EP2466905B1 (en) 2018-03-28
CN102566047A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
JP5956146B2 (ja) 照明光学系及びそれを備える3次元映像取得装置
US10166631B2 (en) Laser processing head apparatus with camera monitor
US9273846B1 (en) Apparatus for producing patterned illumination including at least one array of light sources and at least one array of microlenses
CN106415359B (zh) 照明装置、方法与医疗成像系统
CN109491187B (zh) 波长转换装置、光源系统及投影设备
JP5944156B2 (ja) 照明光学系と結像光学系とが統合された光学系、及びそれを含む3次元映像獲得装置
TWI497031B (zh) 產生一物體之一影像的光學裝置及方法
EP3032312B1 (en) Confocal scanner and confocal microscope
JP2013533502A (ja) 拡散性表面を用いてスペックルを低減するためのシステム及び方法
TW201305487A (zh) 具有被控制之可配置的光改向之照明組件
US20230143639A1 (en) Speckle-reduced illumination for improved scattering-based microscopy
JP4426026B2 (ja) マルチ光源ユニットおよびそれを用いた光学システム
KR20150059147A (ko) 렌즈의 색수차를 이용한 3차원 영상 획득 방법 및 이를 이용한 3차원 현미경
JP2015133649A (ja) 導光体、画像読取用照明装置及び画像読取装置
JP2014503842A (ja) 共焦点レーザー走査顕微鏡および試料の検査方法
JP2016081898A (ja) 照明装置、パターン照射装置およびシステム
JP2019203867A (ja) 共焦点変位計
RU2717745C2 (ru) Осветительный блок для сканирования для цифровой патологии
CN110719749A (zh) 内窥镜用光源装置
CN112073699B (zh) 投影系统及其投影方法
CN102566047B (zh) 照射光学系统以及包括其的三维图像获取装置
JP2019056734A (ja) 多点共焦点顕微鏡
TWI740131B (zh) 內視鏡系統及其光源機
JP2017146496A (ja) 照明用光源
US20120300489A1 (en) Light Generator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160616

R150 Certificate of patent or registration of utility model

Ref document number: 5956146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250