JP2019083501A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2019083501A JP2019083501A JP2018008193A JP2018008193A JP2019083501A JP 2019083501 A JP2019083501 A JP 2019083501A JP 2018008193 A JP2018008193 A JP 2018008193A JP 2018008193 A JP2018008193 A JP 2018008193A JP 2019083501 A JP2019083501 A JP 2019083501A
- Authority
- JP
- Japan
- Prior art keywords
- light
- image
- pixel
- signal
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/18—Focusing aids
- G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
- G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
- G02B27/4255—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application for alignment or positioning purposes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
- G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Abstract
【課題】特性の異なる信号を効率よく分離することができるようにする。【解決手段】画像生成部は、ストラクチャードライト光源からの所定のパターンの光が、被写体を撮像する撮像部の特定の画素の投影領域に照射されている状態で撮像が行われることによって得られた画素信号に基づいて被写体の画像を生成する。本開示は、例えば、ストラクチャードライト光源と撮像装置からなるカメラシステムに適用することができる。【選択図】図1
Description
本技術は、撮像装置に関し、特に、特性の異なる信号を効率よく分離することができる撮像装置に関する。
監視カメラシステム、セキュリティシステム、車載システム、ゲーム機などで用いられる物体認識や情報センシングの技術として、可視画像に加えて、赤外線(IR)画像を利用する手法が広く使われている。従来、可視画像を取得するための通常のイメージセンサと、IR光を受光してIR画像を取得するための専用のIRセンサの2つを組み合わせるものが主であったが、最近、可視画像とIR画像を同時に取得可能なイメージセンサが提案されている。
可視画像とIR画像を同時に取得可能なイメージセンサとして、例えば、2×2ベイヤ配列の1つのG画素を、IR光のみを透過するIR画素に置き換えたものが特許文献1に提案されている。特許文献1の提案は、R,G,B,IRそれぞれの画素からの信号を演算処理することにより可視信号とIR信号とを分離し、用途に応じてそれぞれの画像を出力するものである。
しかしながら、特許文献1の提案では、被写体にIR光を照射した場合、R,G,Bの画素も強いIR光を受光してしまうため、可視信号とIR信号を演算処理のみにより完全に分離することが難しく、可視画像の画質(ノイズ、色再現性)を劣化させる要因となっていた。
したがって、画質の優れた可視画像とIR画像を取得するには、IR光と可視光をより効率よく分離する手法が必要とされていた。
本技術は、このような状況に鑑みてなされたものであり、特性の異なる信号を効率よく分離することができるものである。
本技術の一側面の撮像装置は、被写体を撮像する撮像部と、ストラクチャードライト光源からの所定のパターンの光が、前記撮像部の特定の画素の投影領域に照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する画像生成部を備える。
本技術の一側面においては、ストラクチャードライト光源からの所定のパターンの光が、被写体を撮像する撮像部の特定の画素の投影領域に照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像が生成される。
本技術によれば、特性の異なる信号を効率よく分離することができる。
なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.コンピュータ
6.応用例1
7.応用例2
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.コンピュータ
6.応用例1
7.応用例2
< 第1の実施の形態 >
<カメラシステムの構成例>
図1は、本技術を適用したカメラシステムの第1の構成例を示す図である。本技術のカメラシステムでは、ストラクチャードライト(SL)光源から、ドットパターンの光が所定の画素の投影領域に投影されている状態で、SL光源に近接した位置での撮像が行われる。
<カメラシステムの構成例>
図1は、本技術を適用したカメラシステムの第1の構成例を示す図である。本技術のカメラシステムでは、ストラクチャードライト(SL)光源から、ドットパターンの光が所定の画素の投影領域に投影されている状態で、SL光源に近接した位置での撮像が行われる。
図1のカメラシステム1は、IR-SL光源としてのIR光照射装置11と、撮像装置12で構成される。図1には、被写体を想定した平面に、画素の投影領域が仮想的に破線で示されている。投影領域は、撮像装置12内のイメージセンサの画素配列に対応する領域からなる。各投影領域に示される文字は、各投影領域に対応する画素が、R,G,B画素またはIR画素であることを示すものである。
IR光照射装置11は、IR光を照射する装置であり、撮像装置12に近接して固定して配置される。IR光照射装置11は、IR画素に対応する投影領域のみを照射するようなドットパターンのIR光を照射する。投影領域のうち、IR画素の投影領域には、色付きの丸で示されるように、IR光照射装置11からのIR光として、ドットパターンの各ドットが投影される。
撮像装置12は、一例として、R,G,B画素およびIR画素が2×2のマトリクス状に配置されたイメージセンサを備えている。イメージセンサのシャッタ方式は、ローリングシャッタ方式であってもよいし、グローバルシャッタ方式であってもよい。
なお、図1においては、4×4画素の投影領域だけが示され、IR光が照射される投影領域が4つの領域とされているが、実際には、さらに多くの投影領域に対してそれぞれIR光の各ドットが照射される。
撮像装置12は、IR画素に対応する投影領域のみを照射するようなドットパターンのIR光がIR光照射装置11により照射されている状態で被写体を撮像する。R,G,B画素においては、所定の光源からの可視光が受光されている。これにより、撮像装置12では、R,G,B画素からの信号に対応する可視画像とIR画素からの信号に対応するIR画像とが生成される。
<ストラクチャードライト光源の原理>
図2は、ストラクチャードライト光源の原理を説明する図である。
図2は、ストラクチャードライト光源の原理を説明する図である。
IR光照射装置11は、レーザ光源21の前面に回折格子22を設けた構成を有する。回折格子22を適切に設計することにより、マトリクス状の任意の位置(例えば、図1のIR画素の投影領域)にドットパターンのIR光を照射することが可能となる。
<撮像装置の画角とIR-SL光源の照射角の関係>
図3は、撮像装置の画角とIR-SL光源の照射角の関係を説明する図である。
図3は、撮像装置の画角とIR-SL光源の照射角の関係を説明する図である。
IR光照射装置11の光軸11Cを中心としたSL照射角内の各実線は、SL照射領域の境界を示し、また、撮像装置12の光軸12Cを中心とした画角内の各破線は、画素領域の境界を示す。SL照射領域は、画素領域にIR-SL光源からドットが照射される領域である。カメラシステム1において、IR光照射装置11のSL照射角と撮像装置12の画角はおよそ一致するように設定されている。
図3の左側の実線L1は、撮像装置12の投影領域を示している。双方向の矢印で示す範囲が、1画素の投影領域に相当する。画素投影領域の右側の一点鎖線L2は、視差一致限界距離を示している。視差一致限界距離は、IR光照射装置11と撮像装置12を起点とした、IR光照射装置11と撮像装置12との視差がほぼ一致する距離である。実線L1上と、一点鎖線L2上の黒の矩形は、ドットパターンの各ドットを表している。
図3のIR光照射装置11からのドットパターンのIR光は、撮像装置12の画素配列のうち、IR画素に相当する領域のみに照射される。その際、撮像装置12とIR光照射装置11を固定しておく。
これにより、IR光照射装置11と撮像装置12からみて、一点鎖線L2に示される視差一致限界距離より離れていれば、被写体がどの距離にあってもIR光照射装置11から照射されるドットパターンのIR光と撮像装置12の画素投影領域がずれることはない。よって、IR画素の投影境域とドットパターンのIR光は1:1に対応する。IR光の反射光は、R,G,Bの画素には到達せず、IR画素でのみ受光される。
視差一致限界距離は、例えば、イメージセンサの画素サイズを15um程度、レンズの焦点距離を3mm程度、IR光照射装置11の光軸11Cと撮像装置12のイメージセンサ(レンズ)の光軸12Cの距離の差を3mm程度とすると、約60cmとなる。
<撮像装置の構成例>
図4は、撮像装置の構成例を示すブロック図である。カメラシステム1における被写体の撮像は、IR-SL光源としてのIR光照射装置11からのドットパターンのIR光が定常的に照射された状態で、撮像装置12により行われる。
図4は、撮像装置の構成例を示すブロック図である。カメラシステム1における被写体の撮像は、IR-SL光源としてのIR光照射装置11からのドットパターンのIR光が定常的に照射された状態で、撮像装置12により行われる。
撮像装置12は、レンズなどの光学系31、イメージセンサ32、画像生成部33より構成される。
被写体からの光は、光学系31を介して、イメージセンサ32に入射される。イメージセンサ32は、R,G,B画素およびIR画素が2×2のマトリクス状に配置された画素アレイ部を有している。イメージセンサ32は、入射した光を光電変換し、画素アレイ部の各画素の画素値をA/D変換することで、画素の信号を生成する。
画像生成部33は、イメージセンサ32の画素アレイ部を構成する複数の画素のうち、R,G,B画素からの信号(可視信号)を用いて可視画像を生成し、生成した可視画像を、図示せぬ後段の信号処理部に出力する。また、画像生成部33は、イメージセンサ32の画素アレイ部を構成する複数の画素のうち、IR画素からの信号(IR信号)を用いてIR画像を生成し、生成したIR画像を、図示せぬ後段の信号処理部に出力する。
画像生成部33は、信号分離部41、補間処理部42−1および補間処理部42−2、並びに、高画質化信号処理部43−1および高画質化信号処理部43−2を含むように構成される。
信号分離部41は、イメージセンサ32の信号から可視信号を分離し、補間処理部42−1に出力する。また、信号分離部41は、イメージセンサ32の信号からIR信号を分離し、補間処理部42−2に出力する。
補間処理部42−1は、R,G,B画素の配列に応じて、欠落した色の画素信号を生成するデモザイク処理などの補間処理をすることで可視画像を生成し、高画質化信号処理部43−1に供給する。
補間処理部42−2は、IR信号の補間処理をすることでIR画像を生成し、高画質化信号処理部43−2に出力する。
高画質化信号処理部43−1は、可視画像の高画質化処理を行い、高画質化処理後の可視画像を出力する。
高画質化信号処理部43−2は、IR画像の高画質化処理を行い、高画質化処理後のIR画像を出力する。
<カメラシステムの動作>
次に、図5のフローチャートを参照して、撮像装置12の撮像処理を説明する。
次に、図5のフローチャートを参照して、撮像装置12の撮像処理を説明する。
図5のステップS11において、イメージセンサ32は、IR光照射装置11からのドットパターンのIR光が照射されている状態で被写体を撮像する。イメージセンサ32は、入射した光を光電変換し、画素アレイ部の各画素の画素値をA/D変換することで、画素信号を生成する。
ステップS12において、信号分離部41は、イメージセンサ32からの信号から可視信号とIR信号を分離する。分離された可視信号は補間処理部42−1に出力され、IR信号は補間処理部42−2に出力される。
ステップS13において、補間処理部42−1は、可視信号の補間処理をすることで可視画像を生成する。また、補間処理部42−2は、IR信号の補間処理をすることでIR画像を生成する。補間後の可視画像は、高画質化信号処理部43−1に出力される。補間後のIR画像は、高画質化信号処理部43−2に出力される。
ステップS14において、高画質化信号処理部43−1は、可視画像の高画質化処理を行う。高画質化信号処理部43−2は、IR画像の高画質化処理を行う。高画質化処理後の可視画像とIR画像は、後段の信号処理部に出力される。
以上のようにして得られた可視画像とIR画像とは、例えば監視カメラシステムの物体認識に用いられる。分離後に合成して、カラー画像を取得するようにしてもよい。
また、可視画像とIR画像とは、パーソナルコンピュータやスマートフォン用のセキュリティのための顔認証、または、虹彩認識に用いられる。認証用またはゲームなどのジェスチャ認識に用いるIR画像と可視画像を一台の撮像装置により同時取得が可能である。
以上のように、IR光を照射することによる被写体からの反射光は、IR画素でのみ受光されるため、RGB画素によって得られる可視信号に影響を与えることない。したがって、特性の異なる信号である可視信号とIR信号を分離することが可能となる。また、R,G,B画素上に、IR照射光を遮断する専用のオンチップフィルタを形成するようなことも不要となる。
<IR-SL光源の配置例>
図6は、IR-SL光源の配置例を示す外観図である。
図6は、IR-SL光源の配置例を示す外観図である。
図6のAは、撮像装置12に、IR-SL光源としての、IR光を照射するIR光照射部11Aを内蔵させることで、撮像の構成とIR光の照射の構成とを同一筐体に一体化した例を示す。この場合、IR光照射部11Aは、撮像装置12のレンズに代表される光学系31の近傍に配置される。
図6のAのように一体化することで、光学系31の後方に設けられるイメージセンサ32の位置とIR光照射部11Aの位置をより近くに配置できるため、より近距離においてIR光のドットパターンと画素投影領域を一致させることが可能となる。
図6のBは、撮像装置12とIR-SL光源としてのIR光照射装置11がそれぞれ独立して構成される例を示す。IR光照射装置11は、例えば、撮像装置12の筐体の上に、アジャスターなどで着脱可能に取り付けられる。
図6のBのようにアジャスターで着脱可能に取り付けることで、IR光照射装置11を用途に応じて取り替えることが可能となり、例えば、IR-SL光源として異なる波長のものへの切り替えが可能となる。
<変形例1>
以上のように、第1の実施の形態では、RGB-IR画素の配列として、2×2のマトリクス状に配置されたものを例に説明したが、RGB-IR画素の配列は、2×2のマトリクス状に配置されたものに限らない。例えば、RGB-IRではない、他の異なる画素配列でもよく、また、画素配列が3×3や4×4のマトリクス上に配置されたものであってもよい。
以上のように、第1の実施の形態では、RGB-IR画素の配列として、2×2のマトリクス状に配置されたものを例に説明したが、RGB-IR画素の配列は、2×2のマトリクス状に配置されたものに限らない。例えば、RGB-IRではない、他の異なる画素配列でもよく、また、画素配列が3×3や4×4のマトリクス上に配置されたものであってもよい。
第1の実施の形態では、IR-SL光源のパターン形状として、IR光の各ドットが所定のパターンで配列されて構成されるドットパターンを例に説明したが、IR-SL光源のパターン形状は、ドットパターンに限らず、画素の投影領域に対応する形状であれば、複数画素が跨るように光があたるように形成されるパターンなど、他の形状でもよい。
第1の実施の形態では、ドットパターンの各ドットが、IR画素の投影領域に投影される場合を例に説明したが、IR画素だけに限らず、ドットパターンの各ドットがR,G,B画素のうちの特定の画素領域に投影されてもよい。例えば、IR画素とG画素にドットパターンの各ドットを投影するようにすると、IR信号を受光する画素が増えるため、IR画像の解像度を上げることができる。その際、G画素に混入するIR信号は、マトリクス演算にて減算処理される。
第1の実施の形態では、1つのIR-SL光源を用いた場合について説明したが、例えば、照射光の強度を上げるために、1つの画素に複数光源からの光が照射されるようにしてもよい。
< 第2の実施の形態 >
<カメラシステムの構成例>
図7は、本技術を適用したカメラシステムの第2の構成例を示す図である。
<カメラシステムの構成例>
図7は、本技術を適用したカメラシステムの第2の構成例を示す図である。
図7のカメラシステム51は、SL光源としての光照射装置61と、撮像装置62で構成される。図7には、被写体を想定した平面に、画素の投影領域が仮想的に破線で示されている。投影領域は、撮像装置62の画素配列に対応する領域からなる。各投影領域に示される文字は、各投影領域に対応する画素が、R,G,B画素またはIR画素であることを示すものである。
光照射装置61が、投影領域に投影されるドットパターンを形成するSL光源として、R,G,B,IR光の4つの光源を有している点と、撮像装置62が、イメージセンサとして、オンチップのカラーフィルタが搭載されていない白黒(W/B)のセンサを用いる点は、図1のカメラシステム1と異なっている。それ以外の共通する部分については、図1のカメラシステム1と同様の構成であるため、繰り返しになるので、共通する部分についての説明は省略される。
光照射装置61が有する4つの光源は、R光を照射するR光源、G光を照射するG光源、B光を照射するB光源、IR光を照射するIR光源である。
R光源は、R画素に対応する投影領域のみを照射するようなドットパターンのR光を照射する。G光源は、G画素に対応する投影領域のみを照射するようなドットパターンのG光を照射する。B光源は、B画素に対応する投影領域のみを照射するようなドットパターンのB光を照射する。IR光源は、IR画素に対応する投影領域のみを照射するようなドットパターンのIR光を照射する。
投影領域には、4種類のハッチングの丸で示されるように、光照射装置61の4つの光源からの光として、ドットパターンの各ドットが同時に投影される。
撮像装置62は、光照射装置61の4つの光源から、R,G,B,IRの各画素の投影領域のみを照射するようなドットパターンの光が照射されている状態で被写体を撮像する。これにより、上述した第1の実施の形態と同様に、R画像、G画像、B画像が合成された可視画像とIR画像の取得が可能となる。
<撮像装置の構成例>
図8は、撮像装置の構成例を示すブロック図である。カメラシステム51における被写体の撮像は、SL光源としての光照射装置61からのドットパターンの光が定常的に照射された状態で、撮像装置62により行われる。
図8は、撮像装置の構成例を示すブロック図である。カメラシステム51における被写体の撮像は、SL光源としての光照射装置61からのドットパターンの光が定常的に照射された状態で、撮像装置62により行われる。
撮像装置62は、レンズなどの光学系71、イメージセンサ72、および画像生成部73より構成される。
被写体からの光は、光学系71を介して、イメージセンサ72に入射される。イメージセンサ72は、入射した光を光電変換し、画素アレイ部の各画素の画素値をA/D変換することで、画素の信号を生成する。
イメージセンサ72は、オンチップのカラーフィルタが搭載されていない白黒(W/B)のセンサである。イメージセンサ72は、R,G,B画素およびIR画素が2×2のマトリクス状に配置された画素アレイ部を有している。
画像生成部73は、イメージセンサ72の画素アレイ部を構成する複数の画素のうち、R,G,B画素からのR,G,B信号を用いてそれぞれR,G,B画像を生成し、生成したR,G,B画像を、図示せぬ後段の信号処理部に出力する。画像生成部73は、イメージセンサ72の画素アレイ部を構成する複数の画素のうち、IR画素からのIR信号を用いてIR画像を生成し、生成したIR画像を、図示せぬ後段の信号処理部に出力する。
画像生成部73は、信号分離部81、補間処理部82−1乃至補間処理部82−4、高画質化信号処理部83−1乃至高画質化信号処理部83−4を含むように構成される。
信号分離部81は、イメージセンサ72の信号から、R信号を分離し、補間処理部82−1に出力する。信号分離部81は、イメージセンサ72の信号から、G信号を分離し、補間処理部82−2に出力する。信号分離部81は、イメージセンサ72の信号から、B信号を分離し、補間処理部82−3に出力する。信号分離部81は、イメージセンサ72の信号から、IR信号を分離し、補間処理部82−4に出力する。
補間処理部82−1乃至補間処理部82−3は、R,G,B画素の配列に応じて、欠落した色の画素信号を生成するデモザイク処理などの補間処理を行うことでR画像,G画像,B画像を生成し、それぞれ、高画質化信号処理部83−1乃至高画質化信号処理部83−3に供給する。
補間処理部82−4は、IR信号の補間処理を行うことで、補間後のIR画像を生成し、高画質化信号処理部83−4に出力する。
高画質化信号処理部83−1乃至高画質化信号処理部83−3は、R画像,G画像,B画像の高画質化処理を行い、高画質化処理後のR画像,G画像,B画像をそれぞれ出力する。
高画質化信号処理部83−4は、IR画像の高画質化処理を行い、高画質化処理後のIR画像を出力する。
<SL光源の配置例>
図9は、SL光源の配置構成例を示す外観図である。
図9は、SL光源の配置構成例を示す外観図である。
図9のAは、撮像装置62に、SL光源としての、R光を照射する光照射部61A−1、G光を照射する光照射部61A−2、B光を照射する光照射部61A−3、IR光を照射する光照射部61A−4を内蔵させることで、撮像の構成と光の照射の構成とを同一筐体に一体化した例を示す。この場合、光照射部61A−1乃至光照射部61A−4は、撮像装置62のレンズに代表される光学系71の近傍に配置される。
図9のAのように一体化することで、光学系71の後方に設けられるイメージセンサ72の位置と光照射部61A−1乃至光照射部61A−4の位置をより近くに配置できるため、より近距離においてドットパターンと画素投影領域を一致させることが可能となる。
図9のBは、撮像装置62とSL光源としての光照射装置61がそれぞれ独立して構成される例を示す。光照射装置61は、R光を照射する光照射部61A−1、G光を照射する光照射部61A−2、B光を照射する光照射部61A−3、IR光を照射する光照射部61A−4を有する。
光照射装置61は、例えば、撮像装置62の筐体の上にアジャスターなどで着脱可能に取り付けられる。
図9のBのようにアジャスターで着脱可能に取り付けることで、光照射装置61を用途に応じて取り替えることが可能となり、例えば、SL光源として異なる波長のものへの切り替えが可能となる。
<カメラシステムの動作>
次に、図10のフローチャートを参照して、図7のカメラシステムの撮像処理を説明する。
次に、図10のフローチャートを参照して、図7のカメラシステムの撮像処理を説明する。
図10のステップS51において、イメージセンサ72は、光照射装置61の各光照射部61A−1乃至光照射部61A−4からのドットパターンの光が照射されている状態で、被写体を撮像する。イメージセンサ72は、入射した光を光電変換し、画素アレイ部の各画素の画素値をA/D変換することで、画素の信号を生成する。
ステップS52において、信号分離部81は、イメージセンサ72からの信号から、R信号、G信号、B信号、IR信号を分離する。R信号、G信号、B信号は、補間処理部82−1乃至補間処理部82−3にそれぞれ出力される。IR信号は、補間処理部82−4に出力される。
ステップS53において、補間処理部82−1乃至補間処理部82−3は、R信号、G信号、B信号の補間処理を行うことで、補間後のR,G,B画像をそれぞれ生成する。補間処理部82−4は、IR信号の補間処理を行うことで、補間後のIR画像を生成する。補間後のR,G,B画像は、高画質化信号処理部83−1乃至高画質化信号処理部83−3にそれぞれ出力される。補間後のIR画像は、高画質化信号処理部83−4に出力される。
ステップS54において、高画質化信号処理部83−1乃至高画質化信号処理部83−3は、R,G,B画像の高画質化処理をそれぞれ行う。高画質化信号処理部83−4は、IR信号の画像の高画質化処理を行う。高画質化処理後のR,G,B画像とIR画像は、後段の信号処理部に出力される。
<画素配列の例>
図11は、画素配列の例を示す図である。
図11は、画素配列の例を示す図である。
図11のAには、図7と同様の画素配列の例が示されている。図11のAは、ドットパターンを形成するSL光源として、R,G,B,IRの4つの光源を用い、2×2の画素の各投影領域に対応させて、それぞれドットパターンの光を照射するようにした例である。R,G,B,IRの4つのSL光源の組み合わせと対応するドットパターンを用いることにより、第1の実施の形態と同様に、可視画像とIR画像の取得が可能となる。
図11のBは、図11のAに示されたSL光源の組み合わせのIRのパターンを、Gパターンに置き換えた例である。R,G,B,Gの4つのSL光源の組み合わせと対応するドットパターンを用いることにより、ベイヤパターンのフィルタを用いたセンサと同様に、高解像度のカラー画像を取得することが可能となる。
図11のCは、R,G,B,IRの波長帯域以外の波長帯域の光源を複数(図11のCの場合、9種類)用いて、太線に囲まれた3×3の広範囲の領域に展開した例である。このような9つのSL光源の組み合わせと対応するドットパターンを用いることにより、マルチスペクトル分光、解析に必要な被写体の分光特性を取得することができる。なお、4×4の広範囲の領域に展開してもよい。
以上のように、SL光源の組み合わせを変えることにより、同一のカメラシステムを用途に応じて切り替えることが可能である。被写体の分光解析などの応用では、被写体の材質により、取得すべき波長帯域が異なるため、本技術のカメラシステムのようなフレキシブルに解析用のプローブ波長を変更できるカメラシステムは有用である。
<変形例2>
以上のように、第2の実施の形態では、SL光源のパターン形状として、ドットパターンを例に説明したが、SL光源のパターン形状は、ドットパターンに限らず、画素の投影領域に対応する形状であれば、複数画素が跨るように光があたるように形成されるパターンなど、他の形状でもよい。
以上のように、第2の実施の形態では、SL光源のパターン形状として、ドットパターンを例に説明したが、SL光源のパターン形状は、ドットパターンに限らず、画素の投影領域に対応する形状であれば、複数画素が跨るように光があたるように形成されるパターンなど、他の形状でもよい。
第2の実施の形態では、SL光源の配置として、1つの光源のみの場合を説明してきたが、例えば、照射光の強度を上げるために、同一の画素に対応したドットパターンを照射するための複数のSL光源が用いられるようにしてもよい。
第2の実施の形態では、各画素の投影領域に1種ずつのSL光源のパターン光のみが投影されているが、同一の画素投影領域に波長帯域の異なる複数種のSL光源からのパターン光が投影されてもよい。これらは、分光解析する用途により選択される。
第2の実施の形態の応用例としては、第2の実施の形態のカメラシステムは、バイオやメディカルなどの技術分野における分光解析などに用いることができる。通常のカラー画像の撮像、マルチスペクトル分光画像の取得、特定の蛍光発光などの観察が、第2の実施の形態のカメラシステムを用いることで可能となる。
さらに、第2の実施の形態のカメラシステムを、バイオテクノロジーやメディカルの技術分野に適用することにより、励起光による蛍光反射を観察する蛍光観察と通常のカラー画像撮像とを同時に行うことができる。
以上のように、本技術においては、ストラクチャードライト光源からの所定のパターンの光が、被写体を撮像する撮像部の特定の画素の投影領域に照射されている状態で撮像が行われることによって得られた画素信号に基づいて被写体の画像を生成するようにした。
本技術によれば、特性の異なる画像同士、例えば、可視画像とIR画像を、クロストークを起こすことなく、分離、同時取得できるカメラシステムが実現可能である。
本技術によれば、1つのセンサで、オンチップカラーフィルタを配置した場合と同様な分光特性を有する撮像が可能である。
ここで、従来、分光解析の分野では、マルチ分光スペクトルカメラが提案されていた。マルチ分光スペクトルカメラは、さまざまな波長帯域に対応する多くのカラーフィルタをセンサの各画素に配置し、各画素信号を取得することができる。マルチ分光スペクトルカメラを用いることで、被写体の分光反射特性を解析したり、被写体の材質同定、分析を行っていた。
ただし、マルチ分光スペクトルカメラは、センサ上に各種のカラーフィルタを形成する必要があるため、製造工程が煩雑になり、センサのコストが高くなっていた。また、多くの波長帯域のデータを取得しようとすると、2次元状に多種のカラーフィルタを展開する必要があり、分光分析結果の空間分解能を高くすることが困難であった。
これに対して、本技術によれば、オンチップカラーフィルタを必要とすることなく、1つのセンサで、オンチップカラーフィルタを配置した場合と同様な分光特性を有する撮像が可能である。
これにより、分光分析などにおいて、照射光源を切り替えることにより、1つのカメラシステムで、さまざまな用途に対応することが可能である。
< 第3の実施の形態 >
<カメラシステムの構成例>
図12は、本技術を適用したカメラシステムの第3の構成例を示す図である。
<カメラシステムの構成例>
図12は、本技術を適用したカメラシステムの第3の構成例を示す図である。
図12のカメラシステム101は、IR-SL光源としてのIR光照射装置111と、撮像装置112で構成される。図12には、被写体を想定した平面に、画素の投影領域が仮想的に破線で示されている。投影領域は、撮像装置112の画素配列に対応する領域からなる。各投影領域に示される文字R,G,B,Tは、各投影領域に対応する画素が、それぞれ、R,G,B画素またはTOF(Time Of Flight)用画素であることを示すものである。
IR光照射装置111は、IR光を照射する装置であり、撮像装置112に近接して固定して配置される。IR光照射装置111は、TOF用画素に対応する投影領域のみを照射するようなドットパターンのIR光を点滅照射する。投影領域のうち、TOF用画素の投影領域には、色付きの丸で示されるように、IR光照射装置111からのIR光として、ドットパターンの各ドットが投影される。
撮像装置112は、R,G,B画素およびTOF用画素が配置されたイメージセンサを備えている。イメージセンサのシャッタ方式は、ローリングシャッタ方式であってもよいし、グローバルシャッタ方式であってもよい。
撮像装置112は、TOF用画素に対応する投影領域のみを照射するようなドットパターンのIR光がIR光照射装置111により照射されている状態で被写体を撮像する。R,G,B画素においては、所定の光源からの可視光が受光されている。これにより、撮像装置112では、R,G,B画素からの信号に対応する可視画像が生成され、TOF用画素からの信号を用いて距離情報が得られる。
なお、カメラシステム101においても、IR光照射装置111は、図6を参照して上述したように、撮像装置112と一体型で構成されていてもよいし、撮像装置112に着脱可能に構成されていてもよい。
<ストラクチャードライト光源の原理>
図13は、ストラクチャードライト光源の原理を説明する図である。
図13は、ストラクチャードライト光源の原理を説明する図である。
IR光照射装置111は、レーザ光源121の前面に回折格子122を設けた構成を有する。回折格子122を適切に設計することにより、マトリクス状の任意の位置(例えば、図12のTOF用画素の投影領域)にドットパターンのIR光を照射することが可能となる。
<IR光照射装置および撮像装置の構成例>
図14は、IR光照射装置および撮像装置の構成例を示すブロック図である。
図14は、IR光照射装置および撮像装置の構成例を示すブロック図である。
IR光照射装置111は、レーザ光源121、回折格子122、およびIR-LEDドライバ131から構成される。
IR-LEDドライバ131は、撮像装置112から供給されるLEDのON/OFF信号およびLED強度調整信号に応じて、レーザ光源121の点滅照射動作を制御する。LEDのON/OFF信号は、LEDのONとOFFを示す信号である。LED強度調整信号は、LEDの強度を調整するための信号である。
撮像装置112は、レンズなどの光学系141、IRバンドパスフィルタ142、イメージセンサ143、およびカメラDSP144から構成される。
被写体からの光は、光学系141およびIRバンドパスフィルタ142を介して、イメージセンサ143に入射される。イメージセンサ143は、R,G,B画素およびTOF用画素が配置された画素アレイ部を有している。イメージセンサ143は、入射した光を光電変換し、画素アレイ部の各画素の画素値をA/D変換することで、画素の信号を生成する。
カメラDSP144は、イメージセンサ143の画素アレイ部を構成する複数の画素のうち、R,G,B画素からのR,G,B信号を用いてカラー画像を生成し、生成したカラー画像を、図示せぬ後段の信号処理部に出力する。また、カメラDSP144は、イメージセンサ143の画素アレイ部を構成する複数の画素のうち、TOF用画素からのTOF用信号を用いて距離を算出する。カメラDSP144は、算出した距離を示す距離情報からAF(オートフォーカス)を制御するためのAF制御信号を生成する。生成されたAF制御信号は、光学系141の駆動に用いられる。
カメラDSP144は、LEDのON/OFF信号およびLED強度調整信号を生成し、生成したLEDのON/OFF信号およびLED強度調整信号を、IR-LEDドライバ131に出力する。
<画素配列の例>
図15は、イメージセンサの画素配列の例を示す図である。
図15は、イメージセンサの画素配列の例を示す図である。
イメージセンサ143の画素アレイ部は、図15に示されるように、ベイヤ配列の水平方向および垂直方向において4画素毎にG画素がTOF用画素に置き換えられた画素配列で構成される。
<撮像装置の画角とIR-SL光源の照射角の関係>
図16は、撮像装置の画角とIR-SL光源の照射角の関係を説明する図である。
図16は、撮像装置の画角とIR-SL光源の照射角の関係を説明する図である。
IR光照射装置111の光軸111Cを中心としたSL照射角内の各実線は、SL照射領域の境界を示し、また、撮像装置112の光軸112Cを中心とした画角内の各破線は、画素領域の境界を示す。SL照射領域は、画素領域にIR-SL光源からドットが照射される領域である。カメラシステム101において、IR光照射装置111のSL照射角と撮像装置112の画角はおよそ一致するように設定されている。
図16の左側の実線L1は、撮像装置112の投影領域を示している。双方向の矢印で示す範囲が、1画素の投影領域に相当する。画素投影領域の右側の一点鎖線L2は、図3を参照して上述した視差一致限界距離を示している。実線L1上と、一点鎖線L2上の黒の矩形は、ドットパターンの各ドットを表している。
図16のIR光照射装置111からのドットパターンのIR光は、撮像装置112の画素配列のうち、TOF用画素に相当する領域のみに照射される。その際、撮像装置112とIR光照射装置111を固定しておく。
これにより、IR光照射装置111と撮像装置112からみて、一点鎖線L2に示される視差一致限界距離より離れていれば、被写体がどの距離にあってもIR光照射装置111から照射されるドットパターンのIR光と撮像装置112の画素投影領域がずれることはない。よって、IR画素の投影境域とドットパターンのIR光は1:1に対応する。IR光の反射光は、R,G,Bの画素には到達せず、IR画素でのみ受光される。
なお、視差一致限界距離については、図3の場合と同様であるため、その説明は省略される。
図17は、ダイクロイックミラーを用いた場合の撮像装置の画角とIR-SL光源の照射角の関係を説明する図である。
ダイクロイックミラー151は、入射面に対して垂直方向の光を反射し、入射面に対して平行方向の光を透過するように形成されている。ダイクロイックミラー151は、撮像装置112の光学系141の手前に、ダイクロイックミラー151反射後の光軸の中心と、撮像装置112の光軸112Cの中心がほぼ一致するように配置される。
また、IR光照射装置111は、ダイクロイックミラー151の入射面に対して垂直方向の光を照射するように、撮像装置112の光軸112Cに対して垂直に配置される。
このように配置することで、ダイクロイックミラー151反射後の光軸の中心と、撮像装置112の光軸112Cの中心とをほぼ一致させることができる。また、ダイクロイックミラー151により、IR光照射装置111から照射されるドットパターンのIR光は反射され、被写体からの光は透過されるので、およそ50%のIR光を撮像装置112で受光することができる。
これにより、ドットパターンと画素の投影領域の対応を、近距離含めて、ほぼ一致させることができる。
なお、ダイクロイックミラー151の代わりに、ダイクロイックプリズムや偏向ビームスプリッターなどが配置されるようにしてもよい。他の実施の形態のカメラシステムにおいても、ダイクロイックミラー151が用いられるようにしてもよい。
<イメージセンサの一部の断面例>
図18は、イメージセンサにおける光の入射側の一部の構成例を示す断面図である。
図18は、イメージセンサにおける光の入射側の一部の構成例を示す断面図である。
図18の例においては、イメージセンサ143における光の入射側の一部の構成として、受光画素161、絶縁層162、フィルタ層163、カラーフィルタ層164、およびオンチップレンズ165が示されている。
受光画素161は、左から順に、B画素、G画素、R画素、TOF用画素で構成される。
絶縁層162は、フィルタ層163を透過した光を受光画素161まで通過させる。
フィルタ層163は、B画素、G画素、R画素上に配置されるIR遮断フィルタおよびTOF用画素上に配置されるブルーフィルタから構成される。IR遮断フィルタは、IR光の波長域(例えば、850nm前後)の光を遮断する。ブルーフィルタは、カラーフィルタ層164のレッドフィルタと重ねて配置されることで、IR光のみを透過させる。
カラーフィルタ層164は、B画素上に配置されるブルーフィルタ、G画素上に配置されるグリーンフィルタ、R画素およびTOF用画素上に配置されるレッドフィルタから構成される。ブルーフィルタは、Gの波長域の光とRの波長域の光を遮断し、Bの波長域の光を透過させる。グリーンフィルタは、Bの波長域の光とRの波長域の光を遮断し、Gの波長域の光を透過させる。レッドフィルタは、Gの波長域の光とBの波長域の光を遮断し、Rの波長域の光を透過させる。
オンチップレンズ165は、受光画素161の各画素上に配置されるレンズで構成される。
また、光学系141とイメージセンサ143の間には、IRバンドパスフィルタ142が配置されている。IRバンドパスフィルタ142は、可視領域とIR光の波長域の部分に透過性を有するバンドパスフィルタである。
以上の構成により、B画素には、Bの波長域の光が入射され、G画素には、Gの波長域の光が入射され、R画素には、Rの波長域の光が入射され、TOF用画素には、IR光の波長域の光が入射される。
ただし、実際には、IR遮断フィルタを用いても、B画素、G画素、R画素には、IR光の透過残光が入射されてしまう。それは、IR遮断フィルタが、次のような分光特性を有しているためである。
<フィルタ分光特性>
図19は、IRバンドパスフィルタとIR遮断フィルタの分光特性を示す図である。
図19は、IRバンドパスフィルタとIR遮断フィルタの分光特性を示す図である。
IRバンドパスフィルタ142は、400nm乃至680nmおよび830nm乃至870nmの波長域の光を透過し、400nm乃至680nmおよび830nm乃至870nm以外の波長域の光を遮断する。
IR遮断フィルタは、850nm付近の波長域の光を、透過率が0.1となるまで遮断している。
すなわち、IRバンドパスフィルタ142は、可視領域とIR光の波長域以外の波長域の光を完全(透過率0)に遮断している。一方、IR遮断フィルタは、IR光の波長域の光を完全には遮断してはいない。このため、次に示されるように、IR光の波長域の透過性はゼロではない。
<各画素に対応する分光特性>
図20は、各画素に対応する分光特性を示す図である。
図20は、各画素に対応する分光特性を示す図である。
図20の分光特性には、センサの分光感度も加味されている。
R画素は、およそ590nm乃至630nmの波長域の光に感度を持つように設定されている。G画素は、およそ490nm乃至550nmの波長域の光に感度を持つように設定されている。B画素は、およそ440nm乃至470nmの波長域の光に感度を持つように設定されている。TOF用画素は、およそ840nm乃至860nmの波長域の光に感度を持つように設定されている。
ただし、B画素、G画素、R画素の分光特性をみると、IR光の波長域(例えば、850nm前後)の光の透過性は、完全にはゼロになっていない。IR光の可視画素への透過残光は、自然環境に存在するIR光であれば、可視画像の色再現にほぼ影響ないが、人工的なIR光が混入した場合、可視画像の色再現に影響を及ぼすレベルとなる。
そこで、本技術においては、IR光が、TOF用画素のみに照射するように設定される。これにより、本技術によれば、可視画素への投光IR光の混入をほぼ完全に回避することが可能となる。
<カメラDSPの構成例>
図21は、撮像装置におけるカメラDSPの構成例を示すブロック図である。
図21は、撮像装置におけるカメラDSPの構成例を示すブロック図である。
カメラDSP144は、信号分離部181、補間処理部182、カラー画像信号処理部183、位相差算出処理部184、距離算出処理部185、およびAF制御信号生成部186から構成される。
信号分離部181は、イメージセンサ143の信号からR,G,B信号を分離し、補間処理部182に出力する。また、信号分離部181は、イメージセンサ143の信号からTOF用信号を分離し、位相差算出処理部184に出力する。
補間処理部182は、信号分離部181から供給されたR,G,B信号を用い、R,G,B画素の配列に応じて、欠落した色の画素信号を生成するデモザイク処理などの補間処理を行う。補間処理部182は、補間処理を行うことによって生成したカラー画像をカラー画像信号処理部183に出力する。
カラー画像信号処理部183は、補間処理部182から供給されたカラー画像に対して所定の信号処理を行い、信号処理後のカラー画像を後段の信号処理部に出力する。
位相差算出処理部184は、信号分離部181から供給されたTOF用信号を用いて位相差を算出し、算出した位相差を示す位相差情報を距離算出処理部185に出力する。
距離算出処理部185は、位相差算出処理部184から供給された位相差情報を用いて距離を算出し、算出した距離を示す距離情報を出力する。距離算出処理部185から出力された距離情報は、AF制御信号生成部186および図示せぬ後段の信号処理部に供給される。
AF制御信号生成部186は、距離算出処理部185から供給された距離情報と、距離情報からレンズ位置情報への換算式を用いて、レンズ位置情報を算出する。AF制御信号生成部186は、算出されたレンズ位置情報に基づく、AF制御信号を生成する。AF制御信号は、光学系141の図示せぬ駆動部に出力される。
<カメラシステムの動作>
次に、図22のフローチャートを参照して、図12の撮像装置の信号処理を説明する。
次に、図22のフローチャートを参照して、図12の撮像装置の信号処理を説明する。
ステップS111において、イメージセンサ143は、IR-SL光源であるIR光照射装置111からのドットパターンのIR光が照射されている状態で被写体を撮像する。イメージセンサ143は、入射した光を光電変換し、画素アレイ部の各画素の画素値をA/D変換することで、画素信号を生成する。
ステップS112において、信号分離部181は、イメージセンサ143からの信号からRGB信号とTOF用信号を分離する。
ステップS113において、補間処理部182は、信号分離部181から供給されたR,G,B信号の補間処理をすることでカラー画像を生成し、カラー画像信号処理部183に出力する。
ステップS114において、カラー画像信号処理部183は、補間処理部182から供給されたカラー画像に対して所定の信号処理を行い、信号処理後のカラー画像を後段の信号処理部に出力する。
ステップS115において、位相差算出処理部184は、信号分離部181から供給されたTOF用信号を用いて、位相差を算出し、算出された位相差を示す位相差情報を距離算出処理部185に出力する。
ステップS116において、距離算出処理部185は、位相差算出処理部184から供給された位相差情報を用いて、距離算出処理を行う。距離算出処理の結果、出力された距離情報は、AF制御信号生成部186および図示せぬ後段の信号処理部に供給される。
ステップS117において、AF制御信号生成部186は、距離算出処理部185から供給された距離情報からレンズ位置情報への換算式を用いて、レンズ位置情報を算出し、算出されたレンズ位置情報に基づく、AF制御信号を生成する。AF制御信号は、光学系141の図示せぬ駆動部に出力される。
以上のようにして得られたカラー画像と距離情報とは、アプリケーションに応じて使用される。
例えば、カラー画像と距離情報は、スマートフォンなど携帯端末のAF制御、顔認識などのカラー画像と距離情報を必要とするセキュリティ用途、ゲームなどのジェスチャ認識などに用いられる。
<変形例3>
以上のように、第3の実施の形態では、イメージセンサとして、RGBベイヤ配列のセンサを前提として説明したが、本技術は、モノクロのセンサやRGBベイヤ配列以外のカラーフィルタ配列のセンサを用いる場合にも適用することができる。
以上のように、第3の実施の形態では、イメージセンサとして、RGBベイヤ配列のセンサを前提として説明したが、本技術は、モノクロのセンサやRGBベイヤ配列以外のカラーフィルタ配列のセンサを用いる場合にも適用することができる。
第3の実施の形態では、イメージセンサのRGBベイヤ配列において、4画素毎にTOF用画素を配置する構成としたが、TOF用画素の密度は、上記説明とは異なる密度の構成であってもよい。また、TOF用画素の配置は、縦横で非対称であってもよい。さらに、TOF用画素と像面位相差画素とを両方配置するようにしてもよい。
第3の実施の形態では、SL光源のパターン形状として、ドットパターンを例に説明したが、SL光源のパターン形状は、ドットパターンに限らず、画素の投影領域に対応する形状であれば、複数画素が跨るように光があたるように形成されるパターンなど、他の形状でもよい。
第3の実施の形態では、IR遮断フィルタを用いた場合を説明したが、IR遮断フィルタは必ずしも使用しなくてよい。特に、屋内使用など、環境光にIR光が含まれない場合は不要である。
以上のように、本技術によれば、IR光を照射することによる被写体からの反射光は、TOF用画素でのみ受光されるため、RGB画素によって得られる可視信号に影響を与えることない。したがって、特性の異なる信号である可視信号とTOF用信号を分離することが可能となる。
これまでTOFセンサとイメージセンサとを併用していた用途に対し、本技術によれば、1チップのセンサシステムで置き換えることが可能である。
< 第4の実施の形態 >
<カメラシステムの構成例>
図23は、本技術を適用したカメラシステムの第4の構成例を示す図である。
<カメラシステムの構成例>
図23は、本技術を適用したカメラシステムの第4の構成例を示す図である。
図23のカメラシステム201は、IR-SL光源としてのIR光照射装置211と、撮像装置212で構成される。図23には、被写体を想定した平面に、画素の投影領域が仮想的に破線で示されている。投影領域は、撮像装置212の画素配列に対応する可視画素投影領域と三角測量投影領域からなる。可視画素投影領域は、R,G,B画素の可視画素が配置される領域である。三角測量投影領域は、三角測量用の画素が配置される領域である。
図23においては、可視画素投影領域の縦方向の中央に三角測量投影領域が形成されている。三角測量投影領域は、2行の幅の帯状の領域である。
IR光照射装置211は、IR光を照射する装置であり、三角測量に必要な一定距離分、離して、撮像装置212に固定して配置される。IR光照射装置211は、三角測量投影領域のうち、ランダムに位置する所定の画素のみを照射するようなドットパターンのIR光を照射する。三角測量投影領域のうち、所定の画素の投影領域には、色付きの丸で示されるように、IR光照射装置211からのIR光として、ドットパターンの各ドットが投影される。
撮像装置212は、R,G,B画素および三角測量用画素が配置されたイメージセンサを備えている。イメージセンサのシャッタ方式は、ローリングシャッタ方式であってもよいし、グローバルシャッタ方式であってもよい。
撮像装置212は、三角測量投影領域の所定の画素のみを照射するようなドットパターンのIR光がIR光照射装置211により照射されている状態で被写体を撮像する。R,G,B画素においては、所定の光源からの可視光が受光されている。これにより、撮像装置212では、R,G,B画素からの信号に対応する可視画像が生成され、三角測量用画素からの信号を用いて距離情報が得られる。
なお、カメラシステム201においても、IR光照射装置211は、図6を参照して上述したように、撮像装置212と一体型で構成されていてもよいし、撮像装置212に着脱可能に構成されていてもよい。
<IR光照射装置および撮像装置の構成例>
図24は、IR光照射装置および撮像装置の構成例を示す図である。図24に示す構成のうち、図14を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図24は、IR光照射装置および撮像装置の構成例を示す図である。図24に示す構成のうち、図14を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
IR光照射装置211は、IR光照射装置211の光軸211Cと撮像装置212のイメージセンサ(レンズ)の光軸212Cの距離を、ベースライン距離Lb分だけ離して、撮像装置212に固定して設置される。
IR光照射装置211は、図14の場合と同様に、レーザ光源121、回折格子122、およびIR-LEDドライバ131から構成される。
撮像装置212は、光学系141、イメージセンサ231、カメラDSP232から構成される。
イメージセンサ231は、R,G,B画素および三角測量用画素が配置された画素アレイ部を有している。イメージセンサ231は、入射した光を光電変換し、画素アレイ部の各画素の画素値をA/D変換することで、画素の信号を生成する。
カメラDSP232は、イメージセンサ231の画素アレイ部を構成する複数の画素のうち、R,G,B画素からのR,G,B信号を用いてカラー画像を生成し、生成したカラー画像を、図示せぬ後段の信号処理部に出力する。また、カメラDSP232は、イメージセンサ231の画素アレイ部を構成する複数の画素のうち、三角測量用画素からの三角測量用信号を用いて距離を算出し、算出した距離情報からAF制御信号を生成する。生成されたAF制御信号は、光学系141の駆動に用いられる。
カメラDSP232は、LEDのON/OFF信号およびLED強度調整信号を生成し、生成したLEDのON/OFF信号およびLED強度調整信号をIR-LEDドライバ131に出力する。
<画素配列の例>
図25は、イメージセンサの画素配列の例を示す図である。
図25は、イメージセンサの画素配列の例を示す図である。
イメージセンサ231の画素アレイ部は、図25に示されるように、R,G,B画素が配置される可視画素領域と三角測量用画素が配置される三角測量用領域から構成される。
イメージセンサ231の画素アレイ部は、2×2のベイヤ配列1行目乃至3行目が可視画素領域となり、2×2のベイヤ配列4行目が三角測量用領域となるように構成される。
<カメラDSPの構成例>
図26は、撮像装置におけるカメラDSPの構成例を示すブロック図である。
図26は、撮像装置におけるカメラDSPの構成例を示すブロック図である。
カメラDSP232は、信号分離部251、補間処理部252、カラー画像信号処理部253、距離算出処理部254、およびAF制御信号生成部255から構成される。
信号分離部251は、イメージセンサ143の信号からR,G,B信号を分離し、補間処理部252に出力する。また、信号分離部251は、イメージセンサ143の信号から三角測量用信号を分離し、距離算出処理部254に出力する。
補間処理部252は、信号分離部251から供給されたR,G,B信号を用い、R,G,B画素の配列に応じて、欠落した色の画素信号を生成するデモザイク処理などの補間処理をすることでカラー画像を生成し、カラー画像信号処理部253に出力する。
カラー画像信号処理部253は、補間処理部252から供給されたカラー画像に対して所定の信号処理を行い、信号処理後のカラー画像を後段の信号処理部に出力する。
距離算出処理部254は、補間処理部252から供給された三角測量用信号を用いて、距離を算出し、算出された距離を示す距離情報を出力する。出力された距離情報は、AF制御信号生成部255および図示せぬ後段の信号処理部に供給される。
AF制御信号生成部255は、距離算出処理部254から供給された距離情報からレンズ位置情報への換算式を用いて、レンズ位置情報を算出し、算出されたレンズ位置情報に基づく、AF制御信号を生成する。生成されたAF制御信号は、光学系141の図示せぬ駆動部に出力される。
<カメラシステムの動作>
次に、図27のフローチャートを参照して、図23の撮像装置の信号処理を説明する。
次に、図27のフローチャートを参照して、図23の撮像装置の信号処理を説明する。
図27のステップS211において、イメージセンサ143は、IR-SL光源であるIR光照射装置211からのドットパターンのIR光が照射されている状態で被写体を撮像する。イメージセンサ143は、入射した光を光電変換し、画素アレイ部の各画素の画素値をA/D変換することで、画素信号を生成する。
ステップS212において、信号分離部251は、イメージセンサ143からの信号からRGB信号と三角測量用信号を分離する。分離されたRGB信号は補間処理部252に出力され、三角測量用信号は距離算出処理部254に出力される。
ステップS213において、補間処理部252は、信号分離部251から供給されたR,G,B信号の補間処理をすることでカラー画像を生成し、カラー画像信号処理部253に出力する。
ステップS214において、カラー画像信号処理部253は、補間処理部252から供給されたカラー画像に対して所定の信号処理を行い、信号処理後のカラー画像を後段の信号処理部に出力する。
ステップS215において、距離算出処理部254は、信号分離部251から供給された三角測量用信号を用いて、距離算出処理を行う。距離算出処理の結果、出力された距離情報は、AF制御信号生成部255および図示せぬ後段の信号処理部に供給される。
ステップS216において、AF制御信号生成部255は、距離算出処理部254から供給された距離情報からレンズ位置情報への換算式を用いて、レンズ位置情報を算出し、算出されたレンズ位置情報に基づく、AF制御信号を生成する。生成されたAF制御信号は、光学系141の図示せぬ駆動部に出力される。
以上のようにして得られたカラー画像と距離情報とは、アプリケーションに応じて使用される。
例えば、カラー画像と距離情報は、スマートフォンなど携帯端末のAF制御、顔認識などのカラー画像と距離情報を必要とするセキュリティ用途、ゲームなどのジェスチャ認識などに用いられる。
<変形例4>
以上のように、第4の実施の形態では、イメージセンサとして、RGBベイヤ配列のセンサを前提として説明したが、本技術は、モノクロのセンサやRGBベイヤ配列以外のカラーフィルタ配列のセンサを用いる場合にも適用することができる。
以上のように、第4の実施の形態では、イメージセンサとして、RGBベイヤ配列のセンサを前提として説明したが、本技術は、モノクロのセンサやRGBベイヤ配列以外のカラーフィルタ配列のセンサを用いる場合にも適用することができる。
第4の実施の形態では、RGBベイヤ配列のセンサにおいて、縦のベイヤ配列4行毎に三角測量用画素を配置する構成としたが、三角測量用画素の異なる密度の構成であってもよい。また、上記説明においては、帯状の領域である三角測量用領域が2行の幅で構成する例を説明したが、三角測量用領域は、1行の幅で構成するようにしてもよいし、他の幅で構成するようにしてもよい。
第4の実施の形態では、三角測量用画素を配置する例を説明したが、第3の実施の形態と第4の実施の形態において説明した三角測量用画素を、第3の実施の形態で説明したTOF用画素と組み合わせて行うようにしてもよい。すなわち、第4の実施の形態の帯状の三角測量用投影領域に、三角測量用画素とTOF用画素とを配置し、三角測量とTOF方式の測距を同時に行うようにすることも可能である。この場合、測距の精度を向上することができる。
以上のように、本技術によれば、IR光を照射することによる被写体からの反射光は、三角測量用画素でのみ受光されるため、RGB画素によって得られる可視信号に影響を与えることない。したがって、特性の異なる信号である可視信号と三角測量用信号を分離することが可能となる。
これまで三角測量用センサとイメージセンサとを併用していた用途に対し、本技術によれば、1チップのセンサシステムで置き換えることが可能である。
< 第5の実施の形態 >
<コンピュータのハードウエア構成例>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
<コンピュータのハードウエア構成例>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図28は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエア構成例を示すブロック図である。
図28に示されるコンピュータにおいて、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303は、バス304を介して相互に接続されている。
バス304にはまた、入出力インタフェース305も接続されている。入出力インタフェース305には、入力部306、出力部307、記憶部308、通信部309、およびドライブ310が接続されている。
入力部306は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部307は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部308は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部309は、例えば、ネットワークインタフェースよりなる。ドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア311を駆動する。
以上のように構成されるコンピュータは、CPU301が、例えば、記憶部308に記憶されているプログラムを、入出力インタフェース305およびバス304を介して、RAM303にロードして実行することにより、上述した一連の処理が行われる。RAM303にはまた、CPU301が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ(CPU301)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア311に記録して適用することができる。その場合、プログラムは、リムーバブルメディア311をドライブ310に装着することにより、入出力インタフェース305を介して、記憶部308にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部309で受信し、記憶部308にインストールすることができる。
その他、このプログラムは、ROM302や記憶部308に、あらかじめインストールしておくこともできる。
なお、通信装置が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
< 応用例1 >
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図29は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図29に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図29では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図30は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図30には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920〜7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図29に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link))等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図29の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図29に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
以上説明した車両制御システム7000において、図1乃至図27を用いて説明した本実施形態に係るカメラシステムは、図29の撮像部7410または車外情報検出部7420に適用することができる。例えば、撮像部7410または車外情報検出部7420に本技術を適用することにより、周囲の先行車両、歩行者又は障害物等の検出や測距を正確に行うことができる。
< 応用例2 >
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図31は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図31を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図31では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A〜5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A〜5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A〜5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A〜5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図31では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図32は、集中操作パネル5111における操作画面の表示例を示す図である。図32では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図32を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図33は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図31に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図33では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a〜5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a〜5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図31に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図31に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図33では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a〜5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a〜5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図33では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a〜5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a〜5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a〜5147cにはアクチュエータが設けられており、関節部5147a〜5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a〜5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a〜5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a〜5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図34を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図34は、図33に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図34を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図34は、図33に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図34を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
図1乃至図27を用いて説明した本実施形態に係るカメラシステムは、以上説明した構成のうち、シーリングカメラ5187、術場カメラ5189、内視鏡5115のカメラヘッド5119に好適に適用され得る。シーリングカメラ5187、術場カメラ5189、内視鏡5115のカメラヘッド5119に、本開示に係る技術を適用することにより、血中のヘモグロビンを正確に観察することができたり、内臓の奥行きなどを正確に測定することができる。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。従って、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1)
被写体を撮像する撮像部と、
ストラクチャードライト光源からの所定のパターンの光が、前記撮像部の特定の画素の投影領域に照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する画像生成部と
を備える撮像装置。
(2)
前記所定のパターンは、前記特定の画素の投影領域に照射されるドットからなるドットパターンである
前記(1)に記載の撮像装置。
(3)
前記画像生成部は、前記ストラクチャードライト光源から、IR画素の投影領域にIR光が照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
前記(1)または(2)に記載の撮像装置。
(4)
前記画像生成部は、前記ストラクチャードライト光源からの前記IR光が照射されている前記IR画素からの信号に基づいてIR画像を生成し、前記IR光が照射されていない画素からの信号に基づいて可視画像を生成する
前記(3)に記載の撮像装置。
(5)
前記画像生成部は、波長帯の異なる複数の前記ストラクチャードライト光源から、前記複数のストラクチャードライト光源がそれぞれ対応する画素の投影領域に、前記複数のストラクチャードライト光源からの所定のパターンの光がそれぞれ照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
前記(1)または(2)に記載の撮像装置。
(6)
前記画像生成部は、前記ストラクチャードライト光源から、TOF用画素の投影領域にIR光が照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
前記(1)または(2)に記載の撮像装置。
(7)
前記画像生成部は、前記ストラクチャードライト光源からの前記IR光が照射されている前記TOF用画素からの信号に基づいてAF制御用の距離を算出し、前記IR光が照射されていない画素からの信号に基づいて可視画像を生成する
前記(6)に記載の撮像装置。
(8)
前記画像生成部は、前記ストラクチャードライト光源から、三角測量用画素の投影領域にIR光が照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
前記(1)または(2)に記載の撮像装置。
(9)
前記画像生成部は、前記ストラクチャードライト光源からの前記IR光が照射されている前記三角測量用画素からの信号に基づいてAF制御用の距離を算出し、前記IR光が照射されていない画素からの信号に基づいて可視画像を生成する
前記(8)に記載の撮像装置。
(10)
前記ストラクチャードライト光源は、前記撮像部のレンズに近接して配置される
前記(1)乃至(9)のいずれかに記載の撮像装置。
(11)
前記ストラクチャードライト光源となる光照射部をさらに備える
前記(1)乃至(10)のいずれかに記載の撮像装置。
(12)
前記光照射部の照射領域境界を前記撮像部の画角にほぼ一致させるために、前記光照射部から照射される光を反射させ、前記画素の投影領域で反射された光を透過させるミラーを
さらに備える前記(11)に記載の撮像装置。
(13)
前記光照射部は、前面に回折格子を備える
前記(11)に記載の撮像装置。
(14)
前記光照射部は、前記撮像装置と一体化して構成される
前記(11)乃至(13)のいずれかに記載の撮像装置。
(15)
前記光照射部は、前記撮像装置に対して取り替え可能に装着されている
前記(11)乃至(13)のいずれかに記載の撮像装置。
(1)
被写体を撮像する撮像部と、
ストラクチャードライト光源からの所定のパターンの光が、前記撮像部の特定の画素の投影領域に照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する画像生成部と
を備える撮像装置。
(2)
前記所定のパターンは、前記特定の画素の投影領域に照射されるドットからなるドットパターンである
前記(1)に記載の撮像装置。
(3)
前記画像生成部は、前記ストラクチャードライト光源から、IR画素の投影領域にIR光が照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
前記(1)または(2)に記載の撮像装置。
(4)
前記画像生成部は、前記ストラクチャードライト光源からの前記IR光が照射されている前記IR画素からの信号に基づいてIR画像を生成し、前記IR光が照射されていない画素からの信号に基づいて可視画像を生成する
前記(3)に記載の撮像装置。
(5)
前記画像生成部は、波長帯の異なる複数の前記ストラクチャードライト光源から、前記複数のストラクチャードライト光源がそれぞれ対応する画素の投影領域に、前記複数のストラクチャードライト光源からの所定のパターンの光がそれぞれ照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
前記(1)または(2)に記載の撮像装置。
(6)
前記画像生成部は、前記ストラクチャードライト光源から、TOF用画素の投影領域にIR光が照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
前記(1)または(2)に記載の撮像装置。
(7)
前記画像生成部は、前記ストラクチャードライト光源からの前記IR光が照射されている前記TOF用画素からの信号に基づいてAF制御用の距離を算出し、前記IR光が照射されていない画素からの信号に基づいて可視画像を生成する
前記(6)に記載の撮像装置。
(8)
前記画像生成部は、前記ストラクチャードライト光源から、三角測量用画素の投影領域にIR光が照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
前記(1)または(2)に記載の撮像装置。
(9)
前記画像生成部は、前記ストラクチャードライト光源からの前記IR光が照射されている前記三角測量用画素からの信号に基づいてAF制御用の距離を算出し、前記IR光が照射されていない画素からの信号に基づいて可視画像を生成する
前記(8)に記載の撮像装置。
(10)
前記ストラクチャードライト光源は、前記撮像部のレンズに近接して配置される
前記(1)乃至(9)のいずれかに記載の撮像装置。
(11)
前記ストラクチャードライト光源となる光照射部をさらに備える
前記(1)乃至(10)のいずれかに記載の撮像装置。
(12)
前記光照射部の照射領域境界を前記撮像部の画角にほぼ一致させるために、前記光照射部から照射される光を反射させ、前記画素の投影領域で反射された光を透過させるミラーを
さらに備える前記(11)に記載の撮像装置。
(13)
前記光照射部は、前面に回折格子を備える
前記(11)に記載の撮像装置。
(14)
前記光照射部は、前記撮像装置と一体化して構成される
前記(11)乃至(13)のいずれかに記載の撮像装置。
(15)
前記光照射部は、前記撮像装置に対して取り替え可能に装着されている
前記(11)乃至(13)のいずれかに記載の撮像装置。
1 カメラシステム, 11 IR光照射装置, 11A IR光照射部, 12 撮像装置, 21 レーザ光源, 22 回折格子, 31 光学系, 32 イメージセンサ, 33 画像生成部, 41 信号分離部, 42−1 可視信号補間処理部, 42−2 IR信号補間処理部, 43−1 可視信号高画質化信号処理部, 43−2 IR信号高画質化信号処理部,51 カメラシステム, 61 光照射装置, 61A−1乃至61A−4 光照射部, 62 撮像装置, 71 光学系, 72 イメージセンサ, 73 画像生成部, 81 信号分離部, 82−1乃至82−4 信号補間処理部, 83−1乃至83−4 高画質化信号処理部
Claims (15)
- 被写体を撮像する撮像部と、
ストラクチャードライト光源からの所定のパターンの光が、前記撮像部の特定の画素の投影領域に照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する画像生成部と
を備える撮像装置。 - 前記所定のパターンは、前記特定の画素の投影領域に照射されるドットからなるドットパターンである
請求項1に記載の撮像装置。 - 前記画像生成部は、前記ストラクチャードライト光源から、IR画素の投影領域にIR光が照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
請求項1に記載の撮像装置。 - 前記画像生成部は、前記ストラクチャードライト光源からの前記IR光が照射されている前記IR画素からの信号に基づいてIR画像を生成し、前記IR光が照射されていない画素からの信号に基づいて可視画像を生成する
請求項3に記載の撮像装置。 - 前記画像生成部は、波長帯の異なる複数の前記ストラクチャードライト光源から、前記複数のストラクチャードライト光源がそれぞれ対応する画素の投影領域に、前記複数のストラクチャードライト光源からの所定のパターンの光がそれぞれ照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
請求項1に記載の撮像装置。 - 前記画像生成部は、前記ストラクチャードライト光源から、TOF用画素の投影領域にIR光が照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
請求項1に記載の撮像装置。 - 前記画像生成部は、前記ストラクチャードライト光源からの前記IR光が照射されている前記TOF用画素からの信号に基づいてAF制御用の距離を算出し、前記IR光が照射されていない画素からの信号に基づいて可視画像を生成する
請求項6に記載の撮像装置。 - 前記画像生成部は、前記ストラクチャードライト光源から、三角測量用画素の投影領域にIR光が照射されている状態で撮像が行われることによって得られた画素信号に基づいて前記被写体の画像を生成する
請求項1に記載の撮像装置。 - 前記画像生成部は、前記ストラクチャードライト光源からの前記IR光が照射されている前記三角測量用画素からの信号に基づいてAF制御用の距離を算出し、前記IR光が照射されていない画素からの信号に基づいて可視画像を生成する
請求項8に記載の撮像装置。 - 前記ストラクチャードライト光源は、前記撮像部のレンズに近接して配置される
請求項1に記載の撮像装置。 - 前記ストラクチャードライト光源となる光照射部をさらに備える
請求項1に記載の撮像装置。 - 前記光照射部の照射領域境界を前記撮像部の画角にほぼ一致させるために、前記光照射部から照射される光を反射させ、前記画素の投影領域で反射された光を透過させるミラーを
さらに備える請求項11に記載の撮像装置。 - 前記光照射部は、前面に回折格子を備える
請求項11に記載の撮像装置。 - 前記光照射部は、前記撮像装置と一体化して構成される
請求項11に記載の撮像装置。 - 前記光照射部は、前記撮像装置に対して取り替え可能に装着されている
請求項11に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/756,171 US11372200B2 (en) | 2017-10-27 | 2018-10-12 | Imaging device |
PCT/JP2018/038042 WO2019082686A1 (ja) | 2017-10-27 | 2018-10-12 | 撮像装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017208111 | 2017-10-27 | ||
JP2017208111 | 2017-10-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019083501A true JP2019083501A (ja) | 2019-05-30 |
Family
ID=66670667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018008193A Pending JP2019083501A (ja) | 2017-10-27 | 2018-01-22 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11372200B2 (ja) |
JP (1) | JP2019083501A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021084832A1 (ja) * | 2019-10-30 | 2021-05-06 | ソニー株式会社 | 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器 |
JP6966011B1 (ja) * | 2021-03-23 | 2021-11-10 | 株式会社リコー | 撮像装置、撮像方法および情報処理装置 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11357593B2 (en) * | 2019-01-10 | 2022-06-14 | Covidien Lp | Endoscopic imaging with augmented parallax |
US20200314411A1 (en) | 2019-03-29 | 2020-10-01 | Alibaba Group Holding Limited | Synchronizing an illumination sequence of illumination sources with image capture in rolling shutter mode |
US11182630B2 (en) * | 2019-03-29 | 2021-11-23 | Advanced New Technologies Co., Ltd. | Using an illumination sequence pattern for biometric authentication |
US11700995B2 (en) * | 2019-06-20 | 2023-07-18 | Cilag Gmbh International | Speckle removal in a pulsed fluorescence imaging system |
CN113542529B (zh) * | 2020-04-21 | 2024-03-12 | 安霸国际有限合伙企业 | 用于dms和oms的940nm led闪光同步 |
CN111959830B (zh) * | 2020-08-24 | 2021-10-15 | 中国科学院微小卫星创新研究院 | 卫星高精度光学载荷安装平台热控系统及方法 |
CN114038204A (zh) * | 2020-10-21 | 2022-02-11 | 南京光准科技有限公司 | 一种利用激光感知红绿灯状态实现闯红灯风险预警的装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8681255B2 (en) * | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
JP5779641B2 (ja) | 2011-02-28 | 2015-09-16 | 株式会社Pfu | 情報処理装置、方法およびプログラム |
JP6348254B2 (ja) | 2013-02-04 | 2018-06-27 | マクセル株式会社 | 撮像装置 |
US9102055B1 (en) * | 2013-03-15 | 2015-08-11 | Industrial Perception, Inc. | Detection and reconstruction of an environment to facilitate robotic interaction with the environment |
US9392262B2 (en) * | 2014-03-07 | 2016-07-12 | Aquifi, Inc. | System and method for 3D reconstruction using multiple multi-channel cameras |
US10334216B2 (en) * | 2014-11-06 | 2019-06-25 | Sony Corporation | Imaging system including lens with longitudinal chromatic aberration, endoscope and imaging method |
KR102360424B1 (ko) * | 2014-12-24 | 2022-02-09 | 삼성전자주식회사 | 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템 |
JP6247793B2 (ja) | 2015-03-27 | 2017-12-13 | 富士フイルム株式会社 | 距離画像取得装置 |
CN107683403B (zh) | 2015-06-09 | 2020-05-05 | 富士胶片株式会社 | 距离图像获取装置以及距离图像获取方法 |
US9648223B2 (en) * | 2015-09-04 | 2017-05-09 | Microvision, Inc. | Laser beam scanning assisted autofocus |
US10101154B2 (en) * | 2015-12-21 | 2018-10-16 | Intel Corporation | System and method for enhanced signal to noise ratio performance of a depth camera system |
JP2017187471A (ja) | 2016-03-31 | 2017-10-12 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US20170353649A1 (en) * | 2016-06-07 | 2017-12-07 | Stmicroelectronics, Inc. | Time of flight ranging for flash control in image capture devices |
US10574909B2 (en) * | 2016-08-08 | 2020-02-25 | Microsoft Technology Licensing, Llc | Hybrid imaging sensor for structured light object capture |
US10917626B2 (en) * | 2016-11-23 | 2021-02-09 | Microsoft Technology Licensing, Llc | Active illumination 3D imaging system |
JP6857079B2 (ja) * | 2017-05-09 | 2021-04-14 | 株式会社キーエンス | 画像検査装置 |
US10209202B1 (en) * | 2017-06-14 | 2019-02-19 | Facebook Technologies, Llc | Optical characterization system for wide field of view diffractive optical elements |
US10613228B2 (en) * | 2017-09-08 | 2020-04-07 | Microsoft Techology Licensing, Llc | Time-of-flight augmented structured light range-sensor |
-
2018
- 2018-01-22 JP JP2018008193A patent/JP2019083501A/ja active Pending
- 2018-10-12 US US16/756,171 patent/US11372200B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021084832A1 (ja) * | 2019-10-30 | 2021-05-06 | ソニー株式会社 | 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器 |
JP6966011B1 (ja) * | 2021-03-23 | 2021-11-10 | 株式会社リコー | 撮像装置、撮像方法および情報処理装置 |
JP2022146976A (ja) * | 2021-03-23 | 2022-10-06 | 株式会社リコー | 撮像装置、撮像方法および情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US11372200B2 (en) | 2022-06-28 |
US20200249428A1 (en) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11372200B2 (en) | Imaging device | |
WO2018135315A1 (ja) | 撮像装置、画像処理方法および画像処理システム | |
CN111108436B (zh) | 镜筒和成像装置 | |
US20190260929A1 (en) | Image transfer apparatus, image transfer method, program, and moving image generating system | |
JP7229988B2 (ja) | 測距システム、及び、受光モジュール、並びに、バンドパスフィルタの製造方法 | |
JP7248037B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2018003245A1 (ja) | 信号処理装置、撮像装置、及び信号処理方法 | |
US11119633B2 (en) | Information processing device and method | |
WO2018016344A1 (ja) | 固体撮像装置および電子機器 | |
JP7131554B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2018037680A1 (ja) | 撮像装置、撮像システム、及び、信号処理方法 | |
WO2018100992A1 (ja) | 撮像光学系、カメラモジュール、及び、電子機器 | |
US11482159B2 (en) | Display control device, display control method, and display control program | |
JP7081609B2 (ja) | レンズ装置及び撮像装置 | |
WO2019082686A1 (ja) | 撮像装置 | |
US11470295B2 (en) | Signal processing device, signal processing method, and imaging device | |
JP7405132B2 (ja) | レンズ鏡筒及び撮像装置 | |
WO2022124166A1 (ja) | 液晶表示素子、表示装置および電子機器、並びに、駆動基板および駆動基板の製造方法 | |
JP2020134202A (ja) | 光源ユニット及び測距装置 |