JP2021141446A - 撮像装置及びその制御方法 - Google Patents
撮像装置及びその制御方法 Download PDFInfo
- Publication number
- JP2021141446A JP2021141446A JP2020037917A JP2020037917A JP2021141446A JP 2021141446 A JP2021141446 A JP 2021141446A JP 2020037917 A JP2020037917 A JP 2020037917A JP 2020037917 A JP2020037917 A JP 2020037917A JP 2021141446 A JP2021141446 A JP 2021141446A
- Authority
- JP
- Japan
- Prior art keywords
- image sensor
- image pickup
- pixel
- image
- polarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims description 28
- 230000010287 polarization Effects 0.000 claims abstract description 84
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 10
- 229920006395 saturated elastomer Polymers 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 abstract description 8
- 230000035945 sensitivity Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000003702 image correction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Blocking Light For Cameras (AREA)
Abstract
Description
図7は、撮像装置100での第1の撮像制御のフローチャートである。図7にS番号で示す各処理(ステップ)は、CPU_109がROM_111に格納されている所定のプログラムをRAM_112に展開して、撮像装置100の各部の動作を統括的に制御することにより実現される。
偏光フィルタ102を備えた撮像素子103(撮像面偏光センサ200)と偏光フィルタを備えない撮像素子133では、偏光フィルタ102の影響で、撮像素子133の方が撮像素子103よりも感度が小さい。そのため、撮像素子133では飽和していなくとも撮像素子133では飽和していることがあり、その場合に第1の撮像制御では、反射除去を適切に行うことができないおそれがある。そこで、第2の撮像制御では、偏光フィルタ102を備えない撮像素子133の画素が飽和した場合に、撮像素子133の画素信号を撮像面偏光センサ200の対応する画素信号で入れ替える処理を行う。
101,131 光学レンズ
102 偏光フィルタ
103,133 撮像素子
108 偏光演算部
109 CPU
116 映像処理部
200 撮像面偏光センサ
201〜204 偏光フィルタ
Claims (10)
- 偏光方向の異なる複数の偏光フィルタを1組として複数の光電変換素子に対応付けられ、且つ、1色のカラーフィルタが配置された第1の撮像素子と、
第2の撮像素子と、
前記1組の偏光フィルタが配置された領域ごとに、前記第1の撮像素子の画素から出力される信号に基づいて前記領域へ入射する光の偏光成分を検出する偏光検出手段と、
前記第2の撮像素子から出力された信号を前記偏光検出手段による検出結果に基づいて補正する補正手段と、を備えることを特徴とする撮像装置。 - 前記第1の撮像素子において前記複数の偏光フィルタは前記光電変換素子ごとに偏光方向を変えて配置され、
前記補正手段は、前記偏光成分が所定の閾値よりも大きい場合の前記領域の画素信号を用いて前記第2の撮像素子の前記領域に対応する画素から出力された信号を補正することを特徴とする請求項1に記載の撮像装置。 - 前記第2の撮像素子からの信号において飽和した画素信号を検出する飽和検出手段と、
前記補正手段は、前記飽和検出手段により前記第2の撮像素子からの信号に飽和した画素信号が検出された場合に、前記飽和した画素信号を前記第1の撮像素子の対応する画素の信号で入れ替えることを特徴とする請求項1又は2に記載の撮像装置。 - 被写体の周波数成分を検出する周波数検出手段を備え、
前記補正手段は、前記周波数検出手段により前記被写体の周波数成分が多いことが検出された場合に、前記第2の撮像素子から出力された信号の補正を行わないことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 - 前記1組の偏光フィルタは、少なくとも偏光方向の異なる3つの偏光フィルタを備えることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
- 前記補正手段は、前記第2の撮像素子の画素ごとに、前記第1の撮像素子から得られる非偏光成分のみの輝度値を前記第1の撮像素子から得られる偏光成分の位相が0°の場合の輝度値で除算した値を前記第2の撮像素子から得られる輝度値に乗算することで、前記第2の撮像素子から得られる輝度値を補正することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
- 被写体からの光を前記第1の撮像素子に導く第1の光学系と、
前記被写体からの光を前記第2の撮像素子に導く第2の光学系と、
前記第1の撮像素子及び前記第2の撮像素子からそれぞれ得られる信号に対して、前記第1の撮像素子により得られる被写体と前記第2の撮像素子により得られる被写体との位置のずれを補正する位置合わせ手段と、を備えることを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。 - 前記カラーフィルタは、赤、緑及び青のカラーフィルタがベイヤー配列にて配置されていることを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
- 前記第2の撮像素子の画素サイズは、前記第1の撮像素子において前記1組の偏光フィルタに対応する前記複数の光電変換素子により形成される画素サイズと同じであることを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
- 画素ごとに偏光方向を変えて配置された複数の偏光フィルタを1組として前記1組の偏光フィルタに対応する領域に1色のカラーフィルタが配置された第1の撮像素子と、第2の撮像素子と、を備える撮像装置の制御方法であって、
前記1組の偏光フィルタが配置された領域ごとに、前記第1の撮像素子の前記領域の複数の画素から出力される信号に基づいて当該領域への入射光の偏光成分を検出するステップと、
前記偏光成分が所定の閾値よりも大きいか否かを判定するステップと、
前記偏光成分が所定の閾値よりも大きい場合に、前記第1の撮像素子の前記領域の画素信号を用いて前記第2の撮像素子の前記領域に対応する画素の画素信号を補正した信号を生成するステップと、
前記偏光成分が所定の閾値よりも小さい場合の前記領域に対応する前記第2の撮像素子の画素信号と、前記補正した信号とを用いて撮影画像を生成するステップと、を有することを特徴とする撮像装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037917A JP2021141446A (ja) | 2020-03-05 | 2020-03-05 | 撮像装置及びその制御方法 |
US17/176,631 US11569283B2 (en) | 2020-03-05 | 2021-02-16 | Image pickup apparatus having image sensor equipped with polarizing element and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037917A JP2021141446A (ja) | 2020-03-05 | 2020-03-05 | 撮像装置及びその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021141446A true JP2021141446A (ja) | 2021-09-16 |
Family
ID=77556353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020037917A Pending JP2021141446A (ja) | 2020-03-05 | 2020-03-05 | 撮像装置及びその制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11569283B2 (ja) |
JP (1) | JP2021141446A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW202131671A (zh) * | 2019-10-07 | 2021-08-16 | 日商索尼半導體解決方案公司 | 電子機器 |
KR20220036014A (ko) * | 2020-09-15 | 2022-03-22 | 삼성전자주식회사 | 이미지 센싱 시스템 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9473708B1 (en) * | 2013-08-07 | 2016-10-18 | Google Inc. | Devices and methods for an imaging system with a dual camera architecture |
JP6566749B2 (ja) * | 2015-07-01 | 2019-08-28 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像素子、イメージセンサ、および情報処理装置 |
JP6914001B2 (ja) * | 2015-08-12 | 2021-08-04 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像素子、イメージセンサ、撮像装置、および情報処理装置 |
JP6746404B2 (ja) | 2016-07-01 | 2020-08-26 | キヤノン株式会社 | 偏光情報取得装置、偏光情報取得方法、プログラムおよび記録媒体 |
JP2019004203A (ja) * | 2017-06-12 | 2019-01-10 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法、および、プログラム。 |
CN110832842B (zh) * | 2017-07-12 | 2021-10-15 | 索尼公司 | 成像装置和图像产生方法 |
CN108566504B (zh) * | 2018-05-22 | 2021-01-26 | 京东方科技集团股份有限公司 | 一种双摄像头模组、电子设备及其图像获取方法 |
CN109164624B (zh) * | 2018-09-30 | 2021-08-17 | 京东方科技集团股份有限公司 | 显示面板、显示装置及其图像获取方法 |
-
2020
- 2020-03-05 JP JP2020037917A patent/JP2021141446A/ja active Pending
-
2021
- 2021-02-16 US US17/176,631 patent/US11569283B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11569283B2 (en) | 2023-01-31 |
US20210280618A1 (en) | 2021-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7145208B2 (ja) | デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体 | |
KR101246738B1 (ko) | 화상처리장치 및 화상처리방법, 및, 데이터 처리장치 및 데이터 처리 방법 | |
US9030543B2 (en) | Endoscope system | |
JP5701785B2 (ja) | カメラモジュール | |
US11399144B2 (en) | Imaging apparatus, image forming method, and imaging system | |
US20130016251A1 (en) | Solid-state imaging device, image processing apparatus, and camera module | |
US20170251911A1 (en) | Imaging system | |
US8988591B2 (en) | Solid-state imaging device, camera module, and focus adjustment method of camera module | |
US20130235181A1 (en) | Information processing apparatus, information processing method, program, and imaging apparatus including optical microscope | |
JP2013062626A (ja) | 撮像装置、画像処理方法およびプログラム | |
JP2021141446A (ja) | 撮像装置及びその制御方法 | |
JP2008026353A (ja) | 偏光方向検出装置とこれを有する撮像装置 | |
JP2018101951A (ja) | 撮像装置、撮像方法およびコンピュータのプログラム | |
JP6818444B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
JP6291747B2 (ja) | 光学的ローパスフィルタ、撮像デバイスおよび撮像装置 | |
JP2010141814A (ja) | 画像処理装置、撮像装置、プログラムおよび画像処理方法 | |
JP7483368B2 (ja) | 画像処理装置、制御方法およびプログラム | |
JP2021097347A (ja) | 撮像装置およびその制御方法、プログラム | |
JPWO2017191716A1 (ja) | 表示制御装置および撮像装置 | |
US9229211B2 (en) | Imaging apparatus, imaging control program, and imaging method | |
JP2014026050A (ja) | 撮像装置、画像処理装置 | |
JP4966172B2 (ja) | 撮像装置 | |
US10334161B2 (en) | Image processing apparatus, image processing method, computer program and imaging apparatus | |
JP2018182470A (ja) | 波長選択偏光分離方式を採用した立体撮像装置 | |
JP2017212678A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240528 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240610 |