JP2015198367A - 撮像装置及び画像処理システム - Google Patents
撮像装置及び画像処理システム Download PDFInfo
- Publication number
- JP2015198367A JP2015198367A JP2014075746A JP2014075746A JP2015198367A JP 2015198367 A JP2015198367 A JP 2015198367A JP 2014075746 A JP2014075746 A JP 2014075746A JP 2014075746 A JP2014075746 A JP 2014075746A JP 2015198367 A JP2015198367 A JP 2015198367A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- unit
- signal
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 211
- 238000003384 imaging method Methods 0.000 title claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 39
- 239000004065 semiconductor Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 44
- 238000001514 detection method Methods 0.000 description 43
- 238000011161 development Methods 0.000 description 36
- 238000012546 transfer Methods 0.000 description 18
- 238000012937 correction Methods 0.000 description 12
- 238000010606 normalization Methods 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
以下、図1〜図5を参照して、本発明の第1の実施形態に係る撮像装置について説明する。第1の実施形態として、画像信号の中から鏡面反射成分を抽出した結果に基づいて光源推定を行い、ホワイトバランス補正を実行する撮像装置を例に取って説明する。
次に、本発明の第2の実施形態として、画像信号の中から顔を検出し、検出結果に基づいて画像処理を制御する撮像装置を例に取って説明する。図6は、本発明の第2の実施形態に係る撮像装置の構成例を示すブロック図である。図1に示した第1の実施形態の場合と同様の構成については、同じ符号を付け、説明は省略する。以下、本実施形態が第1の実施形態と異なる点を説明する。
Claims (9)
- イメージセンサーと、
制御部と、
第1の画像処理部と、
第2の画像処理部とを有し、
前記イメージセンサーは、複数の画素を有し、
前記複数の画素の各々は、光を電荷に変換する光電変換部を有し、
前記制御部は、第1の制御線により前記光電変換部の電荷に基づく信号を第1の信号線に出力させ、第2の制御線により前記光電変換部の電荷に基づく信号を第2の信号線に出力させ、
前記第1の画像処理部は、前記第2の信号線に出力された信号に対して第1の画像処理を行い、
前記第2の画像処理部は、前記第1の画像処理部の前記第1の画像処理の結果を基に、前記第1の信号線に出力された信号に対して第2の画像処理を行うことを特徴とする撮像装置。 - 前記イメージセンサーと前記制御部と前記第1の画像処理部は、同一の半導体チップ内に形成されることを特徴とする請求項1記載の撮像装置。
- 前記イメージセンサー及び前記第1の画像処理部は、相互に、積層して配置され、電気的に接続されていることを特徴とする請求項2記載の撮像装置。
- 前記第2の制御線により前記第2の信号線に出力される前記画素の数は、前記第1の制御線により前記第1の信号線に出力される前記画素の数より少ないことを特徴とする請求項1〜3のいずれか1項に記載の撮像装置。
- 前記制御部は、前記第1の制御線により前記複数の画素のすべての画素の前記光電変換部の電荷に基づく信号を前記第2の画像出力部に出力させ、前記第2の制御線により前記複数の画素のうちの一部の画素の前記光電変換部の電荷に基づく信号を前記第1の画像処理部に出力させ、
前記第1の画像処理部は、前記一部の画素の前記光電変換部の電荷に基づく信号に対して前記第1の画像処理を行い、
前記第2の画像処理部は、前記すべての画素の前記光電変換部の電荷に基づく信号に対して前記第2の画像処理を行うことを特徴とする請求項1〜4のいずれか1項に記載の撮像装置。 - 前記第1の画像処理部は、前記第2の画像処理部が前記第1の信号線に出力される画素のすべての信号を入力するまでに、前記第1の画像処理を完了させることを特徴とする請求項4又は5記載の撮像装置。
- 前記第1の画像処理部は、所定の画像領域を検出し、
前記第2の画像処理部は、前記第1の画像処理部により検出された画像領域に対して前記第2の画像処理を行うことを特徴とする請求項1〜6のいずれか1項に記載の撮像装置。 - 前記第1の画像処理部は、被写体表面における鏡面反射成分を含む画像領域、被写体人物の顔を含む画像領域、又は特定の被写体を含む画像領域を検出することを特徴とする請求項7記載の撮像装置。
- 撮像装置と、
画像処理装置とを有し、
前記撮像装置は、
イメージセンサーと、
制御部と、
第1の画像処理部と、
記録部とを有し、
前記画像処理装置は、第2の画像処理部を有し、
前記イメージセンサーは、複数の画素を有し、
前記複数の画素の各々は、光を電荷に変換する光電変換部を有し、
前記制御部は、第1の制御線により前記光電変換部の電荷に基づく信号を第1の信号線に出力させ、第2の制御線により前記光電変換部の電荷に基づく信号を第2の信号線に出力させ、
前記第1の画像処理部は、前記第2の信号線に出力された信号に対して第1の画像処理を行い、
前記記録部は、前記第1の信号線の信号及び前記第1の画像処理部の前記第1の画像処理の結果を記録し、
前記第2の画像処理部は、前記記録部に記録された前記第1の画像処理部の前記第1の画像処理の結果を基に、前記記録部に記録された前記第1の信号線の信号に対して第2の画像処理を行うことを特徴とする画像処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014075746A JP6261430B2 (ja) | 2014-04-01 | 2014-04-01 | 撮像装置及び画像処理システム |
US14/673,599 US9712798B2 (en) | 2014-04-01 | 2015-03-30 | Imaging apparatus and image processing system processing image based on detection result of partial region |
US15/622,453 US10536679B2 (en) | 2014-04-01 | 2017-06-14 | Imaging apparatus and image processing system having stacked structure |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014075746A JP6261430B2 (ja) | 2014-04-01 | 2014-04-01 | 撮像装置及び画像処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017231499A Division JP6456466B2 (ja) | 2017-12-01 | 2017-12-01 | イメージセンサー及びイメージセンサーの制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015198367A true JP2015198367A (ja) | 2015-11-09 |
JP6261430B2 JP6261430B2 (ja) | 2018-01-17 |
Family
ID=54192227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014075746A Active JP6261430B2 (ja) | 2014-04-01 | 2014-04-01 | 撮像装置及び画像処理システム |
Country Status (2)
Country | Link |
---|---|
US (2) | US9712798B2 (ja) |
JP (1) | JP6261430B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017183952A (ja) * | 2016-03-30 | 2017-10-05 | キヤノン株式会社 | 撮像装置およびその制御方法、撮像素子 |
CN107544124A (zh) * | 2016-06-27 | 2018-01-05 | 佳能株式会社 | 摄像设备及其控制方法和存储介质 |
JP2019047418A (ja) * | 2017-09-06 | 2019-03-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6218799B2 (ja) | 2015-01-05 | 2017-10-25 | キヤノン株式会社 | 撮像素子及び撮像装置 |
US10070088B2 (en) * | 2015-01-05 | 2018-09-04 | Canon Kabushiki Kaisha | Image sensor and image capturing apparatus for simultaneously performing focus detection and image generation |
KR102489832B1 (ko) | 2018-01-12 | 2023-01-18 | 삼성전자주식회사 | 이미지 센서의 픽셀 어레이 및 이를 포함하는 이미지 센서 |
US11295104B2 (en) * | 2020-06-10 | 2022-04-05 | Zebra Technologies Corporation | Methods and apparatus to read barcodes on reflective surfaces |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002112099A (ja) * | 2000-09-28 | 2002-04-12 | Nikon Corp | 画像修復装置および画像修復方法 |
JP2006318364A (ja) * | 2005-05-16 | 2006-11-24 | Funai Electric Co Ltd | 画像処理装置 |
JP2010074584A (ja) * | 2008-09-19 | 2010-04-02 | Sony Corp | 撮像装置および撮像方法 |
JP2010283787A (ja) * | 2009-06-08 | 2010-12-16 | Panasonic Corp | 撮像装置 |
JP2012094720A (ja) * | 2010-10-27 | 2012-05-17 | Sony Corp | 固体撮像装置、半導体装置、固体撮像装置の製造方法、半導体装置の製造方法、及び電子機器 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6687386B1 (en) * | 1999-06-15 | 2004-02-03 | Hitachi Denshi Kabushiki Kaisha | Object tracking method and object tracking apparatus |
US7286174B1 (en) * | 2001-06-05 | 2007-10-23 | Dalsa, Inc. | Dual storage node pixel for CMOS sensor |
JP3822482B2 (ja) | 2001-10-31 | 2006-09-20 | 株式会社東芝 | 顔向き計算方法及びその装置 |
JP4084991B2 (ja) * | 2002-11-29 | 2008-04-30 | 富士通株式会社 | 映像入力装置 |
US7332703B2 (en) * | 2004-03-22 | 2008-02-19 | Micron Technology, Inc. | Imaging structure including a pixel with multiple signal readout circuits and methods of operation for imaging structure |
JP4193768B2 (ja) | 2004-07-16 | 2008-12-10 | ソニー株式会社 | データ処理方法並びに物理量分布検知の半導体装置および電子機器 |
US7616231B2 (en) * | 2005-01-06 | 2009-11-10 | Goodrich Corporation | CMOS active pixel sensor with improved dynamic range and method of operation for object motion detection |
US7646087B2 (en) * | 2005-04-18 | 2010-01-12 | Mediatek Inc. | Multiple-dies semiconductor device with redistributed layer pads |
JP4447520B2 (ja) | 2005-06-29 | 2010-04-07 | 株式会社市川ソフトラボラトリー | 画像処理装置および画像処理方法 |
JP4888081B2 (ja) * | 2006-01-23 | 2012-02-29 | セイコーエプソン株式会社 | 撮像装置、撮像方法、撮像システム及び画像処理装置 |
JP4908067B2 (ja) | 2006-06-01 | 2012-04-04 | オリンパス株式会社 | 固体撮像装置及びそれを用いた撮像装置システム |
JP2008018047A (ja) * | 2006-07-13 | 2008-01-31 | Fujifilm Corp | 欠陥領域補正装置および方法並びにプログラム、放射線検出装置 |
US20080291314A1 (en) * | 2007-05-25 | 2008-11-27 | Motorola, Inc. | Imaging device with auto-focus |
EP2310492B1 (en) * | 2008-06-30 | 2015-07-22 | Janssen Biotech, Inc. | Differentiation of pluripotent stem cells |
US8265962B2 (en) * | 2008-10-13 | 2012-09-11 | Hartford Fire Insurance Company | System and method for administration of costs related to annuities |
US20100157114A1 (en) * | 2008-12-24 | 2010-06-24 | Yoshiyuki Niijima | Method and Apparatus for Image Displaying |
US9257467B2 (en) * | 2009-12-16 | 2016-02-09 | Samsung Electronics Co., Ltd. | Image sensor modules, methods of manufacturing the same, and image processing systems including the image sensor modules |
JP5693094B2 (ja) | 2010-08-26 | 2015-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP5810493B2 (ja) | 2010-09-03 | 2015-11-11 | ソニー株式会社 | 半導体集積回路、電子機器、固体撮像装置、撮像装置 |
JP5718069B2 (ja) * | 2011-01-18 | 2015-05-13 | オリンパス株式会社 | 固体撮像装置および撮像装置 |
GB2487943A (en) * | 2011-02-09 | 2012-08-15 | St Microelectronics Res & Dev | A CMOS pixel sensor with local analogue storage in each pixel circuit for capturing frames in quick succession |
US9007495B1 (en) * | 2011-08-12 | 2015-04-14 | Immedia Semiconductor, Inc. | Image processing |
US8890047B2 (en) * | 2011-09-21 | 2014-11-18 | Aptina Imaging Corporation | Stacked-chip imaging systems |
CN104272718B (zh) * | 2012-04-19 | 2017-08-25 | 国立大学法人东北大学 | 固体摄像装置 |
US8969775B2 (en) * | 2013-02-28 | 2015-03-03 | Omnivision Technologies, Inc. | High dynamic range pixel having a plurality of amplifier transistors |
CN105324985B (zh) * | 2013-07-04 | 2018-11-23 | 株式会社尼康 | 电子设备及摄像元件 |
-
2014
- 2014-04-01 JP JP2014075746A patent/JP6261430B2/ja active Active
-
2015
- 2015-03-30 US US14/673,599 patent/US9712798B2/en active Active
-
2017
- 2017-06-14 US US15/622,453 patent/US10536679B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002112099A (ja) * | 2000-09-28 | 2002-04-12 | Nikon Corp | 画像修復装置および画像修復方法 |
JP2006318364A (ja) * | 2005-05-16 | 2006-11-24 | Funai Electric Co Ltd | 画像処理装置 |
JP2010074584A (ja) * | 2008-09-19 | 2010-04-02 | Sony Corp | 撮像装置および撮像方法 |
JP2010283787A (ja) * | 2009-06-08 | 2010-12-16 | Panasonic Corp | 撮像装置 |
JP2012094720A (ja) * | 2010-10-27 | 2012-05-17 | Sony Corp | 固体撮像装置、半導体装置、固体撮像装置の製造方法、半導体装置の製造方法、及び電子機器 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017183952A (ja) * | 2016-03-30 | 2017-10-05 | キヤノン株式会社 | 撮像装置およびその制御方法、撮像素子 |
CN107544124A (zh) * | 2016-06-27 | 2018-01-05 | 佳能株式会社 | 摄像设备及其控制方法和存储介质 |
JP2019047418A (ja) * | 2017-09-06 | 2019-03-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム |
JP7039219B2 (ja) | 2017-09-06 | 2022-03-22 | キヤノン株式会社 | 情報処理装置、画像処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6261430B2 (ja) | 2018-01-17 |
US20150281667A1 (en) | 2015-10-01 |
US9712798B2 (en) | 2017-07-18 |
US20170280121A1 (en) | 2017-09-28 |
US10536679B2 (en) | 2020-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6261430B2 (ja) | 撮像装置及び画像処理システム | |
US10277830B2 (en) | Solid-state imaging apparatus and light-shielding pixel arrangements thereof | |
US10070078B2 (en) | Solid-state image sensor with pixels having in-pixel memories, motion information acquisition apparatus, and imaging apparatus | |
US10089548B2 (en) | Image recognition device and image recognition method | |
US9485440B2 (en) | Signal processing unit and signal processing method | |
JP5979961B2 (ja) | 焦点検出装置、焦点検出方法及び撮像装置 | |
US10033951B2 (en) | Image sensor that performs different readout operations and image capturing apparatus including image sensor | |
US11616927B2 (en) | Imaging element, imaging apparatus, operation method of imaging element, and program | |
JP2015023511A (ja) | 撮像装置、画像処理方法及び画像処理プログラム | |
JP5826901B2 (ja) | 撮像装置及び光軸位置算出方法 | |
JP2017188760A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器 | |
JP5302511B2 (ja) | 2波長赤外線画像処理装置 | |
JP6456466B2 (ja) | イメージセンサー及びイメージセンサーの制御方法 | |
US20210271915A1 (en) | Image sensor and control method thereof, and image capturing apparatus and control method thereof | |
CN104639842A (zh) | 影像处理装置及曝光控制方法 | |
US20210014436A1 (en) | Integrated circuit chip and image capturing apparatus | |
JP2012191595A (ja) | 撮像装置 | |
US10129494B2 (en) | Imaging device, and solid-state image sensor | |
JP5950675B2 (ja) | 撮像装置 | |
WO2015115067A1 (en) | Solid-state image sensor, motion information acquisition apparatus, and imaging apparatus | |
US20150215544A1 (en) | Image processing apparatus, image capturing apparatus, control method and recording medium | |
JP6723709B2 (ja) | 撮像装置、画像処理装置及びそれらの制御方法 | |
JP2014120795A (ja) | 光電変換装置、光電変換システム、光電変換装置の駆動方法、光電変換システムの駆動方法 | |
JP2018107527A (ja) | 撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171212 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6261430 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |