JP2016130960A - 撮像装置および自動車 - Google Patents
撮像装置および自動車 Download PDFInfo
- Publication number
- JP2016130960A JP2016130960A JP2015005171A JP2015005171A JP2016130960A JP 2016130960 A JP2016130960 A JP 2016130960A JP 2015005171 A JP2015005171 A JP 2015005171A JP 2015005171 A JP2015005171 A JP 2015005171A JP 2016130960 A JP2016130960 A JP 2016130960A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- vehicle
- area
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 305
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims description 52
- 230000000875 corresponding effect Effects 0.000 description 56
- 238000001514 detection method Methods 0.000 description 38
- 238000006243 chemical reaction Methods 0.000 description 32
- 230000003287 optical effect Effects 0.000 description 29
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 15
- 238000012546 transfer Methods 0.000 description 11
- 238000009825 accumulation Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000012071 phase Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002161 passivation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
一実施の態様によると、自動車は、操作部と、上記態様の撮像装置とを備える。
なお、信号機40に代え、または信号機40と併用して、道路に設置された情報提供システムやVICS(登録商標:Vehicle Information and Communication System)を用いても構わない。
自動車10は、車操作部11と、GPS機器12と、ナビシステム(ナビゲーションシステム)13と、光学系14と、光電変換部15と、通信部16と、記憶部17と、センサ18および制御部19とを備えている。なお、自動車10は、説明は省略するものの自動車としての基本構成を有する。
なお、光学系14を複数設けてステレオカメラとしてもよい。
本説明では、走行路に引かれた白色等のラインを白線と呼ぶ。また、実線および破線を含めて白線と呼ぶ。
なお、不図示ではあるもののレーダを設けて、このレーダと撮像部5(光学系14、光電変換部15)とにより周囲の対象物を検出するようにしてもよい。
他の車20は、通信部21と、車操作部22と、記憶部23と、撮像部24および制御部25等を備えており、各部の機能は自動車10の機能と同様である。他の車20も図1では省略しているものの、自動車としての基本構成を有している。ただし、他の車20には、通信部21を備えていない車両もありうる。また、他の車20には、自動運転車と手動運転車とが混在している。このうち、少なくとも自動運転モードを備えた車両は、通信部21により車両同士が通信可能であり、自動運転中か手動運転中かに関する情報や、撮像部24によって取得された画像データを送受信可能に構成されている。
交通信号生成装置30は、信号機40の表示部42に表示される信号灯の制御を行う装置であり、信号情報生成部31と、記憶部32と、通信部33および制御部34とを有している。交通信号生成装置30は、交差点等に設けられた複数の信号機40にそれぞれ設置されうるが、複数の信号機40の制御を一つの交通信号生成装置30が行うようにしてもよい。
信号機40は、通信部41と、表示部42と、光学系43と、光電変換部44と、記憶部45および制御部46とを有している。信号機40は、図1では1基図示したのみであるが、通常は複数の信号機40が設けられる。例えば交差点の場合、図2に例示するように、自動車用の信号機40aが4基、歩行者用の信号機40bが8基設けられる。信号機40は、それぞれ設置された位置に応じた交通信号を交通信号生成装置30より受信して表示部42の表示灯を点灯、点滅させる。
上述した自動車10、他の車20、および信号機40において撮像部に備わる積層型撮像素子100について説明する。なお、この積層型撮像素子100は、本願出願人が先に出願して公開されたWO13/164915号に記載されているものである。図4は、積層型撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
図8は、撮像素子100の撮像面における焦点検出用画素の位置を例示する図である。本実施形態では、撮像チップ113のX軸方向(水平方向)に沿って離散的に焦点検出用画素が並べて設けられている。図8の例では、15本の焦点検出画素ライン60が所定の間隔で設けられる。焦点検出画素ライン60を構成する焦点検出用画素は、測距用の画像信号を出力する。撮像チップ113において焦点検出画素ライン60以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、移動体や障害物等を監視する画像信号を出力する。
以下、自動車10の制御部19が実行する制御について、図10のフローチャートを参照して説明する。なお、このフローチャートは自動車10の起動、例えばエンジンの始動または運転システム等の始動により開始されるものとする。図10のフローチャートによる処理を実行するためのプログラムは、制御部19にあるROM等の記憶媒体、または自動車10の記憶部17に格納されている。
なお、通信結果(通信不能)や撮像結果に基づき自動運転車か手動運転車かを判別できない他の車20については、制御部19は、手動運転車であると推定するものとする。
制御部19はさらに、この間引き率を自動車10の移動速度または自動車10と他の車20との相対的な移動速度に応じて設定変更する。例えば、相対的な移動速度が速くなるに連れて間引き率を低く変更する。
このように、手動運転車と自動運転車とを撮像する際に撮像素子100の単位領域ごとに撮像条件を異ならせることにより、撮像素子100を効率的に使用することができ、消費電力や発熱を抑えることができる。
なお、自動車10の制御部19が、信号機40の光電変換部44によって取得された画像データを受信し、受信した画像データに基づいて歩行者の有無を判断するようにしてもよい。
なお、自動車10が減速すると、後続車が自動車10に接近することが予想されるので、後方を撮像する撮像素子100のフレームレートを、減速前より高くしたり、間引き率を低くしたりする制御を行ってもよい。
制御部19は、自動車10が速度を変更する場合に、ブレーキやアクセルの操作量(ペダルの踏み込み量)に応じて速度変化を予測して、撮像条件を設定変更するようにしてもよい。
次に、信号機40の制御部46が実行する制御について、図12のフローチャートを参照して説明する。図12のフローチャートによる処理を実行するためのプログラムは、制御部46にあるROM等の記憶媒体、または記憶部45に格納されている。
なお、通信対象車両は、交差点または信号機40から所定の範囲内にある車両としてもよいし、道路に設置された不図示の情報提供システム等を介して通信可能な車両としてもよい。
図13は、自動車用の信号機40aが青信号を表示しているときの、自動車用の信号機40aと一体として設置、あるいはその近傍に設置された撮像部50−1の撮像素子100における撮像条件の制御の例を示す図である。
なお、フレームレートを低くすることは、その単位領域において撮像を行わない設定を行うことも含む。
(1)自動車10(または信号機40)の撮像装置は、複数の領域の撮像条件を設定可能な撮像素子100を備えた撮像部5(または撮像部50)と、周囲の他の車20の運転方式に基づいて、複数の単位領域の撮像条件を設定する制御部19(または制御部41)とを備える。これにより、撮像素子100に対し、周囲の車20の運転方式に適した撮像条件を設定し得る。
信号機40の制御部46は、撮像部50による撮像、または通信部41による通信により、道路上または交差点における車両の自動運転車の割合に関する情報を取得し、その割合に応じて撮像条件を変えてもよい。例えば、制御部46は、自動運転車の割合が多い時間帯には、自動運転車の割合が少ないときに比べて間引き率を上げるように制御する。これにより、消費電力の節約等が実現でき、より効率的な撮像を行うことができる。
自動車10の制御部19または信号機40の制御部46は、自動運転車か手動運転車かを撮像により識別するのに加え、初心運転者標識や高齢運転者標識などの標識を識別してもよい。そして、初心運転車や高齢運転車に対応する撮像素子100の単位領域において異なる撮像条件を設定する。例えば初心運転者標識の表示された車両は、手動運転車に対応する撮像素子100の単位領域よりもフレームレートをさらに高くしたフレームレートで撮像してもよい。これにより、対象物に応じて、撮像素子100の撮像面における単位領域ごとに撮像条件を適切に設定することができる。
以上の説明では、撮像素子100を用いた撮像により距離測定および周囲の移動体や障害物の検出を行ったが、不図示のレーダを併用してもよい。これにより、撮像素子100とレーダの特性を生かし、より信頼性の高い交通情報の取得を行うことができる。
5、50(50−1、50−2)…撮像部
10…自動車
19、46…制御部
20…他の車
30…交通信号生成装置
40…信号機
40a…自動車用の信号機
40b…歩行者用の信号機
42…表示部
70…撮像領域
71、71A、71B…注目領域
72、72A、72B、73A、73B、76、77…車両
74A、74B…準注目領域
75…特注目領域
90…歩行者
100…撮像素子
113…撮像チップ
Claims (12)
- 複数の領域の撮像条件を設定可能な撮像素子を備えた撮像部と、
周囲の移動体の運転方式に基づいて、前記複数の領域の撮像条件を設定する設定部と、
を備えた撮像装置。 - 請求項1に記載の撮像装置において、
前記設定部は、前記運転方式が異なる移動体を撮像する領域毎に異なる撮像条件を設定する撮像装置。 - 請求項2に記載の撮像装置において、
前記移動体の運転方式は、自動運転方式と手動運転方式とであり、
前記設定部は、前記自動運転方式の移動体を撮像する領域と、前記手動運転方式の移動体を撮像する領域とで異なる撮像条件を設定する撮像装置。 - 請求項3に記載の撮像装置において、
前記設定部は、前記手動運転方式の移動体を撮像する領域のフレームレートを前記自動運転方式の移動体を撮像する領域のフレームレートよりも高く設定する撮像装置。 - 請求項3または4に記載の撮像装置において、
前記設定部は、前記手動運転方式の移動体を撮像する領域の画素の間引き率を前記自動運転方式の移動体を撮像する領域の画素の間引き率よりも低く設定する撮像装置。 - 請求項1から5のいずれか一項に記載の撮像装置において、
前記周囲の移動体の運転方式に関する情報を取得する取得部を備える撮像装置。 - 請求項6に記載の撮像装置において、
前記取得部は、前記移動体との通信によって前記情報を取得する撮像装置。 - 請求項6または7に記載の撮像装置において、
前記取得部は、前記撮像部による前記移動体の撮像によって前記情報を取得する撮像装置。 - 請求項6から8のいずれか一項に記載の撮像装置において、
前記取得部は、前記移動体とは異なる外部機器から前記情報を取得する撮像装置。 - 請求項6から9のいずれか一項に記載の撮像装置において、
前記取得部は、前記移動体が自動運転車か手動運転車かを示す情報を取得し、
前記設定部は、前記自動運転車を撮像する領域と、前記手動運転車を撮像する領域とで異なる撮像条件を設定する撮像装置。 - 操作部と、
請求項1から10のいずれか一項に記載の撮像装置と、
を備えた自動車。 - 請求項11に記載の自動車において、
前記設定部は、前記操作部の操作に応じて、前記撮像条件を変更する自動車。
Priority Applications (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015005171A JP6451332B2 (ja) | 2015-01-14 | 2015-01-14 | 撮像装置および自動車 |
CN202011621613.9A CN112839169B (zh) | 2014-05-29 | 2015-05-29 | 驾驶辅助装置及摄像装置 |
US15/314,285 US10279742B2 (en) | 2014-05-29 | 2015-05-29 | Image capture device and vehicle |
CN201580041612.8A CN106537892B (zh) | 2014-05-29 | 2015-05-29 | 摄像装置及车辆 |
CN202011621700.4A CN112866563B (zh) | 2014-05-29 | 2015-05-29 | 驾驶辅助装置及摄像装置 |
CN202011643281.4A CN112866566B (zh) | 2014-05-29 | 2015-05-29 | 驾驶辅助装置及驾驶辅助装置搭载车辆 |
PCT/JP2015/065593 WO2015182753A1 (ja) | 2014-05-29 | 2015-05-29 | 撮像装置および車両 |
US16/282,775 US10807532B2 (en) | 2014-05-29 | 2019-02-22 | Image capture device and vehicle |
US16/928,075 US20200361377A1 (en) | 2014-05-29 | 2020-07-14 | Image capture device and vehicle |
US17/114,761 US11220215B2 (en) | 2014-05-29 | 2020-12-08 | Image capture device and vehicle |
US17/546,550 US11572016B2 (en) | 2014-05-29 | 2021-12-09 | Image capture device and vehicle |
US18/149,720 US20230158952A1 (en) | 2014-05-29 | 2023-01-04 | Image capture device and vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015005171A JP6451332B2 (ja) | 2015-01-14 | 2015-01-14 | 撮像装置および自動車 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015186062A Division JP6358214B2 (ja) | 2015-09-18 | 2015-09-18 | 撮像装置 |
JP2015186061A Division JP6358213B2 (ja) | 2015-09-18 | 2015-09-18 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016130960A true JP2016130960A (ja) | 2016-07-21 |
JP6451332B2 JP6451332B2 (ja) | 2019-01-16 |
Family
ID=56415514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015005171A Active JP6451332B2 (ja) | 2014-05-29 | 2015-01-14 | 撮像装置および自動車 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6451332B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018020604A1 (ja) * | 2016-07-27 | 2018-02-01 | みこらった株式会社 | 車載装置、自動車、情報提供システム、車載装置用プログラム及び自動車用プログラム |
JP2018174553A (ja) * | 2018-06-18 | 2018-11-08 | 株式会社ニコン | 撮像装置 |
WO2019131120A1 (ja) * | 2017-12-28 | 2019-07-04 | 株式会社デンソー | 走行制御装置 |
JP2019140472A (ja) * | 2018-02-08 | 2019-08-22 | 株式会社Soken | 遠隔操縦される車両に搭載される画像送信装置 |
US10807532B2 (en) | 2014-05-29 | 2020-10-20 | Nikon Corporation | Image capture device and vehicle |
WO2022024333A1 (ja) * | 2020-07-31 | 2022-02-03 | 日本電気株式会社 | 記録形態変更装置、ネットワークカメラ、記録形態の変更方法及びプログラム記録媒体 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003259361A (ja) * | 2002-03-05 | 2003-09-12 | Nissan Motor Co Ltd | 車両用画像処理装置 |
JP2005214883A (ja) * | 2004-01-30 | 2005-08-11 | Denso Corp | カーナビゲーション装置 |
JP2006270175A (ja) * | 2005-03-22 | 2006-10-05 | Megachips System Solutions Inc | 車載画像記録システム |
JP2007096510A (ja) * | 2005-09-27 | 2007-04-12 | Omron Corp | 前方撮影装置 |
JP2007172035A (ja) * | 2005-12-19 | 2007-07-05 | Fujitsu Ten Ltd | 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法 |
JP2008060650A (ja) * | 2006-08-29 | 2008-03-13 | Konica Minolta Holdings Inc | 車載用撮像装置および車載用撮像装置の撮像方法 |
JP2009004947A (ja) * | 2007-06-20 | 2009-01-08 | Panasonic Corp | 撮像デバイス及び画像処理表示装置 |
-
2015
- 2015-01-14 JP JP2015005171A patent/JP6451332B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003259361A (ja) * | 2002-03-05 | 2003-09-12 | Nissan Motor Co Ltd | 車両用画像処理装置 |
JP2005214883A (ja) * | 2004-01-30 | 2005-08-11 | Denso Corp | カーナビゲーション装置 |
JP2006270175A (ja) * | 2005-03-22 | 2006-10-05 | Megachips System Solutions Inc | 車載画像記録システム |
JP2007096510A (ja) * | 2005-09-27 | 2007-04-12 | Omron Corp | 前方撮影装置 |
JP2007172035A (ja) * | 2005-12-19 | 2007-07-05 | Fujitsu Ten Ltd | 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法 |
JP2008060650A (ja) * | 2006-08-29 | 2008-03-13 | Konica Minolta Holdings Inc | 車載用撮像装置および車載用撮像装置の撮像方法 |
JP2009004947A (ja) * | 2007-06-20 | 2009-01-08 | Panasonic Corp | 撮像デバイス及び画像処理表示装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10807532B2 (en) | 2014-05-29 | 2020-10-20 | Nikon Corporation | Image capture device and vehicle |
US11220215B2 (en) | 2014-05-29 | 2022-01-11 | Nikon Corporation | Image capture device and vehicle |
US11572016B2 (en) | 2014-05-29 | 2023-02-07 | Nikon Corporation | Image capture device and vehicle |
WO2018020604A1 (ja) * | 2016-07-27 | 2018-02-01 | みこらった株式会社 | 車載装置、自動車、情報提供システム、車載装置用プログラム及び自動車用プログラム |
JPWO2018020604A1 (ja) * | 2016-07-27 | 2018-07-26 | みこらった株式会社 | 車載装置、自動車、情報提供システム、車載装置用プログラム及び自動車用プログラム |
WO2019131120A1 (ja) * | 2017-12-28 | 2019-07-04 | 株式会社デンソー | 走行制御装置 |
JP2019119310A (ja) * | 2017-12-28 | 2019-07-22 | 株式会社デンソー | 走行制御装置 |
JP7009990B2 (ja) | 2017-12-28 | 2022-01-26 | 株式会社デンソー | 走行制御装置 |
JP2019140472A (ja) * | 2018-02-08 | 2019-08-22 | 株式会社Soken | 遠隔操縦される車両に搭載される画像送信装置 |
JP2018174553A (ja) * | 2018-06-18 | 2018-11-08 | 株式会社ニコン | 撮像装置 |
WO2022024333A1 (ja) * | 2020-07-31 | 2022-02-03 | 日本電気株式会社 | 記録形態変更装置、ネットワークカメラ、記録形態の変更方法及びプログラム記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP6451332B2 (ja) | 2019-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112866566B (zh) | 驾驶辅助装置及驾驶辅助装置搭载车辆 | |
JP6451332B2 (ja) | 撮像装置および自動車 | |
JP7380666B2 (ja) | 車両、及び運転支援装置 | |
JP6358214B2 (ja) | 撮像装置 | |
JP2015226255A (ja) | 撮像装置および自動車 | |
JP6620395B2 (ja) | 撮像装置 | |
JP6451575B2 (ja) | 撮像装置 | |
JP6358213B2 (ja) | 撮像装置 | |
JP6451576B2 (ja) | 撮像装置 | |
JP6699687B2 (ja) | 撮像装置 | |
JP2016130099A (ja) | 撮像装置 | |
JP2018186525A (ja) | 撮像装置 | |
JP2019009783A (ja) | 撮像装置 | |
JP6369433B2 (ja) | 撮像装置 | |
JP2015228707A (ja) | 撮像装置 | |
JP2019134459A (ja) | 撮像装置 | |
JP6365480B2 (ja) | 撮像装置 | |
JP6369432B2 (ja) | 撮像装置 | |
JP2016027740A (ja) | 撮像装置 | |
JP2016027739A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6451332 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |