JP2018107620A - Imaging system, movable body, and control method - Google Patents

Imaging system, movable body, and control method Download PDF

Info

Publication number
JP2018107620A
JP2018107620A JP2016251966A JP2016251966A JP2018107620A JP 2018107620 A JP2018107620 A JP 2018107620A JP 2016251966 A JP2016251966 A JP 2016251966A JP 2016251966 A JP2016251966 A JP 2016251966A JP 2018107620 A JP2018107620 A JP 2018107620A
Authority
JP
Japan
Prior art keywords
imaging
processor
control information
imaging devices
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016251966A
Other languages
Japanese (ja)
Inventor
横田 匡司
Tadashi Yokota
匡司 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2016251966A priority Critical patent/JP2018107620A/en
Publication of JP2018107620A publication Critical patent/JP2018107620A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To improve convenience of a technology to combine a plurality of images picked up by a plurality of imaging devices.SOLUTION: An imaging system 10 comprises a plurality of imaging devices 20 and a processor 32. The plurality of imaging devices 20 are each arranged to have an imaging area overlapped with that of at least one of the other imaging devices 20, and can execute exposure adjustment or white balance adjustment by using control information input from the processor 32. The processor 32 determines a piece of control information. The exposure or white balance of the plurality of respective imaging devices 20 is executed by using the piece of control information.SELECTED DRAWING: Figure 1

Description

本発明は、撮像システム、移動体、および制御方法に関する。   The present invention relates to an imaging system, a moving body, and a control method.

従来、例えば車両等の移動体に搭載された複数の撮像装置による複数の撮像画像を結合する技術が知られている。例えば、特許文献1には、車両に設置された複数のカメラにより撮像された画像を基に、視点変換された車両周辺の俯瞰画像を表示装置に表示する技術が開示されている。   2. Description of the Related Art Conventionally, a technique for combining a plurality of captured images by a plurality of imaging devices mounted on a moving body such as a vehicle is known. For example, Patent Document 1 discloses a technique for displaying, on a display device, a bird's-eye view of a vehicle periphery that has been subjected to viewpoint conversion based on images captured by a plurality of cameras installed in the vehicle.

特開2010−283718号公報JP 2010-283718 A

複数の撮像装置による複数の撮像画像を結合する技術の利便性の向上が望まれている。   Improvement of the convenience of a technique for combining a plurality of captured images by a plurality of imaging devices is desired.

本開示は、複数の撮像装置による複数の撮像画像を結合する技術の利便性を向上させる撮像システム、移動体、および制御方法に関する。   The present disclosure relates to an imaging system, a moving body, and a control method that improve convenience of a technique for combining a plurality of captured images obtained by a plurality of imaging devices.

本開示の一実施形態に係る画像システムは、複数の撮像装置と、プロセッサと、を備える。前記複数の撮像装置それぞれは、少なくとも1つの他の撮像装置と撮像領域が重複するように配置されており、前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能である。前記プロセッサは、1つの制御情報を決定する。前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記1つの制御情報を用いて実行される。   An image system according to an embodiment of the present disclosure includes a plurality of imaging devices and a processor. Each of the plurality of imaging devices is arranged so that an imaging region overlaps with at least one other imaging device, and can perform exposure adjustment or white balance adjustment using control information input from the processor. . The processor determines one piece of control information. The exposure or white balance of each of the plurality of imaging devices is executed using the one control information.

本開示の一実施形態に係る移動体は、複数の撮像装置と、プロセッサと、を備える。前記複数の撮像装置それぞれは、少なくとも1つの他の撮像装置と撮像領域が重複するように配置されており、前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能である。前記プロセッサは、1つの制御情報を決定する。前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記1つの制御情報を用いて実行される。   A moving object according to an embodiment of the present disclosure includes a plurality of imaging devices and a processor. Each of the plurality of imaging devices is arranged so that an imaging region overlaps with at least one other imaging device, and can perform exposure adjustment or white balance adjustment using control information input from the processor. . The processor determines one piece of control information. The exposure or white balance of each of the plurality of imaging devices is executed using the one control information.

本開示の一実施形態に係る制御方法は、複数の撮像装置と、プロセッサと、を備える撮像システムの制御方法である。前記複数の撮像装置それぞれは、少なくとも1つの他の撮像装置と撮像領域が重複するように配置されており、前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能である。前記プロセッサが、1つの制御情報を決定する。前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記1つの制御情報を用いて実行される。   A control method according to an embodiment of the present disclosure is a control method of an imaging system including a plurality of imaging devices and a processor. Each of the plurality of imaging devices is arranged so that an imaging region overlaps with at least one other imaging device, and can perform exposure adjustment or white balance adjustment using control information input from the processor. . The processor determines one piece of control information. The exposure or white balance of each of the plurality of imaging devices is executed using the one control information.

本開示の一実施形態に係る撮像システム、移動体、および制御方法によれば、複数の撮像装置による複数の撮像画像を結合する技術の利便性が向上する。   According to the imaging system, the moving body, and the control method according to an embodiment of the present disclosure, the convenience of a technique for combining a plurality of captured images by a plurality of imaging devices is improved.

本開示の第1実施形態に係る撮像システムの概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an imaging system according to a first embodiment of the present disclosure. 移動体における複数の撮像装置の配置を示す図である。It is a figure which shows arrangement | positioning of the several imaging device in a moving body. 複数の撮像装置それぞれの撮像領域を示す図である。It is a figure which shows the imaging area | region of each of several imaging device. 情報処理装置の第1動作を示すフローチャートである。It is a flowchart which shows the 1st operation | movement of information processing apparatus. 本開示の第2実施形態に係る撮像システムの概略構成を示すブロック図である。It is a block diagram showing a schematic structure of an imaging system concerning a 2nd embodiment of this indication. 情報処理装置の第2動作を示すフローチャートである。It is a flowchart which shows the 2nd operation | movement of information processing apparatus.

以下、本開示の実施形態について、図面を参照して説明する。   Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.

(第1実施形態)
図1を参照して、本開示の第1実施形態に係る撮像システム10について説明する。撮像システム10は、複数の撮像装置20と、情報処理装置30と、表示装置40と、を備える。撮像システム10は、移動体に備えられる。
(First embodiment)
With reference to FIG. 1, an imaging system 10 according to a first embodiment of the present disclosure will be described. The imaging system 10 includes a plurality of imaging devices 20, an information processing device 30, and a display device 40. The imaging system 10 is provided in a moving body.

本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。   The “mobile body” in the present disclosure may include, for example, a vehicle, a ship, an aircraft, and the like. The vehicle may include, for example, an automobile, an industrial vehicle, a railway vehicle, a living vehicle, a fixed wing aircraft that runs on a runway, and the like. Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses, and the like. Industrial vehicles may include, for example, industrial vehicles for agriculture and construction. Industrial vehicles may include, for example, forklifts and golf carts. Industrial vehicles for agriculture may include, for example, tractors, cultivators, transplanters, binders, combiners, lawn mowers, and the like. Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, crane trucks, dump trucks, road rollers, and the like. The vehicle may include a vehicle that travels manually. The classification of the vehicle is not limited to the example described above. For example, an automobile may include an industrial vehicle capable of traveling on a road. The same vehicle may be included in multiple classifications. Ships may include, for example, marine jets, boats, tankers, and the like. Aircraft may include, for example, fixed wing aircraft and rotary wing aircraft.

複数の撮像装置20、情報処理装置30、および表示装置40は、ネットワークを介して通信可能に接続される。ネットワークは、例えば無線、有線、およびCAN(Controller Area Network)等、1つ以上の任意の通信経路を含んでよい。   The plurality of imaging devices 20, the information processing device 30, and the display device 40 are communicably connected via a network. The network may include one or more arbitrary communication paths such as wireless, wired, and CAN (Controller Area Network).

他の実施形態において、撮像システム10の一部または全部の構成要素が、1つの装置として一体的に構成されてよい。例えば、情報処理装置30の構成または機能の一部または全部が、1つの撮像装置20に包含された構成等が考えられる。   In other embodiments, some or all of the components of the imaging system 10 may be integrally configured as a single device. For example, a configuration in which a part or all of the configuration or function of the information processing device 30 is included in one imaging device 20 can be considered.

撮像システム10に備えられる撮像装置20の数は任意に定められてよい。例えば、撮像システム10には4つの撮像装置20が含まれる。以下、4つの撮像装置20それぞれを区別して、フロントカメラ20a、リアカメラ20b、左サイドカメラ20c、および右サイドカメラ20dともいう。   The number of the imaging devices 20 provided in the imaging system 10 may be arbitrarily determined. For example, the imaging system 10 includes four imaging devices 20. Hereinafter, the four imaging devices 20 are distinguished from each other and are also referred to as a front camera 20a, a rear camera 20b, a left side camera 20c, and a right side camera 20d.

図2を参照して、移動体50における各撮像装置20の配置について説明する。各撮像装置20は、少なくとも1つの他の撮像装置20と撮像領域が重複するように、移動体50における任意の位置に配置されてよい。各撮像装置20の撮像領域の詳細については後述する。例えば図2に示す例では、フロントカメラ20aは、移動体50の前方を撮像可能となるように配置される。リアカメラ20bは、移動体50の後方を撮像可能となるように配置される。左サイドカメラ20cは、移動体50の左側方を撮像可能となるように配置される。右サイドカメラ20dは、移動体50の右側方を撮像可能となるように配置される。左サイドカメラ20cおよび右サイドカメラ20dは、例えば移動体50の左右のサイドミラー内において、鉛直下向きに配置されてよい。   With reference to FIG. 2, the arrangement of the imaging devices 20 in the moving body 50 will be described. Each imaging device 20 may be arranged at an arbitrary position on the moving body 50 so that the imaging region overlaps with at least one other imaging device 20. Details of the imaging area of each imaging device 20 will be described later. For example, in the example illustrated in FIG. 2, the front camera 20 a is disposed so as to be able to image the front of the moving body 50. The rear camera 20b is arranged so that the rear side of the moving body 50 can be imaged. The left side camera 20c is arranged so that the left side of the moving body 50 can be imaged. The right side camera 20d is arranged so that the right side of the moving body 50 can be imaged. The left side camera 20c and the right side camera 20d may be arranged vertically downward in the left and right side mirrors of the moving body 50, for example.

各撮像装置20の撮像領域について説明する。各撮像装置20は、撮像領域内の被写体を撮像可能である。各撮像装置20は、例えば魚眼レンズ等の画角の広いレンズを備えてよい。例えば図3に示す例では、フロントカメラ20aの撮像領域は、移動体50の前方領域FAと、左前方領域FLAと、右前方領域FRAと、を含む。リアカメラ20bの撮像領域は、移動体50の後方領域ReAと、左後方領域ReLAと、右後方領域ReRAと、を含む。左サイドカメラ20cの撮像領域は、移動体50の左側方領域LAと、左前方領域FLAと、左後方領域ReLAと、を含む。右サイドカメラ20dの撮像領域は、移動体50の右側方領域RAと、右前方領域FRAと、右後方領域ReRAと、を含む。   The imaging area of each imaging device 20 will be described. Each imaging device 20 can image a subject in the imaging region. Each imaging device 20 may include a lens with a wide angle of view, such as a fisheye lens. For example, in the example shown in FIG. 3, the imaging area of the front camera 20a includes a front area FA, a left front area FLA, and a right front area FRA of the moving body 50. The imaging area of the rear camera 20b includes a rear area ReA, a left rear area ReLA, and a right rear area ReRA of the moving body 50. The imaging area of the left side camera 20c includes a left side area LA, a left front area FLA, and a left rear area ReLA of the moving body 50. The imaging area of the right side camera 20d includes a right side area RA, a right front area FRA, and a right rear area ReRA of the moving body 50.

図3に示す例では、各撮像装置20の撮像領域は、移動体50の四隅周辺において互いに重複する。具体的には、フロントカメラ20aの撮像領域と左サイドカメラ20cの撮像領域とは、左前方領域FLAにおいて重複する。フロントカメラ20aの撮像領域と右サイドカメラ20dの撮像領域とは、右前方領域FRAにおいて重複する。リアカメラ20bの撮像領域と左サイドカメラ20cの撮像領域とは、左後方領域ReLAにおいて重複する。リアカメラ20bの撮像領域と右サイドカメラ20dの撮像領域とは、右後方領域ReRAにおいて重複する。   In the example illustrated in FIG. 3, the imaging regions of the imaging devices 20 overlap each other around the four corners of the moving body 50. Specifically, the imaging area of the front camera 20a and the imaging area of the left side camera 20c overlap in the left front area FLA. The imaging area of the front camera 20a and the imaging area of the right side camera 20d overlap in the right front area FRA. The imaging area of the rear camera 20b and the imaging area of the left side camera 20c overlap in the left rear area ReLA. The imaging area of the rear camera 20b and the imaging area of the right side camera 20d overlap in the right rear area ReRA.

図1を参照して、撮像システム10の各構成要素について、詳細に説明する。   With reference to FIG. 1, each component of the imaging system 10 is demonstrated in detail.

(撮像装置)
撮像装置20は、撮像光学系21と、撮像素子22と、通信部23と、制御部24とを備える。
(Imaging device)
The imaging device 20 includes an imaging optical system 21, an imaging element 22, a communication unit 23, and a control unit 24.

撮像光学系21は、被写体像を結像させる。例えば、撮像光学系21は、絞りおよび1つ以上のレンズを含んでよい。撮像光学系21に含まれる少なくとも1つのレンズは、比較的画角が広い広角レンズであってよい。   The imaging optical system 21 forms a subject image. For example, the imaging optical system 21 may include a diaphragm and one or more lenses. The at least one lens included in the imaging optical system 21 may be a wide-angle lens having a relatively wide angle of view.

撮像素子22は、2次元配列された複数の画素を有する。撮像素子22は、例えばCCD(Charge Coupled Device)撮像素子またはCMOS(Complementary Metal Oxide Semiconductor)撮像素子を含んでよい。撮像素子22は、撮像光学系21によって結像される被写体像を撮像して、撮像画像を生成可能である。撮像素子22は、例えば所望のフレームレートで、被写体を連続的に撮像可能である。以下、撮像素子22による連続的な撮像を、連続撮像ともいう。   The image sensor 22 has a plurality of pixels arranged two-dimensionally. The image sensor 22 may include, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. The image sensor 22 can capture a subject image formed by the imaging optical system 21 and generate a captured image. The image sensor 22 can continuously image a subject at a desired frame rate, for example. Hereinafter, continuous imaging by the imaging element 22 is also referred to as continuous imaging.

通信部23は、外部装置と通信可能な通信インタフェースを含む。通信部23は、ネットワークを介して情報の送受信が可能であってよい。外部装置は、例えば情報処理装置30を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval ConnectorまたはBaby-series N Connector等)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。   The communication unit 23 includes a communication interface capable of communicating with an external device. The communication unit 23 may be capable of transmitting and receiving information via a network. The external device may include an information processing device 30, for example. The “communication interface” in the present disclosure may include, for example, a physical connector and a wireless communication device. The physical connector may include an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves. The electrical connector includes a connector conforming to IEC 60603, a connector conforming to the USB standard, a connector corresponding to the RCA terminal, a connector corresponding to the S terminal defined in EIAJ CP-1211A, and a D terminal defined in EIAJ RC-5237. A connector corresponding to a coaxial cable including a corresponding connector, a connector conforming to the HDMI (registered trademark) standard, and a BNC (British Naval Connector or Baby-series N Connector) may be included. The optical connector may include various connectors that conform to IEC 61754. The wireless communication device may include a wireless communication device that conforms to standards including Bluetooth (registered trademark) and IEEE802.11. The wireless communication device includes at least one antenna.

制御部24は、1つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、DSP(Digital Signal Processor)および特定用途向けIC(ASIC;Application Specific Integrated Circuit)が含まれてよい。プロセッサには、プログラマブルロジックデバイス(PLD;Programmable Logic Device)が含まれてよい。PLDには、FPGA(Field-Programmable Gate Array)が含まれてよい。制御部24は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってよい。   The control unit 24 includes one or more processors. The “processor” in the present disclosure may include a dedicated processor specialized for a specific process and a general-purpose processor that executes a specific function by reading a specific program. The dedicated processor may include a DSP (Digital Signal Processor) and an application specific integrated circuit (ASIC). The processor may include a programmable logic device (PLD). The PLD may include an FPGA (Field-Programmable Gate Array). The control unit 24 may be one of SoC (System-on-a-Chip) and SiP (System In a Package) in which one or more processors cooperate.

制御部24は、撮像装置20全体の動作を制御する。制御部24は、任意のフレームレートで撮像素子22に連続撮像を実行させてよい。制御部24は、自装置における撮像タイミングを、他の撮像装置20の撮像タイミングと同期させてよい。   The control unit 24 controls the overall operation of the imaging device 20. The control unit 24 may cause the image sensor 22 to perform continuous imaging at an arbitrary frame rate. The control unit 24 may synchronize the imaging timing of the own apparatus with the imaging timing of the other imaging apparatus 20.

制御部24は、後述するように情報処理装置30から入力される制御情報を用いて、露出調整およびホワイトバランス調整の少なくとも一方を実行可能であってよい。以下、撮像装置20に入力される当該制御情報を、共通制御情報ともいう。露出調整に用いられる制御情報は、例えば撮像素子22の電荷蓄積期間の長さを示すパラメータを含んでよい。制御部24は、当該パラメータの値を撮像素子22の電荷蓄積期間の長さとして決定することによって、露出を調整する。ホワイトバランス調整に用いられる制御情報は、例えば色温度を示すパラメータを含んでよい。制御部24は、制御情報に示される色温度に基づいて、ホワイトバランスを調整する。   The control unit 24 may be able to execute at least one of exposure adjustment and white balance adjustment using control information input from the information processing apparatus 30 as described later. Hereinafter, the control information input to the imaging device 20 is also referred to as common control information. The control information used for exposure adjustment may include, for example, a parameter indicating the length of the charge accumulation period of the image sensor 22. The control unit 24 adjusts the exposure by determining the value of the parameter as the length of the charge accumulation period of the image sensor 22. The control information used for white balance adjustment may include, for example, a parameter indicating the color temperature. The control unit 24 adjusts the white balance based on the color temperature indicated in the control information.

制御部24は、上述した共通制御情報を用いる露出調整およびホワイトバランス調整に替えて、自動露出制御および自動ホワイトバランス制御の少なくとも一方を実行可能であってよい。制御部24は、自動露出制御および自動ホワイトバランス制御の実行によって得られた制御情報を、情報処理装置30へ出力してよい。制御部24は、後述するように情報処理装置30からの指示に応じて、上述した共通制御情報を用いる露出調整およびホワイトバランス調整を実行する第1モードと、自動露出制御および自動ホワイトバランス制御を実行する第2モードと、を切り替えてよい。   The control unit 24 may execute at least one of automatic exposure control and automatic white balance control instead of the exposure adjustment and the white balance adjustment using the common control information described above. The control unit 24 may output control information obtained by executing automatic exposure control and automatic white balance control to the information processing apparatus 30. As will be described later, the control unit 24 performs a first mode in which the exposure adjustment and the white balance adjustment using the common control information described above are performed in response to an instruction from the information processing device 30, and automatic exposure control and automatic white balance control. The second mode to be executed may be switched.

制御部24は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば歪み補正処理および視点変換処理等を含んでよい。歪み補正処理によって、例えば広角撮影された撮像画像の歪みが低減される。視点変換処理によって、撮像画像が、例えば撮像装置20の撮像領域を移動体50の上空から俯瞰した俯瞰画像に変換される。   The control unit 24 may perform predetermined image processing on the generated captured image. The image processing may include, for example, distortion correction processing and viewpoint conversion processing. By distortion correction processing, for example, distortion of a captured image taken at a wide angle is reduced. By the viewpoint conversion process, the captured image is converted into, for example, an overhead image in which the imaging region of the imaging device 20 is viewed from above the moving body 50.

制御部24は、通信部23を介して情報処理装置30へ、生成された撮像画像を出力してよい。   The control unit 24 may output the generated captured image to the information processing device 30 via the communication unit 23.

(情報処理装置)
情報処理装置30は、通信部31と、制御部32と、を備える。
(Information processing device)
The information processing apparatus 30 includes a communication unit 31 and a control unit 32.

通信部31は、外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば撮像装置20、移動体50に備えられたECU(Electronic Control UnitまたはEngine Control unit)、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、測色センサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ETC(Electronic Toll Collection System)受信装置、GPS(Global Positioning System)装置、ナビゲーション装置、インターネット上のサーバ、および携帯電話等を含んでよい。   The communication unit 31 may include a communication interface that can communicate with an external device. The external device includes, for example, the imaging device 20, an ECU (Electronic Control Unit or Engine Control unit) provided in the moving body 50, a speed sensor, an acceleration sensor, a rotation angle sensor, a steering rudder angle sensor, an engine rotation speed sensor, an accelerator sensor, Brake sensor, colorimetric sensor, illuminance sensor, raindrop sensor, mileage sensor, millimeter wave radar, obstacle detection device using ultrasonic sonar, ETC (Electronic Toll Collection System) receiver, GPS (Global Positioning System) device , Navigation devices, servers on the Internet, mobile phones and the like.

通信部31は、外部装置から多様な情報を取得可能である。例えば、通信部31は、撮像装置20から撮像画像を取得する。通信部31は、外部装置から移動体50に関する情報を取得する。以下、移動体50に関する情報を、移動体情報ともいう。   The communication unit 31 can acquire various information from an external device. For example, the communication unit 31 acquires a captured image from the imaging device 20. The communication unit 31 acquires information regarding the moving object 50 from an external device. Hereinafter, the information regarding the moving body 50 is also referred to as moving body information.

移動体情報は、移動体50に関する任意の情報を含んでよい。移動体情報は、例えば移動体50の速度、加速度、旋回重力、傾き、方角、および旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、エンジンの動作状態、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは4輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体50の位置情報、ならびに移動体50の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。   The mobile object information may include arbitrary information regarding the mobile object 50. The moving body information includes, for example, the speed, acceleration, turning gravity, inclination, direction, and turning state of the moving body 50, the steering wheel steering angle, the cooling water temperature, the remaining amount of fuel, the remaining amount of the battery, the voltage of the battery, Engine speed, engine operating status, gear position, presence / absence of reverse signal, presence / absence of accelerator operation, accelerator opening, presence / absence of brake operation, brake depression, parking brake activation, front / rear wheel or four-wheel speed difference , Tire pressure, damper expansion / contraction, driver's eye space position, number of occupants and seat position, seat belt mounting information, door opening / closing, window opening / closing, interior temperature, air conditioning operation status, air conditioning set temperature , Airflow of air conditioning, setting of outside air circulation, wiper operating status, driving mode, connection information with external equipment, current time, average fuel consumption, instantaneous fuel consumption, lighting status of various lamps , Location information of the vehicle 50, and may include routing information, etc. to a destination of the vehicle 50. The various lamps may include, for example, a head lamp, a fog lamp, a back lamp, a position lamp, and a turn signal.

制御部32は、1つ以上のプロセッサを含む。制御部32は、情報処理装置30全体の動作を制御する。以下、具体的に説明する。   The control unit 32 includes one or more processors. The control unit 32 controls the overall operation of the information processing apparatus 30. This will be specifically described below.

制御部32は、通信部31を介して外部装置から、移動体情報を取得する。制御部32は、移動体情報に基づいて移動体50の状態を検出する。移動体50の状態は、例えば移動体50の前進状態および後進状態、ならびに移動体50に搭載された各種のランプの点灯状態等を含んでよい。制御部32は、例えば移動体情報に含まれるギアポジションに基づいて、前進状態および後進状態をそれぞれ検出してよい。   The control unit 32 acquires mobile body information from the external device via the communication unit 31. The control unit 32 detects the state of the moving body 50 based on the moving body information. The state of the moving body 50 may include, for example, the forward and backward states of the moving body 50 and the lighting states of various lamps mounted on the moving body 50. For example, the control unit 32 may detect the forward state and the reverse state based on a gear position included in the moving body information.

制御部32は、複数の撮像装置20のうちから、検出された移動体50の状態に基づいて1つの撮像装置20を選択する。後述するように、選択された1つの撮像装置20は、自動露出制御および自動ホワイトバランス制御を行う第2モードで動作する。1つの撮像装置20の選択には、移動体50の状態に基づく任意のアルゴリズムが採用可能である。採用可能な多様なアルゴリズムのうち、3つの具体例について説明する。   The control unit 32 selects one imaging device 20 based on the detected state of the moving body 50 from among the plurality of imaging devices 20. As will be described later, the selected one imaging device 20 operates in the second mode in which automatic exposure control and automatic white balance control are performed. An arbitrary algorithm based on the state of the moving body 50 can be used to select one imaging device 20. Of the various algorithms that can be employed, three specific examples will be described.

当該アルゴリズムの第1例によれば、制御部32は、複数の撮像装置20のうちから、移動体50の進行方向を撮像領域に含む1つの撮像装置20を選択してよい。例えば、制御部32は、移動体情報に基づいて、移動体50が後進しているか否かを判定する。移動体50が後進していると判定された場合、制御部32は、複数の撮像装置20のうちから、図3に示す移動体50の後方領域ReAを撮像領域に含むリアカメラ20bを選択する。移動体50が前進しているまたは移動速度がゼロであると判定された場合、制御部32は、複数の撮像装置20のうちから、移動体50の前方領域FAを撮像領域に含むフロントカメラ20aを選択する。   According to the first example of the algorithm, the control unit 32 may select one imaging device 20 that includes the traveling direction of the moving body 50 in the imaging region from among the plurality of imaging devices 20. For example, the control unit 32 determines whether or not the moving body 50 is moving backward based on the moving body information. When it is determined that the moving body 50 is moving backward, the control unit 32 selects a rear camera 20b that includes the rear area ReA of the moving body 50 illustrated in FIG. . When it is determined that the moving body 50 is moving forward or the moving speed is zero, the control unit 32 includes the front camera 20a including the front area FA of the moving body 50 among the plurality of imaging devices 20 in the imaging area. Select.

当該アルゴリズムの第2例によれば、制御部32は、複数の撮像装置20のうちから、点灯中のランプの光の照射方向を撮像領域に含む撮像装置20を除き、1つの撮像装置20を選択してよい。制御部32は、複数の撮像装置20のうちから、点灯中のランプの光の照射方向を撮像領域に含む1つの撮像装置20を優先的に選択してよい。制御部32は、自動露出制御および自動ホワイトバランス制御によって適切な画質特性に調整できる蓋然性の高い撮像装置20を優先的に選択してよい。上述したように左サイドカメラ20cおよび右サイドカメラ20dが移動体50において鉛直下向きに設けられている場合、左サイドカメラ20cおよび右サイドカメラ20dの撮像領域の大部分が路面を占める蓋然性が高い。このため、左サイドカメラ20cおよび右サイドカメラ20dと比較して、フロントカメラ20aおよびリアカメラ20bは、自動露出制御および自動ホワイトバランス制御によって適切な画質特性に調整できる蓋然性が高い。制御部32は、左サイドカメラ20cまたは右サイドカメラ20dよりも、フロントカメラ20aまたはリアカメラ20bを優先的に選択してよい。例えば、制御部32は、ヘッドランプおよびバックランプそれぞれが点灯しているか否かを判定する。ヘッドランプが点灯していると判定された場合、制御部32は、複数の撮像装置20のうちから、移動体50の前方領域FAを撮像領域に含むフロントカメラ20aを除き、リアカメラ20bを優先的に選択する。バックランプが点灯していると判定された場合、制御部32は、複数の撮像装置20のうちから、移動体50の後方領域ReAを撮像領域に含むリアカメラ20bを除き、フロントカメラ20aを優先的に選択する。   According to the second example of the algorithm, the control unit 32 excludes the imaging device 20 that includes the irradiation direction of the light of the lighting lamp from the plurality of imaging devices 20 in the imaging region. You may choose. The control unit 32 may preferentially select one imaging device 20 that includes, in the imaging region, the irradiation direction of the light of the lit lamp among the plurality of imaging devices 20. The control unit 32 may preferentially select the imaging device 20 having a high probability of being able to be adjusted to an appropriate image quality characteristic by automatic exposure control and automatic white balance control. As described above, when the left side camera 20c and the right side camera 20d are provided vertically downward in the moving body 50, it is highly likely that most of the imaging regions of the left side camera 20c and the right side camera 20d occupy the road surface. For this reason, compared with the left side camera 20c and the right side camera 20d, the front camera 20a and the rear camera 20b are more likely to be adjusted to appropriate image quality characteristics by automatic exposure control and automatic white balance control. The control unit 32 may preferentially select the front camera 20a or the rear camera 20b over the left side camera 20c or the right side camera 20d. For example, the control unit 32 determines whether each of the headlamp and the back lamp is lit. When it is determined that the headlamp is turned on, the control unit 32 gives priority to the rear camera 20b except for the front camera 20a including the front area FA of the moving body 50 in the imaging area among the plurality of imaging devices 20. To choose. When it is determined that the back lamp is lit, the control unit 32 gives priority to the front camera 20a except for the rear camera 20b including the rear area ReA of the moving body 50 in the imaging area among the plurality of imaging apparatuses 20. To choose.

当該アルゴリズムの第3例によれば、制御部32は、複数の撮像装置20のうちから、点灯中のランプの光の照射方向を撮像領域に含む1つの撮像装置20を優先的に選択してよい。制御部32は、自動露出制御および自動ホワイトバランス制御によって適切な画質特性に調整できる蓋然性の高い撮像装置20を優先的に選択してよい。例えば、制御部32は、ヘッドランプおよびバックランプそれぞれが点灯しているか否かを判定する。ヘッドランプが点灯していると判定された場合、制御部32は、複数の撮像装置20のうちから、移動体50の前方領域FAを撮像領域に含むフロントカメラ20aを優先的に選択する。バックランプが点灯していると判定された場合、制御部32は、複数の撮像装置20のうちから、移動体50の後方領域ReAを撮像領域に含むリアカメラ20bを優先的に選択する。   According to the third example of the algorithm, the control unit 32 preferentially selects one imaging device 20 including, in the imaging region, the irradiation direction of the light of the lit lamp from the plurality of imaging devices 20. Good. The control unit 32 may preferentially select the imaging device 20 having a high probability of being able to be adjusted to an appropriate image quality characteristic by automatic exposure control and automatic white balance control. For example, the control unit 32 determines whether each of the headlamp and the back lamp is lit. When it is determined that the headlamp is lit, the control unit 32 preferentially selects the front camera 20a including the front area FA of the moving body 50 in the imaging area from among the plurality of imaging apparatuses 20. When it is determined that the back lamp is lit, the control unit 32 preferentially selects the rear camera 20b including the rear region ReA of the moving body 50 in the imaging region from among the plurality of imaging devices 20.

制御部32は、選択された1つの撮像装置20を、自動露出制御および自動ホワイトバランス制御を実行する第2モードで動作させる。制御部32は、選択された1つの撮像装置20以外の撮像装置20を、共通制御情報を用いて露出調整およびホワイトバランス調整を行う第1モードで動作させる。制御部32は、第2モードで動作させた撮像装置20による自動露出制御および自動ホワイトバランス制御の実行によって得られた制御情報を、当該撮像装置20から取得する。制御部32は、取得された制御情報を共通制御情報に定める。制御部32は、共通制御情報を、第1モードで動作させた各撮像装置20へ出力する。   The control unit 32 causes the selected imaging device 20 to operate in the second mode in which automatic exposure control and automatic white balance control are executed. The control unit 32 causes the imaging devices 20 other than the selected one imaging device 20 to operate in the first mode in which exposure adjustment and white balance adjustment are performed using the common control information. The control unit 32 acquires control information obtained by execution of automatic exposure control and automatic white balance control by the imaging device 20 operated in the second mode from the imaging device 20. The control unit 32 determines the acquired control information as common control information. The control unit 32 outputs the common control information to each imaging device 20 operated in the first mode.

制御部32は、複数の撮像装置20から複数の撮像画像を取得する。当該複数の撮像画像は、略同一の撮像タイミングで撮像された1組の撮像画像である。制御部32は、複数の撮像画像を結合して結合画像を生成する。結合画像は、移動体50の全周囲領域を上空から俯瞰した俯瞰画像であってよい。制御部32は、結合画像を表示装置40へ出力する。制御部32は、任意のフレームレートで結合画像を出力してよい。例えば、制御部32は、各撮像装置20と同一のフレームレートで結合画像を出力する。   The control unit 32 acquires a plurality of captured images from the plurality of imaging devices 20. The plurality of captured images are a set of captured images captured at substantially the same imaging timing. The control unit 32 combines a plurality of captured images to generate a combined image. The combined image may be an overhead image obtained by bird's-eye view of the entire surrounding area of the moving object 50. The control unit 32 outputs the combined image to the display device 40. The control unit 32 may output the combined image at an arbitrary frame rate. For example, the control unit 32 outputs a combined image at the same frame rate as that of each imaging device 20.

(表示装置)
表示装置40は、例えば液晶ディスプレイおよび有機EL(Electroluminescence)ディスプレイ等を含んでよい。表示装置40の移動体50における配置は、対象者が視認可能となるように、任意に定められてよい。表示装置40は、情報処理装置30から入力された結合画像を表示する。
(Display device)
The display device 40 may include, for example, a liquid crystal display and an organic EL (Electroluminescence) display. The arrangement of the display device 40 in the moving body 50 may be arbitrarily determined so that the target person can visually recognize. The display device 40 displays the combined image input from the information processing device 30.

かかる構成によれば、複数の撮像装置20それぞれにおいて、共通の制御情報を用いて露出およびホワイトバランスが調整される。複数の撮像装置20によってそれぞれ生成される複数の撮像画像における画質特性の均一性が向上する。表示装置40に表示される結合画像の視認性が向上する。したがって、複数の撮像装置による複数の撮像画像を結合する技術の利便性が向上する。   According to this configuration, exposure and white balance are adjusted using common control information in each of the plurality of imaging devices 20. The uniformity of image quality characteristics in a plurality of captured images respectively generated by the plurality of imaging devices 20 is improved. The visibility of the combined image displayed on the display device 40 is improved. Therefore, the convenience of a technique for combining a plurality of captured images by a plurality of imaging devices is improved.

図4を参照して、情報処理装置30の動作について説明する。   The operation of the information processing apparatus 30 will be described with reference to FIG.

ステップS100:制御部32は、通信部31を介して外部装置から、移動体情報を取得する。   Step S <b> 100: The control unit 32 acquires mobile body information from an external device via the communication unit 31.

ステップS101:制御部32は、移動体情報に基づいて検出された移動体50の状態に基づいて、1つの撮像装置20を選択する。例えば、制御部32は、移動体情報に基づいて、移動体50が後進状態であるか否かを判定してよい。後進状態であると判定された場合(ステップS101−Yes)、プロセスはステップS102に進む。後進状態ではないと判定された場合(ステップS101−No)、プロセスはステップS103に進む。   Step S101: The control unit 32 selects one imaging device 20 based on the state of the moving body 50 detected based on the moving body information. For example, the control unit 32 may determine whether or not the moving body 50 is in the reverse movement state based on the moving body information. If it is determined that the vehicle is in the reverse state (step S101—Yes), the process proceeds to step S102. If it is determined that the vehicle is not in the reverse state (step S101—No), the process proceeds to step S103.

ステップS102:制御部32は、移動体50の後方領域ReAを撮像領域に含むリアカメラ20bを第2モードで動作させる。制御部32は、通信部31を介してリアカメラ20bから、制御情報を取得する。   Step S102: The control unit 32 operates the rear camera 20b including the rear area ReA of the moving body 50 in the imaging area in the second mode. The control unit 32 acquires control information from the rear camera 20b via the communication unit 31.

ステップS103:制御部32は、移動体50の前方領域FAを撮像領域に含むフロントカメラ20aを第2モードで動作させる。制御部32は、通信部31を介してフロントカメラ20aから、制御情報を取得する。   Step S103: The control unit 32 operates the front camera 20a including the front area FA of the moving body 50 in the imaging area in the second mode. The control unit 32 acquires control information from the front camera 20a via the communication unit 31.

ステップS104:制御部32は、ステップS102またはステップS103において取得した1つの制御情報を、共通制御情報として決定する。   Step S104: The control unit 32 determines one piece of control information acquired in step S102 or step S103 as common control information.

ステップS105:制御部32は、ステップS102またはステップS103において第2モードで動作させた撮像装置20以外の他の撮像装置20それぞれを、第1モードで動作させる。制御部32は、共通制御情報を、第1モードで動作させた各撮像装置20へ出力する。プロセスはステップS100に戻る。   Step S105: The control unit 32 causes each of the imaging devices 20 other than the imaging device 20 that has been operated in the second mode in Step S102 or Step S103 to operate in the first mode. The control unit 32 outputs the common control information to each imaging device 20 operated in the first mode. The process returns to step S100.

以上述べたように、本開示の第1実施形態に係る撮像システム10において、制御部32は、1つの共通制御情報を決定する。複数の撮像装置20の露出またはホワイトバランスが、共通制御情報を用いて実行される。かかる構成によれば、複数の撮像装置20によってそれぞれ生成される複数の撮像画像における画質特性の均一性が向上する。表示装置40に表示される結合画像の視認性が向上する。したがって、複数の撮像装置による複数の撮像画像を結合する技術の利便性が向上する。   As described above, in the imaging system 10 according to the first embodiment of the present disclosure, the control unit 32 determines one piece of common control information. The exposure or white balance of the plurality of imaging devices 20 is executed using the common control information. According to this configuration, the uniformity of image quality characteristics in a plurality of captured images respectively generated by the plurality of imaging devices 20 is improved. The visibility of the combined image displayed on the display device 40 is improved. Therefore, the convenience of a technique for combining a plurality of captured images by a plurality of imaging devices is improved.

(第2実施形態)
図5を参照して、本開示の第2実施形態に係る撮像システム100について説明する。概略として、第2実施形態では、センサによって検出された外光に関する情報に基づいて、1つの共通制御情報が決定される点が、第1実施形態と相違する。以下、第1実施形態と同一の構成については同一の符号を付し、説明は省略する。
(Second Embodiment)
With reference to FIG. 5, the imaging system 100 according to the second embodiment of the present disclosure will be described. As an outline, the second embodiment is different from the first embodiment in that one piece of common control information is determined based on information related to external light detected by a sensor. Hereinafter, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.

撮像システム100は、複数の撮像装置20と、情報処理装置30と、表示装置40と、測色センサ60と、を備える。   The imaging system 100 includes a plurality of imaging devices 20, an information processing device 30, a display device 40, and a colorimetric sensor 60.

測色センサ60は、例えば入射光式のセンサであってよい。測色センサ60の移動体50における配置は、外光がセンサの受光部に入射するように、任意に定められてよい。例えば、測色センサ60は、移動体50のダッシュボード内に配置されてよい。入射光式のセンサは、例えば反射光式のセンサと異なり、被写体の色および反射率の影響を受けにくい。測色センサ60は、例えば照度センサとしても機能してよい。測色センサ60は、外光に関する情報を検出する。外光に関する情報は、外光に応じて定まる任意の情報を含んでよい。例えば、外光に関する情報は、外光の強度および色温度のうち少なくとも一方を含む。   The colorimetric sensor 60 may be an incident light sensor, for example. The arrangement of the colorimetric sensor 60 in the moving body 50 may be arbitrarily determined so that external light is incident on the light receiving unit of the sensor. For example, the colorimetric sensor 60 may be disposed in the dashboard of the moving body 50. The incident light type sensor is unlikely to be affected by the color of the subject and the reflectance unlike the reflected light type sensor, for example. The colorimetric sensor 60 may function as an illuminance sensor, for example. The colorimetric sensor 60 detects information related to outside light. The information regarding external light may include arbitrary information that is determined according to external light. For example, the information regarding external light includes at least one of the intensity of external light and the color temperature.

情報処理装置30の制御部32は、各撮像装置20を第1モードで動作させる。或いは、第2実施形態に係る各撮像装置20は、第1モードでのみ動作可能であってよい。制御部32は、通信部31を介して測色センサ60から、外光に関する情報を取得する。制御部32は、外光に関する情報に基づいて、1つの共通制御情報を決定する。共通制御情報の決定には、外光に関する情報を用いる任意のアルゴリズムが採用可能である。制御部32は、共通制御情報を、各撮像装置20へ出力する。   The control unit 32 of the information processing device 30 operates each imaging device 20 in the first mode. Alternatively, each imaging device 20 according to the second embodiment may be operable only in the first mode. The control unit 32 acquires information related to external light from the colorimetric sensor 60 via the communication unit 31. The control unit 32 determines one piece of common control information based on information regarding external light. For the determination of the common control information, any algorithm using information related to external light can be employed. The control unit 32 outputs the common control information to each imaging device 20.

図6を参照して、情報処理装置30の動作について説明する。   The operation of the information processing apparatus 30 will be described with reference to FIG.

ステップS200:制御部32は、通信部31を介して測色センサ60から、外光に関する情報を取得する。   Step S <b> 200: The control unit 32 acquires information about external light from the colorimetric sensor 60 via the communication unit 31.

ステップS201:制御部32は、外光に関する情報に基づいて、1つの共通制御情報を決定する。   Step S201: The control part 32 determines one common control information based on the information regarding external light.

ステップS202:制御部32は、共通制御情報を各撮像装置20へ送信する。   Step S202: The control unit 32 transmits common control information to each imaging device 20.

以上述べたように、本開示の第2実施形態に係る撮像システム100において、制御部32は、測色センサ60から取得した外光に関する情報に基づいて1つの共通制御情報を決定する。かかる構成によれば、上述した第1実施形態と類似して、表示装置40に表示される結合画像の視認性が向上する。したがって、複数の撮像装置による複数の撮像画像を結合する技術の利便性が向上する。   As described above, in the imaging system 100 according to the second embodiment of the present disclosure, the control unit 32 determines one piece of common control information based on information regarding external light acquired from the colorimetric sensor 60. According to such a configuration, the visibility of the combined image displayed on the display device 40 is improved, similar to the first embodiment described above. Therefore, the convenience of a technique for combining a plurality of captured images by a plurality of imaging devices is improved.

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、あるいは分割したりすることが可能である。   Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various changes and modifications based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, functions and the like included in each means and each step can be rearranged so as not to be logically contradictory, and a plurality of means and steps can be combined into one or divided. .

例えば、上述した実施形態に係る撮像システム10の構成および機能は、再配置可能であってよい。例えば、情報処理装置30の構成または機能に一部または全部が、撮像装置20、表示装置40、または他の追加の装置に包含されてよい。例えば、結合画像を生成する機能を、情報処理装置30とは異なる装置に包含させる構成等が考えられる。   For example, the configuration and function of the imaging system 10 according to the above-described embodiment may be rearranged. For example, a part or all of the configuration or function of the information processing device 30 may be included in the imaging device 20, the display device 40, or other additional devices. For example, a configuration in which a function for generating a combined image is included in a device different from the information processing device 30 can be considered.

上述の実施形態に係る撮像システム10の構成要素の一部は、移動体50の外部に位置してよい。例えば、情報処理装置30は、携帯電話または外部サーバ等の通信機器として実現され、撮像システム10の他の構成要素と有線または無線によって接続されてもよい。   Some of the components of the imaging system 10 according to the above-described embodiment may be located outside the moving body 50. For example, the information processing apparatus 30 may be realized as a communication device such as a mobile phone or an external server, and may be connected to other components of the imaging system 10 by wire or wireless.

10、100 撮像システム
20 撮像装置
20a フロントカメラ
20b リアカメラ
20c 左サイドカメラ
20d 右サイドカメラ
21 撮像光学系
22 撮像素子
23 通信部
24 制御部
30 情報処理装置
31 通信部
32 制御部
40 表示装置
50 移動体
60 測色センサ
FA 前方領域
FLA 左前方領域
FRA 右前方領域
LA 左側方領域
RA 右側方領域
ReA 後方領域
ReLA 左後方領域
ReRA 右後方領域
10, 100 Imaging system 20 Imaging device 20a Front camera 20b Rear camera 20c Left side camera 20d Right side camera 21 Imaging optical system 22 Imaging element 23 Communication unit 24 Control unit 30 Information processing device 31 Communication unit 32 Control unit 40 Display device 50 Body 60 Colorimetric sensor FA Front area FLA Left front area FRA Right front area LA Left side area RA Right side area ReA Rear area ReLA Left rear area ReRA Right rear area

Claims (9)

複数の撮像装置と、プロセッサと、を備える撮像システムであって、
前記複数の撮像装置それぞれは、
少なくとも1つの他の撮像装置と撮像領域が重複するように配置されており、
前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能であり、
前記プロセッサは、1つの制御情報を決定し、
前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記1つの制御情報を用いて実行される、撮像システム。
An imaging system comprising a plurality of imaging devices and a processor,
Each of the plurality of imaging devices
It is arranged so that the imaging area overlaps with at least one other imaging device,
Exposure adjustment or white balance adjustment can be executed using control information input from the processor,
The processor determines one piece of control information;
An imaging system in which exposure or white balance of each of the plurality of imaging devices is executed using the one control information.
請求項1に記載の撮像システムであって、
前記プロセッサは、前記複数の撮像装置によってそれぞれ生成された複数の撮像画像を結合して出力する、撮像システム。
The imaging system according to claim 1,
The imaging system, wherein the processor combines and outputs a plurality of captured images respectively generated by the plurality of imaging devices.
請求項1または2に記載の撮像システムであって、
前記プロセッサは、
外光に関する情報をセンサから取得し、
外光に関する前記情報に基づいて前記1つの制御情報を決定する、撮像システム。
The imaging system according to claim 1 or 2,
The processor is
Get information about external light from sensors,
The imaging system which determines said one control information based on the said information regarding external light.
請求項1または2に記載の撮像システムであって、
前記複数の撮像装置それぞれは、自動露出制御または自動ホワイトバランス制御を実行可能であり、
前記プロセッサは、前記複数の撮像装置のうちから何れか1つの撮像装置を選択し、
選択された前記1つの撮像装置は、露出調整またはホワイトバランス調整に替えて自動露出制御または自動ホワイトバランス制御を実行し、
前記プロセッサは、選択された前記1つの撮像装置による自動露出制御または自動ホワイトバランス制御の実行によって得られた制御情報を、前記1つの制御情報として決定する、撮像システム。
The imaging system according to claim 1 or 2,
Each of the plurality of imaging devices can execute automatic exposure control or automatic white balance control,
The processor selects any one of the plurality of imaging devices,
The selected one imaging device executes automatic exposure control or automatic white balance control instead of exposure adjustment or white balance adjustment,
The imaging system, wherein the processor determines control information obtained by execution of automatic exposure control or automatic white balance control by the selected one imaging device as the one control information.
請求項4に記載の撮像システムであって、
前記複数の撮像装置および前記プロセッサは、移動体に備えられており、
前記プロセッサは、
前記移動体に関する情報に基づいて前記移動体の状態を検出し、
前記複数の撮像装置のうちから、前記移動体の状態に基づいて前記1つの撮像装置を選択する、撮像システム。
The imaging system according to claim 4,
The plurality of imaging devices and the processor are provided in a moving body,
The processor is
Detecting the state of the moving body based on information about the moving body;
An imaging system that selects the one imaging device from the plurality of imaging devices based on a state of the moving body.
請求項5に記載の撮像システムであって、
前記移動体の状態は、前記移動体の前進状態および後進状態、ならびに前記移動体に搭載されたランプの点灯状態のうち、少なくとも1つを含む、撮像システム。
The imaging system according to claim 5,
The state of the mobile body includes at least one of a forward state and a reverse state of the mobile body, and a lighting state of a lamp mounted on the mobile body.
請求項6に記載の撮像システムであって、
前記移動体の状態は、前記移動体の前進状態および後進状態を含み、
前記プロセッサは、前記複数の撮像装置のうちから、前記移動体の進行方向を撮像領域に含む前記1つの撮像装置を選択する、撮像システム。
The imaging system according to claim 6,
The state of the mobile body includes a forward state and a reverse state of the mobile body,
The imaging system, wherein the processor selects, from among the plurality of imaging devices, the one imaging device that includes an advancing direction of the moving body in an imaging region.
複数の撮像装置と、プロセッサと、を備える移動体であって、
前記複数の撮像装置それぞれは、
少なくとも1つの他の撮像装置と撮像領域が重複するように配置されており、
前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能であり、
前記プロセッサは、1つの制御情報を決定し、
前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記1つの制御情報を用いて実行される、移動体。
A moving body comprising a plurality of imaging devices and a processor,
Each of the plurality of imaging devices
It is arranged so that the imaging area overlaps with at least one other imaging device,
Exposure adjustment or white balance adjustment can be executed using control information input from the processor,
The processor determines one piece of control information;
A moving body in which exposure or white balance of each of the plurality of imaging devices is executed using the one control information.
複数の撮像装置と、プロセッサと、を備える撮像システムの制御方法であって、
前記複数の撮像装置それぞれは、
少なくとも1つの他の撮像装置と撮像領域が重複するように配置されており、
前記プロセッサから入力される制御情報を用いて露出調整またはホワイトバランス調整を実行可能であり、
前記プロセッサが、1つの制御情報を決定し、
前記複数の撮像装置それぞれの露出またはホワイトバランスが、前記1つの制御情報を用いて実行される、制御方法。
An imaging system control method comprising a plurality of imaging devices and a processor,
Each of the plurality of imaging devices
It is arranged so that the imaging area overlaps with at least one other imaging device,
Exposure adjustment or white balance adjustment can be executed using control information input from the processor,
The processor determines one piece of control information;
A control method in which exposure or white balance of each of the plurality of imaging devices is executed using the one control information.
JP2016251966A 2016-12-26 2016-12-26 Imaging system, movable body, and control method Pending JP2018107620A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016251966A JP2018107620A (en) 2016-12-26 2016-12-26 Imaging system, movable body, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016251966A JP2018107620A (en) 2016-12-26 2016-12-26 Imaging system, movable body, and control method

Publications (1)

Publication Number Publication Date
JP2018107620A true JP2018107620A (en) 2018-07-05

Family

ID=62787566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016251966A Pending JP2018107620A (en) 2016-12-26 2016-12-26 Imaging system, movable body, and control method

Country Status (1)

Country Link
JP (1) JP2018107620A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020049924A1 (en) * 2018-09-07 2020-03-12 株式会社豊田自動織機 Driving support device for industrial vehicle
WO2020204016A1 (en) * 2019-03-29 2020-10-08 5Kサポート株式会社 Drive recorder installation method, drive recorder, and automobile

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020049924A1 (en) * 2018-09-07 2020-03-12 株式会社豊田自動織機 Driving support device for industrial vehicle
WO2020204016A1 (en) * 2019-03-29 2020-10-08 5Kサポート株式会社 Drive recorder installation method, drive recorder, and automobile

Similar Documents

Publication Publication Date Title
CN107615749B (en) Signal processing apparatus and imaging apparatus
JP7047767B2 (en) Image processing equipment and image processing method
WO2017122654A1 (en) Drive assist device and drive assist method
JP6626817B2 (en) Camera monitor system, image processing device, vehicle, and image processing method
US11295704B2 (en) Display control device, display control method, and storage medium capable of performing appropriate luminance adjustment in case where abnormality of illuminance sensor is detected
WO2020195610A1 (en) Image processing device, imaging device, mobile unit, and image processing method
CN111587572A (en) Image processing apparatus, image processing method, and program
JP2018107620A (en) Imaging system, movable body, and control method
US20190238773A1 (en) Solid-state image pickup apparatus, correction method, and electronic apparatus
WO2019163315A1 (en) Information processing device, imaging device, and imaging system
JP2018085584A (en) Image processing apparatus, imaging apparatus, and display system
JP2009147906A (en) Vehicle periphery monitoring device
US11030468B2 (en) Image processing apparatus
JP2018119927A (en) Image processing device, imaging device, and image processing system
WO2018198833A1 (en) Control device, method, and program
CN111216635A (en) Vehicle-mounted device
JP6712942B2 (en) Image processing device, imaging device, and display system
JP2018107636A (en) Infrared imaging device, on-vehicle camera, movable body, and control method
JP6720063B2 (en) Image processing device, imaging device, and display system
US20230050264A1 (en) Generating virtual images based on captured image data
JP2018201167A (en) Image processing device, periphery monitoring system, and mobile body
JP2018085581A (en) Image processing apparatus, imaging apparatus, and display system
CN117459704A (en) Vehicle-mounted camera shielding state judging device
JP2018106001A (en) Imaging apparatus, on-vehicle camera, and moving body

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200317