JP2020145612A - Image processing apparatus, image processing system, image processing method, and program - Google Patents

Image processing apparatus, image processing system, image processing method, and program Download PDF

Info

Publication number
JP2020145612A
JP2020145612A JP2019041630A JP2019041630A JP2020145612A JP 2020145612 A JP2020145612 A JP 2020145612A JP 2019041630 A JP2019041630 A JP 2019041630A JP 2019041630 A JP2019041630 A JP 2019041630A JP 2020145612 A JP2020145612 A JP 2020145612A
Authority
JP
Japan
Prior art keywords
image
vehicle
captured
information
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019041630A
Other languages
Japanese (ja)
Inventor
直哉 会津
Naoya Aizu
直哉 会津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019041630A priority Critical patent/JP2020145612A/en
Publication of JP2020145612A publication Critical patent/JP2020145612A/en
Priority to JP2023150862A priority patent/JP7568022B2/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

To provide an image processing apparatus, an image processing system, an image display method, and a program, capable of transmitting an image according to operation of a vehicle.SOLUTION: An image processing apparatus 100 includes: an image acquisition unit 101 for acquiring one or a plurality of images captured by an imaging unit 2 disposed in a vehicle 4; a vehicle information acquisition unit 102 for acquiring vehicle information related to running of the vehicle 4; a transmission image generation unit 104 for generating a transmission image by performing at least one of cutting out a part of the captured image based on the vehicle information, selecting a transmission image from at least one of the captured images, and synthesizing the plurality of captured images; and a communication unit 105 for transmitting a transmission image by wireless communication.SELECTED DRAWING: Figure 3

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing system, an image processing method, and a program.

特許文献1には、他の車両間との間で、車両間通信を行う車両用情報処理装置が開示されている。車両に搭乗したユーザが、通信データ量を削減するために、他車両の進行方向と角度幅を指定する。他車両は、指定された進行方向と角度幅に応じた範囲の画像を切り出して、送信している。 Patent Document 1 discloses a vehicle information processing device that performs vehicle-to-vehicle communication with other vehicles. A user in a vehicle specifies the traveling direction and angle width of another vehicle in order to reduce the amount of communication data. The other vehicle cuts out an image in a range corresponding to the specified traveling direction and angle width and transmits it.

特開2006−115360号公報Japanese Unexamined Patent Publication No. 2006-115360

特許文献1の車両用情報処理装置では、他車両のユーザが進行方向と角度幅を指定している。車両の動作に応じた画像を取得することができないという問題点がある。 In the vehicle information processing device of Patent Document 1, a user of another vehicle specifies a traveling direction and an angle width. There is a problem that it is not possible to acquire an image corresponding to the movement of the vehicle.

上記課題に鑑み、本開示は、車両の動作に応じた画像を送信することができる画像処理装置、画像処理システム、画像処理方法、を提供することを目的とする。 In view of the above problems, an object of the present disclosure is to provide an image processing device, an image processing system, and an image processing method capable of transmitting an image according to the operation of a vehicle.

本実施形態にかかる画像処理装置は、車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得する撮像画像取得部と、前記車両の走行に関する車両情報を取得する車両情報取得部と、前記車両情報に基づいて、前記撮像画像の一部を切り出すこと、複数の前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成する送信画像生成部と、無線通信により前記送信画像を送信する通信部と、を備えている。 The image processing apparatus according to the present embodiment includes an image capturing image acquisition unit that acquires one or a plurality of captured images captured by an imaging unit arranged in the vehicle, and a vehicle information acquisition unit that acquires vehicle information related to the running of the vehicle. By performing at least one of cutting out a part of the captured image, selecting a transmission image from the plurality of captured images, and synthesizing the plurality of captured images based on the vehicle information. , A transmission image generation unit that generates a transmission image, and a communication unit that transmits the transmission image by wireless communication are provided.

本実施形態にかかる画像処理方法は、車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得するステップと、前記車両の走行に関する車両情報を取得するステップと、前記車両情報に基づいて、前記撮像画像の一部を切り出すこと、複数の前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成するステップと、無線通信により前記送信画像を送信するステップと、を備えている。 The image processing method according to the present embodiment includes a step of acquiring one or a plurality of captured images captured by an imaging unit arranged in the vehicle, a step of acquiring vehicle information regarding the traveling of the vehicle, and the vehicle information. Based on this, a transmission image is generated by cutting out a part of the captured image, selecting a transmission image from the plurality of captured images, and synthesizing the plurality of captured images. It includes a step and a step of transmitting the transmitted image by wireless communication.

本実施形態にかかるプログラムは、車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得するステップと、前記車両の走行に関する車両情報を取得するステップと、前記車両情報に基づいて、前記撮像画像の一部を切り出すこと、複数の前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成するステップと、無線通信により前記送信画像を送信するステップと、をコンピュータに実行させる、ものである。 The program according to the present embodiment is based on a step of acquiring one or a plurality of captured images captured by an imaging unit arranged in a vehicle, a step of acquiring vehicle information regarding the running of the vehicle, and the vehicle information. A step of generating a transmission image by cutting out a part of the captured image, selecting a transmission image from the plurality of captured images, and synthesizing the plurality of captured images. , The step of transmitting the transmitted image by wireless communication, and the step of causing the computer to execute.

本開示によれば、車両の動作に応じた画像を送信することができる画像処理装置、画像処理システム、画像処理方法、及びプログラムを提供することができる。 According to the present disclosure, it is possible to provide an image processing device, an image processing system, an image processing method, and a program capable of transmitting an image according to the operation of a vehicle.

本実施の形態にかかる画像処理システムを示す図である。It is a figure which shows the image processing system which concerns on this embodiment. 撮像部のカメラの配置例を説明するための図である。It is a figure for demonstrating the arrangement example of the camera of the image pickup part. 車室内を撮像した撮像画像を模式的に示す図である。It is a figure which shows typically the captured image which imaged the vehicle interior. 車両前方を撮像した撮像画像を模式的に示す図である。It is a figure which shows typically the captured image which imaged the front of the vehicle. 本実施の形態にかかる画像処理システムの制御ブロック図である。It is a control block diagram of the image processing system which concerns on this embodiment. 姿勢情報に基づいて生成された送信画像を説明するための図である。It is a figure for demonstrating the transmission image generated based on the posture information. 本実施の形態にかかる画像処理方法を示すフローチャートである。It is a flowchart which shows the image processing method which concerns on this Embodiment. 撮像部のカメラの配置例を説明するための図である。It is a figure for demonstrating the arrangement example of the camera of the image pickup part. 車両情報に応じて画像サイズを変更した場合の送信画像を説明するための図である。It is a figure for demonstrating the transmission image when the image size is changed according to the vehicle information. 車両情報に応じて切り出し位置を変更した場合の送信画像を説明するための図である。It is a figure for demonstrating the transmission image at the time of changing the cut-out position according to the vehicle information. カメラの配置例と、その撮像範囲を説明するための上面図である。It is a top view for demonstrating the arrangement example of a camera and the imaging range.

以下、本発明の実施形態の一例について図面を参照して説明する。以下の説明は、本発明の好適な実施形態を示すものであって、本発明の技術的範囲が以下の実施形態に限定されるものではない。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明を省略する。 Hereinafter, an example of the embodiment of the present invention will be described with reference to the drawings. The following description shows a preferred embodiment of the present invention, and the technical scope of the present invention is not limited to the following embodiments. In each drawing, the same or corresponding elements are designated by the same reference numerals, and duplicate description will be omitted as necessary for the sake of clarity of description.

実施の形態1
図1は、実施の形態1にかかる画像処理システム1を模式的に示す図である。画像処理システム1は、撮像部2と、VR(Virtual Reality)ゴーグル3と、車両4に備えられる画像処理装置100と、サーバ装置5とを備えている。
Embodiment 1
FIG. 1 is a diagram schematically showing an image processing system 1 according to the first embodiment. The image processing system 1 includes an image pickup unit 2, VR (Virtual Reality) goggles 3, an image processing device 100 provided in the vehicle 4, and a server device 5.

撮像部2は、1つまたは複数のカメラを備えており、車両4の外部又は内部の画像を撮像する。撮像部2は、車両4に配置されている。撮像部2は、例えば、車両4の外側に設置されたフロントカメラ、リアカメラ、又はサイドカメラなどの車載カメラであり、車両4の周囲の画像を撮像する。あるいは、撮像部2は、車両4の車内に設置されたドライブレコーダのカメラであってもよい。さらには、撮像部2は、カメラを有する電子機器であってもよい。例えば、撮像部2は、スマートホン、タブレットコンピュータ等のカメラであってもよい。 The image pickup unit 2 includes one or a plurality of cameras, and captures an image of the outside or the inside of the vehicle 4. The imaging unit 2 is arranged in the vehicle 4. The image pickup unit 2 is, for example, an in-vehicle camera such as a front camera, a rear camera, or a side camera installed on the outside of the vehicle 4, and captures an image of the surroundings of the vehicle 4. Alternatively, the image pickup unit 2 may be a camera of a drive recorder installed in the vehicle of the vehicle 4. Further, the imaging unit 2 may be an electronic device having a camera. For example, the imaging unit 2 may be a camera such as a smart phone or a tablet computer.

撮像部2は魚眼レンズ等を用いた広角カメラであってもよい。また、撮像部2は、車両4の周囲全体を撮像するために、車両4の上部または車両内部に設けられた360°カメラであってもよい。また、撮像部2は、360°回転可能に設けられたカメラであってもよい。あるいは、複数台のカメラが異なる方向に向けて配置されていてもよい。このようなカメラを撮像部2とすることで、車両4の外側のより広い範囲を撮像することができる。 The image pickup unit 2 may be a wide-angle camera using a fisheye lens or the like. Further, the imaging unit 2 may be a 360 ° camera provided on the upper part of the vehicle 4 or inside the vehicle in order to image the entire surroundings of the vehicle 4. Further, the imaging unit 2 may be a camera provided so as to be rotatable by 360 °. Alternatively, a plurality of cameras may be arranged in different directions. By using such a camera as the imaging unit 2, it is possible to image a wider range outside the vehicle 4.

車両4は、後述する画像処理装置100を備えており、撮像部2で撮像された撮像画像を処理する。具体的には、画像処理装置100は、撮像画像を加工することで、送信画像を生成する。画像処理装置100での処理については後述する。 The vehicle 4 is provided with an image processing device 100 described later, and processes the captured image captured by the imaging unit 2. Specifically, the image processing device 100 generates a transmission image by processing the captured image. The processing by the image processing apparatus 100 will be described later.

画像処理装置100は、サーバ装置5に送信する。サーバ装置5は、例えば、送信画像をVRゴーグル3に配信する配信サーバとなっている。VRゴーグル3は、ヘッドマウントディスプレイなどであり、受信した送信画像を表示する。VRゴーグル3は、送信画像を表示する画像表示装置として機能する。つまり、VRゴーグル3を装着したユーザは、車両4の外部又は内部の画像を視認することができる。なお、以下の説明では、VRゴーグル3を装着した人物をユーザとして、車両4に搭乗している人物を運転者又は搭乗者として識別する。 The image processing device 100 transmits to the server device 5. The server device 5 is, for example, a distribution server that distributes a transmitted image to the VR goggles 3. The VR goggles 3 is a head-mounted display or the like, and displays a received transmitted image. The VR goggles 3 function as an image display device for displaying a transmitted image. That is, the user wearing the VR goggles 3 can visually recognize the image inside or outside the vehicle 4. In the following description, a person wearing the VR goggles 3 is identified as a user, and a person riding in the vehicle 4 is identified as a driver or a passenger.

VRゴーグル3は、ジャイロセンサ、方位センサ、加速度センサなどを備えており、姿勢を検出する。そして、VRゴーグル3はセンサが検出した姿勢を姿勢情報として取得する。具体的には、加速度センサにより重力の向きを検出して、ユーザの頭部の上下方向の向きを検出する。また方位センサおよびジャイロセンサにより、ユーザの顔の方角または左右方向の向きを検出する。これら頭部の向きを検出することで、ユーザの姿勢情報とする。またVRゴーグル3でなくとも、同様のセンサを有する電子機器、例えばスマートフォンによって、ユーザの姿勢を検出することができる。VRゴーグル3は、サーバ装置5を介して、姿勢情報を車両4に送信する。なお、送信画像を受信して、表示する表示機器としては、VRゴーグル3に限らず、スマートホンやタブレットコンピュータなどであってもよい。VR機能を有しないモニタやプロジェクタなどの表示装置であってもよい。車両4とVRゴーグル3との通信は、サーバ装置5を介さないP2P(Peer To Peer)通信であってもよい。 The VR goggles 3 include a gyro sensor, an azimuth sensor, an acceleration sensor, and the like, and detects a posture. Then, the VR goggles 3 acquire the posture detected by the sensor as posture information. Specifically, the acceleration sensor detects the direction of gravity to detect the vertical direction of the user's head. In addition, the orientation sensor and the gyro sensor detect the direction or left-right direction of the user's face. By detecting the orientation of these heads, the posture information of the user is obtained. Further, even if the VR goggles 3 are not used, the posture of the user can be detected by an electronic device having a similar sensor, for example, a smartphone. The VR goggles 3 transmit the posture information to the vehicle 4 via the server device 5. The display device that receives and displays the transmitted image is not limited to the VR goggles 3, and may be a smartphone, a tablet computer, or the like. It may be a display device such as a monitor or a projector that does not have a VR function. The communication between the vehicle 4 and the VR goggles 3 may be P2P (Peer To Peer) communication that does not go through the server device 5.

次に、撮像部2について説明する。図2は、撮像部2に設けられたカメラの配置例を説明するための図である。図2は、車両4の内部の運転室を運転席から車両4の前方向に見た図である。車両4は、ステアリングホイール10、ダッシュボード12、ウィンドシールド14、センターコンソール16、車両の走行速度及びエンジン回転数などを表示するクラスターパネル18などを有する。また、センターコンソール16には、ナビゲーション画面などを表示するセンター表示部20が設けられていてもよい。 Next, the imaging unit 2 will be described. FIG. 2 is a diagram for explaining an arrangement example of a camera provided in the imaging unit 2. FIG. 2 is a view of the driver's cab inside the vehicle 4 viewed from the driver's seat in the front direction of the vehicle 4. The vehicle 4 includes a steering wheel 10, a dashboard 12, a windshield 14, a center console 16, a cluster panel 18 for displaying the traveling speed of the vehicle, an engine speed, and the like. Further, the center console 16 may be provided with a center display unit 20 for displaying a navigation screen or the like.

ダッシュボード12の上には、スマートホン210が配置されている。スマートホン210は、撮像部2として機能する。スマートホン210は、インカメラ211、アウトカメラ212、及び表示画面213等を備えている。インカメラ211と表示画面213は、スマートホン210の同一面に設けられている。アウトカメラ212は、インカメラ211が設けられた面と反対側の面に設けられている。 A smart phone 210 is arranged on the dashboard 12. The smart phone 210 functions as an imaging unit 2. The smart phone 210 includes an in-camera 211, an out-camera 212, a display screen 213, and the like. The in-camera 211 and the display screen 213 are provided on the same surface of the smart phone 210. The out-camera 212 is provided on a surface opposite to the surface on which the in-camera 211 is provided.

インカメラ211は、後方を面しており、運転室内を撮像する。図3に示すように、インカメラ211は、運転席に座った運転者を含む運転室内を撮像する。アウトカメラ212は、前方を面しており、車両4の前方の景色を撮像する。図4は、アウトカメラ212による撮像画像50を模式的に示す図である。図4に示すように、アウトカメラ212は、車両4の前方にある道路、建物、車両など含む景色をウィンドシールド14越しに撮像する。撮像画像は、動画像であってもよく、時間的に連続する複数の静止画像であってもよい。 The in-camera 211 faces the rear and images the driver's cab. As shown in FIG. 3, the in-camera 211 images the driver's cab including the driver sitting in the driver's seat. The out-camera 212 faces the front and captures the scenery in front of the vehicle 4. FIG. 4 is a diagram schematically showing an image 50 captured by the out-camera 212. As shown in FIG. 4, the out-camera 212 captures a landscape including roads, buildings, vehicles, etc. in front of the vehicle 4 through the windshield 14. The captured image may be a moving image or a plurality of still images that are continuous in time.

また、ダッシュボード12の内部には、画像処理装置100が設けられている。画像処理装置100は、インカメラ211、及びアウトカメラ212で撮像された撮像画像に対して、所定の画像処理を行う。画像処理装置100の設置位置は、ダッシュボード内に限定されるものではない。画像処理装置100は車載型の装置にかぎらず、携帯型の装置であってもよい。つまり、画像処理装置100は、車両4に固定された機器であってもよく、車両4から持ち出し可能な機器であってもよい。 In addition, an image processing device 100 is provided inside the dashboard 12. The image processing device 100 performs predetermined image processing on the captured images captured by the in-camera 211 and the out-camera 212. The installation position of the image processing device 100 is not limited to the inside of the dashboard. The image processing device 100 is not limited to the in-vehicle device, but may be a portable device. That is, the image processing device 100 may be a device fixed to the vehicle 4 or a device that can be taken out from the vehicle 4.

さらに、画像処理装置100は物理的に単一な装置に限らず、複数の装置から構成されていてもよい。つまり、画像処理装置100の処理は分散された処理装置により実施されてもよい。例えば、車両4に設置された車載機器が一部の処理を実施し、携帯型の装置が残りの処理を実施してもよい。複数の装置間の接続は、有線接続であってもよく、Bluetooth(登録商標)やWiFi(登録商標)等の無線接続であってもよい。また、スマートホン210が、画像処理装置100と機能してもよい。つまり、スマートホン210が画像処理の一部、又は全てを実施してもよい。 Further, the image processing device 100 is not limited to a physically single device, and may be composed of a plurality of devices. That is, the processing of the image processing apparatus 100 may be performed by the distributed processing apparatus. For example, the in-vehicle device installed in the vehicle 4 may perform a part of the processing, and the portable device may perform the remaining processing. The connection between the plurality of devices may be a wired connection or a wireless connection such as Bluetooth (registered trademark) or WiFi (registered trademark). Further, the smart phone 210 may function with the image processing device 100. That is, the smart phone 210 may perform part or all of the image processing.

図5は、本実施の形態にかかる画像処理システムの制御ブロック図である。画像処理システム1は、撮像部2と、画像処理装置100と、VRゴーグル3とを備えている。画像処理装置100とVRゴーグル3とはネットワーク6を介して接続されている。 FIG. 5 is a control block diagram of the image processing system according to the present embodiment. The image processing system 1 includes an image pickup unit 2, an image processing device 100, and VR goggles 3. The image processing device 100 and the VR goggles 3 are connected to each other via the network 6.

まず、画像処理装置100について説明する。画像処理装置100は、撮像画像取得部101と、車両情報取得部102と、送信画像生成部104と、通信部105と、を備えている。姿勢情報取得部103を備える形態があってもよい。 First, the image processing device 100 will be described. The image processing device 100 includes a captured image acquisition unit 101, a vehicle information acquisition unit 102, a transmission image generation unit 104, and a communication unit 105. There may be a form including the posture information acquisition unit 103.

撮像画像取得部101は、撮像部2からの撮像画像を取得する。例えば図2に示すように、撮像部2が2つのカメラを有する場合、撮像画像取得部101は、それぞれのカメラでの撮像画像を取得する。つまり、撮像画像取得部101は、インカメラ211による撮像画像と、アウトカメラ212による撮像画像を取得する。画像処理装置100と撮像部2との接続は、有線接続でもよく、無線接続でも良い。 The captured image acquisition unit 101 acquires the captured image from the imaging unit 2. For example, as shown in FIG. 2, when the imaging unit 2 has two cameras, the captured image acquisition unit 101 acquires images captured by the respective cameras. That is, the captured image acquisition unit 101 acquires the captured image by the in-camera 211 and the captured image by the out-camera 212. The connection between the image processing device 100 and the image pickup unit 2 may be a wired connection or a wireless connection.

車両情報取得部102は、車両4の走行に関する車両情報を取得する。車両情報は、例えば車両4の速度、加速度を含んでいてもよい。また、車両情報は、車両4の操作情報を含んでいてもよい。操作情報としては、ギヤ、ハンドル、ブレーキ、アクセルの操作に関する情報を含んでいる。ここでは、操作情報がオートマチックトランスミッション車のギヤ操作に関するギヤ情報を含んでいるとする。例えば、ギヤ情報は、例えば、前進動作(Dレンジ)、後退動作(Rレンジ)、或いは駐車(Pレンジ)などを示す。 The vehicle information acquisition unit 102 acquires vehicle information related to the traveling of the vehicle 4. The vehicle information may include, for example, the speed and acceleration of the vehicle 4. Further, the vehicle information may include the operation information of the vehicle 4. The operation information includes information on the operation of the gear, the steering wheel, the brake, and the accelerator. Here, it is assumed that the operation information includes the gear information related to the gear operation of the automatic transmission vehicle. For example, the gear information indicates, for example, forward movement (D range), reverse movement (R range), parking (P range), and the like.

車両情報取得部102は、CAN(Control Area Network)を介して、車両情報を取得してもよい。つまり、画像処理装置100は、CANに接続され得る。あるいは、画像処理装置100は、CANに接続されたカーナビゲーションシステム等からBluetooth(登録商標)などにより、車両情報取得部102が車両情報を取得してもよい。 The vehicle information acquisition unit 102 may acquire vehicle information via CAN (Control Area Network). That is, the image processing device 100 can be connected to the CAN. Alternatively, in the image processing device 100, the vehicle information acquisition unit 102 may acquire vehicle information from a car navigation system or the like connected to CAN by Bluetooth (registered trademark) or the like.

また、画像処理装置100に加速度センサやジャイロセンサ等が搭載されている場合、車両情報取得部102は、これらのセンサ情報に基づいて車両情報を取得することができる。例えば、スマートホン210に設けられた加速度センサなどを用いることで、車両情報取得部102は、速度、加速度、進行方向(前進、後退、左折、右折)等の車両情報を取得することができる。 Further, when the image processing device 100 is equipped with an acceleration sensor, a gyro sensor, or the like, the vehicle information acquisition unit 102 can acquire vehicle information based on these sensor information. For example, by using an acceleration sensor provided in the smartphone 210, the vehicle information acquisition unit 102 can acquire vehicle information such as speed, acceleration, and traveling direction (forward, backward, left turn, right turn).

姿勢情報取得部103は、VRゴーグル3の姿勢検出部32が検出した姿勢情報を取得する。送信画像生成部104は、撮像画像を加工することで、送信画像を生成する。具体的には、送信画像生成部104は、車両情報に基づいて、撮像画像の一部を切り出すこと、複数の撮像画像から送信画像を選択すること、及び複数の撮像画像を合成することの少なくとも一つを行って、画像を加工する。また、送信画像生成部104は、姿勢情報に基づいて、撮像画像を加工してもよい。例えば、送信画像生成部104は、車両情報及び姿勢情報の少なくとも一方に基づいて、撮像画像の一部を切り出すこと、複数の撮像画像から送信画像を選択すること、及び複数の撮像画像を合成することの少なくとも一つを行って、送信画像を生成する。 The posture information acquisition unit 103 acquires the posture information detected by the posture detection unit 32 of the VR goggles 3. The transmission image generation unit 104 generates a transmission image by processing the captured image. Specifically, the transmission image generation unit 104 cuts out a part of the captured image based on the vehicle information, selects the transmission image from the plurality of captured images, and at least synthesizes the plurality of captured images. Do one and process the image. Further, the transmission image generation unit 104 may process the captured image based on the posture information. For example, the transmission image generation unit 104 cuts out a part of the captured image based on at least one of the vehicle information and the posture information, selects a transmission image from the plurality of captured images, and synthesizes the plurality of captured images. Do at least one of the things to generate the transmitted image.

通信部105は、遠距離無線通信機能を有する。具体的には、通信部105は、無線信号を出力するためのアンテナに、送信画像生成部104が生成した送信画像を変調して出力する、変調回路である。通信部105は、アンテナを含んで構成されていてもよい。また、アンテナが受信した信号の復調回路を含んで構成されていてもよい。アンテナは、受信信号を受信するとともに、送信信号を空間に放射する。復調回路は、アンテナが受信した受信信号を復調する。変調回路は、送信信号を変調して、アンテナに出力する。例えば、通信部105は、3G,LTE(登録商標),4G、5G等の携帯電話の通信規格に従って通信処理を行う。通信部105の通信規格は特に限定されるものではない。 The communication unit 105 has a telecommunications function. Specifically, the communication unit 105 is a modulation circuit that modulates and outputs the transmission image generated by the transmission image generation unit 104 to an antenna for outputting a radio signal. The communication unit 105 may be configured to include an antenna. Further, it may be configured to include a demodulation circuit of the signal received by the antenna. The antenna receives the received signal and radiates the transmitted signal into space. The demodulation circuit demodulates the received signal received by the antenna. The modulation circuit modulates the transmitted signal and outputs it to the antenna. For example, the communication unit 105 performs communication processing according to the communication standards of mobile phones such as 3G, LTE (registered trademark), 4G, and 5G. The communication standard of the communication unit 105 is not particularly limited.

通信部105による無線通信によって、車外のネットワーク6に対するデータ通信が可能となる。ネットワーク6は、例えば、インターネットなどの外部ネットワークである。通信部105は、ネットワーク6を介して、VRゴーグル3に送信画像を送信する。さらに、通信部105は、ネットワーク6を介して、VRゴーグル3から送信された姿勢情報を受信する。例えば、ネットワーク6は、図1で示したサーバ装置5を備えている。通信部105は、音声通話のための無線通信を行ってもよい。 The wireless communication by the communication unit 105 enables data communication to the network 6 outside the vehicle. The network 6 is an external network such as the Internet. The communication unit 105 transmits the transmission image to the VR goggles 3 via the network 6. Further, the communication unit 105 receives the posture information transmitted from the VR goggles 3 via the network 6. For example, the network 6 includes the server device 5 shown in FIG. The communication unit 105 may perform wireless communication for a voice call.

次に、VRゴーグル3の構成について説明する。VRゴーグル3は、表示部31と、姿勢検出部32と、制御部33と、通信部35とを備えている。 Next, the configuration of the VR goggles 3 will be described. The VR goggles 3 include a display unit 31, a posture detection unit 32, a control unit 33, and a communication unit 35.

表示部31は、VRゴーグル3を装着したユーザに対して、画像を表示する。表示部31は、液晶モニタや有機EL(Electro-Luminescence)モニタなどのフラットパネルディスプレイを備えている。さらに、表示部31は、ディスプレイで表示された表示画像をユーザの眼に導くための光学系を備えている。表示部31は、左眼用の光学系と、右眼用の光学系とをそれぞれ備えていてもよい。 The display unit 31 displays an image to the user wearing the VR goggles 3. The display unit 31 includes a flat panel display such as a liquid crystal monitor or an organic EL (Electro-Luminescence) monitor. Further, the display unit 31 includes an optical system for guiding the display image displayed on the display to the user's eyes. The display unit 31 may include an optical system for the left eye and an optical system for the right eye, respectively.

姿勢検出部32は、VRゴーグル3を装着したユーザの姿勢を検出する。具体的には、姿勢検出部32は、ヘッドトラッキング機能を備えている。姿勢検出部32は、3軸センサや6軸センサ等の姿勢状態を検知するセンサを有している。さらに、姿勢検出部32は、センサ出力から移動量を推定する回路を備えている。姿勢検出部32は、各軸の検出結果に応じた移動量信号を生成する。姿勢検出部32によって、ユーザの頭部の位置や向きを検出することで、VRゴーグル3は表示画像を変えることができる。 The posture detection unit 32 detects the posture of the user wearing the VR goggles 3. Specifically, the posture detection unit 32 has a head tracking function. The posture detection unit 32 has a sensor that detects the posture state, such as a 3-axis sensor and a 6-axis sensor. Further, the posture detection unit 32 includes a circuit for estimating the movement amount from the sensor output. The posture detection unit 32 generates a movement amount signal according to the detection result of each axis. The VR goggles 3 can change the display image by detecting the position and orientation of the user's head by the posture detection unit 32.

通信部35は、通信部105と同様に遠距離無線通信機能を有する。例えば、通信部105は、3G,LTE(登録商標),4G、5G等の携帯電話の通信規格に従って通信処理を行う。通信部105の通信規格は特に限定されるものではない。あるいは、通信部35は、Bluetooth通信やWiFi通信等の近距離無線通信機能であってもよい。また、通信部35は、HDMI(登録商標)などの有線接続インターフェースであってもよい。これらの場合、通信部35は、ネットワーク6との通信が可能なWiFiルータ等に接続される。 The communication unit 35 has a telecommunications function like the communication unit 105. For example, the communication unit 105 performs communication processing according to the communication standards of mobile phones such as 3G, LTE (registered trademark), 4G, and 5G. The communication standard of the communication unit 105 is not particularly limited. Alternatively, the communication unit 35 may be a short-range wireless communication function such as Bluetooth communication or WiFi communication. Further, the communication unit 35 may be a wired connection interface such as HDMI (registered trademark). In these cases, the communication unit 35 is connected to a WiFi router or the like capable of communicating with the network 6.

通信部35による通信によって、VRゴーグル3はネットワーク6に対するデータ通信が可能となる。通信部35は、ネットワーク6を介して、画像処理装置100に姿勢情報を送信する。さらに、通信部35は、ネットワーク6を介して、画像処理装置100から送信された送信画像を受信する。さらに、通信部35は、音声通話のための無線通信を行ってもよい。 The communication by the communication unit 35 enables the VR goggles 3 to perform data communication with the network 6. The communication unit 35 transmits the posture information to the image processing device 100 via the network 6. Further, the communication unit 35 receives the transmitted image transmitted from the image processing device 100 via the network 6. Further, the communication unit 35 may perform wireless communication for a voice call.

制御部33は、VRゴーグル3全体を統括的に制御する。例えば、制御部33には、通信部35が受信した送信画像が入力されている。制御部33は、送信画像に基づいて、映像信号、制御信号を生成する。表示部31のディスプレイが映像信号、制御信号に基づいて表示画像を生成する。例えば、制御部33は、送信画像の画像サイズとディスプレイの表示サイズとが異なる場合、送信画像をディスプレイの表示サイズに変換する。表示部31が、送信画像に基づいた表示画像を表示することができる。なお、送信画像と表示画像は、同一の画像に限られるものではない。例えば、制御部33が、送信画像に適宜情報を追加して、表示画像を生成してもよい。 The control unit 33 comprehensively controls the entire VR goggles 3. For example, the transmission image received by the communication unit 35 is input to the control unit 33. The control unit 33 generates a video signal and a control signal based on the transmitted image. The display of the display unit 31 generates a display image based on the video signal and the control signal. For example, when the image size of the transmitted image and the display size of the display are different, the control unit 33 converts the transmitted image into the display size of the display. The display unit 31 can display a display image based on the transmitted image. The transmitted image and the displayed image are not limited to the same image. For example, the control unit 33 may add information to the transmitted image as appropriate to generate a display image.

なお、画像処理装置100における処理の一部又は全部は、コンピュータプログラムにより実現可能である。同様に、VRゴーグル3における処理の一部又は全部は、コンピュータプログラムにより実現可能である。画像処理装置100、及びVRゴーグル3は、メモリ、及びプロセッサを備えている。メモリは、処理プログラムや各種パラメータやデータなどを記憶している。プロセッサは、メモリに格納された処理プログラムを実行する。プロセッサが処理プログラムを実行することで、各処理が実行される。プロセッサは、例えば、CPU(Central Processing Unit)、FPGA(Field-Programmable Gate Array)、DSP(Digital Signal Processor),ASIC(Application Specific Integrated Circuit)、又は、GPU(Graphics Processing Unit)等であってもよい。 Part or all of the processing in the image processing apparatus 100 can be realized by a computer program. Similarly, part or all of the processing in VR goggles 3 can be realized by a computer program. The image processing device 100 and the VR goggles 3 include a memory and a processor. The memory stores processing programs, various parameters, data, and the like. The processor executes a processing program stored in memory. Each process is executed when the processor executes the process program. The processor may be, for example, a CPU (Central Processing Unit), an FPGA (Field-Programmable Gate Array), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a GPU (Graphics Processing Unit), or the like. ..

送信画像生成部104における処理について詳細に説明する。まず、送信画像生成部104が車両情報に基づいて、送信画像を生成する例を説明する。具体的には、送信画像生成部104は、車両4が停止しているか否かの車両情報、例えば車両4のギヤ情報に基づいて、送信画像を選択している。撮像画像取得部101は、例えば、図2に示したように、インカメラ211の撮像画像と、アウトカメラ212の撮像画像とを取得している。インカメラ211の撮像画像は、図3に示したように運転室内の画像であり、アウトカメラ212の撮像画像は図4に示したように車両4の前方の景色である。送信画像生成部104は、車両情報に基づいて、送信画像の切り出し範囲を決定してもよい。 The processing in the transmission image generation unit 104 will be described in detail. First, an example in which the transmission image generation unit 104 generates a transmission image based on the vehicle information will be described. Specifically, the transmission image generation unit 104 selects the transmission image based on vehicle information on whether or not the vehicle 4 is stopped, for example, gear information of the vehicle 4. The captured image acquisition unit 101 acquires, for example, the captured image of the in-camera 211 and the captured image of the out-camera 212, as shown in FIG. The captured image of the in-camera 211 is an image of the driver's cab as shown in FIG. 3, and the captured image of the out-camera 212 is a view in front of the vehicle 4 as shown in FIG. The transmission image generation unit 104 may determine the cutting range of the transmission image based on the vehicle information.

ギヤがDレンジにある場合、つまり前進動作中である場合、送信画像生成部104は、前方景色を撮像したアウトカメラ212の撮像画像を選択する。ギヤがPレンジにある場合、つまり駐車中である場合、送信画像生成部104は、運転室内を撮像したインカメラ211の撮像画像を選択する。このように、送信画像生成部104は、車両情報に基づいて、複数の撮像画像の中から1つの送信画像を選択している。そして、通信部105は、選択された送信画像をVRゴーグル3に送信する。これにより、VRゴーグル3は、選択画像に基づく表示画像を表示することができる。 When the gear is in the D range, that is, when the forward operation is in progress, the transmission image generation unit 104 selects the captured image of the out-camera 212 that captures the front view. When the gear is in the P range, that is, when the vehicle is parked, the transmission image generation unit 104 selects an image captured by the in-camera 211 that images the driver's cab. In this way, the transmission image generation unit 104 selects one transmission image from the plurality of captured images based on the vehicle information. Then, the communication unit 105 transmits the selected transmission image to the VR goggles 3. As a result, the VR goggles 3 can display a display image based on the selected image.

ユーザが、VRゴーグル3で表示された表示画像を視認するため、運転中の景色を楽しむことができる。つまり、ユーザは、運転者が見ている前方の景色と同様の景色を視認することができる。また、駐車中には、テレビ電話と同様に運転者の顔を視認することができる。これにより、ユーザが運転者と旅行しているかのような疑似体験をすることができる。 Since the user visually recognizes the display image displayed on the VR goggles 3, he / she can enjoy the scenery while driving. That is, the user can visually recognize the same scenery as the scenery in front of the driver. In addition, while parking, the driver's face can be visually recognized in the same manner as a videophone. This allows the user to have a simulated experience as if traveling with the driver.

車両情報は、ギヤ情報に限定されず、車両4が停止しているか否かを示すものであればよい。例えば、送信画像生成部104又は車両情報取得部102が、センサで検出された加速度や速度に応じて、停止しているか否かを判定すればよい。例えば、送信画像生成部104又は車両情報取得部102が、エンジンの停止や、位置情報が変化していないことに応じて、車両の停止を判定してもよい。そして、車両情報が停止中を示す場合、送信画像生成部104は、インカメラ211による撮像画像を選択する。また、車両情報が前進走行中であることを示す場合、送信画像生成部104は、アウトカメラ212を選択してもよい。 The vehicle information is not limited to the gear information, and may be any information indicating whether or not the vehicle 4 is stopped. For example, the transmission image generation unit 104 or the vehicle information acquisition unit 102 may determine whether or not the vehicle is stopped according to the acceleration or speed detected by the sensor. For example, the transmission image generation unit 104 or the vehicle information acquisition unit 102 may determine that the vehicle is stopped depending on whether the engine is stopped or the position information has not changed. Then, when the vehicle information indicates that the vehicle is stopped, the transmission image generation unit 104 selects the image captured by the in-camera 211. Further, when the vehicle information indicates that the vehicle is traveling forward, the transmission image generation unit 104 may select the out-camera 212.

上記の説明では、走行中では、アウトカメラ212による撮像画像を送信画像とし、停止中では、インカメラ211による撮像画像を送信画像としているが、送信画像の選択はこの例に限られるものではない。撮像部2に3つ以上のカメラがある場合、送信画像生成部104は、車両情報に応じて、適宜撮像画像を選択することができる。撮像部2が360°カメラである場合、送信画像生成部104は、車両情報に応じて、適宜撮像画像の一部を切り出してもよい。また、送信画像生成部104は、3以上の撮像画像から1又は複数の画像を選択して、送信画像とする。 In the above description, the image captured by the out-camera 212 is used as the transmission image while the vehicle is running, and the image captured by the in-camera 211 is used as the transmission image while the vehicle is stopped. However, the selection of the transmission image is not limited to this example. .. When the imaging unit 2 has three or more cameras, the transmission image generation unit 104 can appropriately select the captured image according to the vehicle information. When the imaging unit 2 is a 360 ° camera, the transmission image generation unit 104 may appropriately cut out a part of the captured image according to the vehicle information. Further, the transmission image generation unit 104 selects one or a plurality of images from three or more captured images to obtain a transmission image.

例えば、ギヤがRレンジにある場合、つまり、後退動作中である場合、車両4の後方を撮像するリアカメラの撮像画像を送信画像としてもよい。ユーザが車両4の後方を視認することができる。これにより、ユーザが遠隔地にて、後退動作中の安全確認を行うことができる。例えば、車両4の後方に障害物がある場合に、ユーザは、音声通話によって運転者に障害物の存在を報知することができる。よって、安全性を高めることができる。 For example, when the gear is in the R range, that is, when the vehicle is moving backward, the image captured by the rear camera that images the rear of the vehicle 4 may be used as the transmission image. The user can visually recognize the rear of the vehicle 4. As a result, the user can confirm the safety during the reverse operation at a remote location. For example, when there is an obstacle behind the vehicle 4, the user can notify the driver of the presence of the obstacle by voice call. Therefore, safety can be enhanced.

このように、送信画像生成部104は、車両情報に基づいて、撮像画像を加工することで送信画像を生成している。例えば、送信画像生成部104は、複数の撮像画像の中から送信画像を選択することで、送信画像を生成している。これにより、画像処理装置100が車両4の動作に応じた画像を送信することができる。また、送信画像のデータ量を少なくすることができる。よって、通信遅延を抑制することができるため、VRゴーグル3が、応答性の高い表示を行うことができる。 In this way, the transmission image generation unit 104 generates the transmission image by processing the captured image based on the vehicle information. For example, the transmission image generation unit 104 generates a transmission image by selecting a transmission image from a plurality of captured images. As a result, the image processing device 100 can transmit an image according to the operation of the vehicle 4. In addition, the amount of data of the transmitted image can be reduced. Therefore, since the communication delay can be suppressed, the VR goggles 3 can perform a highly responsive display.

次に、送信画像生成部104が姿勢情報に基づいて、送信画像を生成する例を説明する。ここでは、車両が前進している動作中に、ユーザが頭部の向きを変えた場合の送信画像について説明する。送信画像生成部104は、図4に示すように、アウトカメラ212で撮像された撮像画像を取得している。姿勢検出部32は、ユーザの頭部の向き又は位置を検出している。そして、VRゴーグル3は、頭部の向き又は位置を姿勢情報として、画像処理装置100に送信している。 Next, an example in which the transmission image generation unit 104 generates a transmission image based on the posture information will be described. Here, a transmitted image when the user changes the direction of the head while the vehicle is moving forward will be described. As shown in FIG. 4, the transmission image generation unit 104 has acquired the captured image captured by the out-camera 212. The posture detection unit 32 detects the orientation or position of the user's head. Then, the VR goggles 3 transmit the direction or position of the head as posture information to the image processing device 100.

画像処理装置100が、VRゴーグル3が送信した姿勢情報を受信すると、送信画像生成部104が姿勢情報に応じて送信画像を生成する。ここでは、送信画像生成部104は、姿勢情報に応じて、撮像画像の一部を切り出している。 When the image processing device 100 receives the posture information transmitted by the VR goggles 3, the transmission image generation unit 104 generates a transmission image according to the posture information. Here, the transmission image generation unit 104 cuts out a part of the captured image according to the posture information.

例えば、図6に示すように、撮像画像50は、図4と同様に車両4の前方の景色を含んでいる。送信画像生成部104は、姿勢情報に基づいて、送信画像の切り出し位置を決定する。例えば、ユーザが正面前方を向いている場合、送信画像生成部104は、撮像画像50の上下左右それぞれの中央部の一部を切り出して、送信画像60Cとする。ユーザが左側を向いた場合、送信画像生成部104は、撮像画像50の左側の一部を切り出して、送信画像60Lとする。ユーザが上側を向いた場合、送信画像生成部104は、撮像画像50の上側の一部を切り出して、送信画像60Uとする。 For example, as shown in FIG. 6, the captured image 50 includes a view in front of the vehicle 4 as in FIG. The transmission image generation unit 104 determines the cutting position of the transmission image based on the posture information. For example, when the user is facing the front front, the transmission image generation unit 104 cuts out a part of the central portion of each of the top, bottom, left, and right of the captured image 50 to obtain the transmission image 60C. When the user faces the left side, the transmission image generation unit 104 cuts out a part of the left side of the captured image 50 to obtain the transmission image 60L. When the user faces upward, the transmission image generation unit 104 cuts out a part of the upper side of the captured image 50 to obtain the transmission image 60U.

このように、送信画像生成部104は、姿勢情報に基づいて、撮像画像を加工することで送信画像を生成している。送信画像生成部104は、撮像画像の一部を切り出して送信画像としている。これにより、送信画像の画像サイズを撮像画像の画像サイズよりも小さくすることがため、送信データ量を少なくすることができる。よって、通信遅延を抑制することができるため、VRゴーグル3が、応答性の高い表示を行うことができる。 In this way, the transmission image generation unit 104 generates the transmission image by processing the captured image based on the posture information. The transmission image generation unit 104 cuts out a part of the captured image to obtain a transmission image. As a result, the image size of the transmitted image can be made smaller than the image size of the captured image, so that the amount of transmitted data can be reduced. Therefore, since the communication delay can be suppressed, the VR goggles 3 can perform a highly responsive display.

特に、撮像部2が、車両4の周囲360°を撮像可能な場合、撮像画像の一部を送信画像として切り出すことで、画像サイズを小さくすることができる。よって、解像度を落とさずに送信画像を送信することができる。また、VRゴーグル3側で圧縮画像を伸張する処理時間を短縮することができる。低遅延で高画質の配信が可能となり、リアルタイム性を高くすることができる。 In particular, when the imaging unit 2 can image 360 ° around the vehicle 4, the image size can be reduced by cutting out a part of the captured image as a transmission image. Therefore, the transmitted image can be transmitted without reducing the resolution. In addition, the processing time for decompressing the compressed image on the VR goggles 3 side can be shortened. High-quality distribution with low delay is possible, and real-time performance can be improved.

また、送信画像生成部104は、姿勢情報に基づいて、切り出し位置を決定している。送信画像生成部104は、姿勢情報に基づいて、撮像画像において送信画像を切り出す画素アドレスを算出する。具体的には、VRゴーグル3が検出したユーザの頭部の向きが正面方向であった場合、送信画像生成部104は、アウトカメラ212による撮像画像の中心部を切り出し位置とする。VRゴーグル3が検出したユーザの頭部の向きが後方であった場合、つまりユーザが後方を向いた場合、送信画像生成部104は、インカメラ211による撮像画像の中心部を切り出し位置とする。また360°カメラの映像を切り出す場合、ユーザの頭部の向きに応じて切り出し位置の中心を上下左右に自在に変更することができる。したがって、送信画像生成部104は、VRゴーグル3を装着したユーザが見たい方向の景色を送信画像として生成することができる。よって、ユーザは助手席に座った状態で、運転者と一緒に旅行しているような体験をすることができる。さらに、VRゴーグル3のユーザが、車両4の運転者又は搭乗者と音声通話により会話を行うようにしてもよい。これにより、ユーザによる道案内や観光案内などのアドバイスを運転者又は搭乗者が受けることができる。さらに、運転者が気づきにくい運転上の危険をユーザが指摘することができる。 Further, the transmission image generation unit 104 determines the cutting position based on the posture information. The transmission image generation unit 104 calculates the pixel address for cutting out the transmission image in the captured image based on the posture information. Specifically, when the direction of the user's head detected by the VR goggles 3 is the front direction, the transmission image generation unit 104 sets the central portion of the image captured by the out-camera 212 as the cutout position. When the direction of the user's head detected by the VR goggles 3 is backward, that is, when the user faces backward, the transmission image generation unit 104 sets the central portion of the image captured by the in-camera 211 as the cutout position. Further, when cutting out the image of the 360 ° camera, the center of the cutout position can be freely changed up, down, left and right according to the orientation of the user's head. Therefore, the transmission image generation unit 104 can generate the scenery in the direction desired by the user wearing the VR goggles 3 as the transmission image. Therefore, the user can experience the experience of traveling with the driver while sitting in the passenger seat. Further, the user of the VR goggles 3 may have a conversation with the driver or passenger of the vehicle 4 by voice call. As a result, the driver or passenger can receive advice such as directions and tourist information from the user. Further, the user can point out a driving danger that is difficult for the driver to notice.

また、VRゴーグル3を装着したユーザが後方を向いた場合、送信画像生成部104は、インカメラ211による撮像画像に切り替えてもよい。つまり、ユーザが後方を向いた場合、送信画像生成部104は、運転室内を撮像した撮像画像を送信画像としてもよい。 Further, when the user wearing the VR goggles 3 faces backward, the transmission image generation unit 104 may switch to the image captured by the in-camera 211. That is, when the user faces backward, the transmission image generation unit 104 may use the captured image of the driver's cab as the transmission image.

なお、上記の説明では、姿勢情報又は車両情報に基づいて送信画像を生成する例を別々に説明したが、送信画像生成部104は、姿勢情報及び車両情報の両方に基づいて送信画像を生成してもよい。この場合、例えば、送信画像生成部104が、車両の前進動作中においては姿勢情報に基づいて送信画像を生成し、車両の停止中においては車両情報に基づいて送信画像を生成してもよい。図6に示すような送信画像の切り出し位置を調整すればよい。 In the above description, an example of generating a transmission image based on posture information or vehicle information has been described separately, but the transmission image generation unit 104 generates a transmission image based on both posture information and vehicle information. You may. In this case, for example, the transmission image generation unit 104 may generate a transmission image based on the posture information while the vehicle is moving forward, and may generate a transmission image based on the vehicle information while the vehicle is stopped. The cutout position of the transmitted image as shown in FIG. 6 may be adjusted.

実施の形態1にかかる画像処理方法について、図7を用いて説明する。図7は、画像処理方法のフローチャートである。まず、撮像画像取得部101が撮像部2が撮像した撮像画像を取得する(S11)。車両情報取得部102が車両情報を取得する(S12)。姿勢情報取得部103がVRゴーグル3のユーザの姿勢情報を取得する(S13)。 The image processing method according to the first embodiment will be described with reference to FIG. 7. FIG. 7 is a flowchart of the image processing method. First, the captured image acquisition unit 101 acquires the captured image captured by the imaging unit 2 (S11). The vehicle information acquisition unit 102 acquires vehicle information (S12). The posture information acquisition unit 103 acquires the posture information of the user of the VR goggles 3 (S13).

送信画像生成部104が撮像画像から送信画像を生成する(S14)。つまり、送信画像生成部104は、車両情報又は姿勢情報に基づいて撮像画像を加工する。例えば、送信画像生成部104は、複数の撮像画像から1つの送信画像を選択する。あるいは、送信画像生成部104は、撮像画像の一部を切り出して送信画像を生成する。具体的な加工処理については、上記と同様であるため説明を省略する。これにより、送信画像が生成される。通信部105は、送信画像を送信する(S15)。 The transmission image generation unit 104 generates a transmission image from the captured image (S14). That is, the transmission image generation unit 104 processes the captured image based on the vehicle information or the posture information. For example, the transmission image generation unit 104 selects one transmission image from a plurality of captured images. Alternatively, the transmission image generation unit 104 cuts out a part of the captured image to generate a transmission image. Since the specific processing is the same as above, the description thereof will be omitted. As a result, a transmitted image is generated. The communication unit 105 transmits the transmitted image (S15).

画像処理装置100が上記の処理を繰り返すことで、VRゴーグル3が動画像を表示することができる。よって、ユーザは、車両4に同乗しているかのような疑似体験をすることができる。画像処理装置100は、高画質の送信画像を低遅延で送信することが可能であり、リアルタイム性を高くすることができる。また、撮像画像のフレーム間隔が、車両情報及び姿勢情報の更新間隔と一致していない場合、画像処理装置100は、最新の車両情報及び姿勢情報を用いて、送信画像を生成すればよい。また、送信画像生成部104は、姿勢情報及び車両情報の一方のみに基づいて、送信画像を生成してもよい。 By repeating the above processing by the image processing device 100, the VR goggles 3 can display a moving image. Therefore, the user can have a simulated experience as if he / she is riding in the vehicle 4. The image processing device 100 can transmit a high-quality transmitted image with low delay, and can improve real-time performance. When the frame interval of the captured image does not match the update interval of the vehicle information and the attitude information, the image processing device 100 may generate a transmission image using the latest vehicle information and the attitude information. Further, the transmission image generation unit 104 may generate a transmission image based on only one of the posture information and the vehicle information.

実施の形態2.
実施の形態2では、車両情報取得部102が、車両情報として車両の速度を示す速度情報を取得している。例えば、車両情報取得部102は、CANから出力された車速パルスを用いて速度情報を取得することができる。あるいは、車両4又はスマートホン210に設けられた加速度センサと通信することによって、車両情報取得部102が速度情報を取得してもよい。
Embodiment 2.
In the second embodiment, the vehicle information acquisition unit 102 acquires speed information indicating the speed of the vehicle as vehicle information. For example, the vehicle information acquisition unit 102 can acquire speed information using the vehicle speed pulse output from CAN. Alternatively, the vehicle information acquisition unit 102 may acquire speed information by communicating with the acceleration sensor provided in the vehicle 4 or the smart phone 210.

図8は、本実施の形態に係る撮像部2の配置例を示す図である。本実施の形態では、スマートホン210の代わりにドライブレコーダ220が設けられている。ドライブレコーダ220は、フロントガラスであるウィンドシールド14に設置されている。撮像部2がドライブレコーダ220のカメラ221を備えている。カメラ221は、実施の形態1のアウトカメラ212と同様に前方の景色を撮像している。図9は、カメラ221による撮像画像を示す図である。 FIG. 8 is a diagram showing an arrangement example of the imaging unit 2 according to the present embodiment. In this embodiment, a drive recorder 220 is provided instead of the smart phone 210. The drive recorder 220 is installed on the windshield 14 which is a windshield. The image pickup unit 2 includes a camera 221 of the drive recorder 220. The camera 221 captures the scenery in front of the out-camera 212 of the first embodiment. FIG. 9 is a diagram showing an image captured by the camera 221.

送信画像生成部104は、速度情報に応じて、切り出す画像の範囲、例えば、切り出す画像サイズ(切り出しサイズともいう)を変更する。図9は、速度V1の場合の送信画像61と、速度V2の場合の送信画像62を示す。速度V1は、速度V2よりも速い速度であり、送信画像61は、送信画像62よりも小さい画像サイズである。送信画像生成部104は、速度情報が示す車両速度が速くなるほど、切り出す画像サイズを小さくする。このようにすることで、臨場感の高い表示画像を得ることができる。なお、送信画像61と送信画像62は、縦横比が同じであるが、縦×横の画素数が異なっている。このとき、切り出した送信画像61、62の中心点は同一であることが好ましい。送信画像61,62の中心点は、姿勢情報により、ユーザが注視している点または注視している領域の中心部であることがより好ましい。 The transmission image generation unit 104 changes the range of the image to be cut out, for example, the image size to be cut out (also referred to as the cutout size) according to the speed information. FIG. 9 shows a transmission image 61 at a speed V1 and a transmission image 62 at a speed V2. The speed V1 is faster than the speed V2, and the transmitted image 61 has an image size smaller than that of the transmitted image 62. The transmission image generation unit 104 reduces the size of the image to be cut out as the vehicle speed indicated by the speed information increases. By doing so, it is possible to obtain a display image with a high sense of presence. The transmitted image 61 and the transmitted image 62 have the same aspect ratio, but differ in the number of vertical × horizontal pixels. At this time, it is preferable that the center points of the cut out transmitted images 61 and 62 are the same. It is more preferable that the center points of the transmitted images 61 and 62 are the points that the user is gazing at or the center of the area that the user is gazing at, depending on the posture information.

また、車両の移動速度が速くなるほど、通信が不安定となり、通信速度が低下するおそれがある。また、車両の速度が速くなるほど、送信画像がMPEG(Moving Picture Experts Group)エンコーダ等により圧縮されて、送信されている場合には。撮像画像の変化が大きくなり、画像圧縮した圧縮データのデータサイズが大きくなるおそれがある。よって、車両速度が速くなるほど、切り出しサイズを小さくすることで、通信遅延を抑制することができる。VRゴーグル3がリアルタイム性の高い表示を行うことができる。 Further, as the moving speed of the vehicle becomes faster, the communication becomes unstable and the communication speed may decrease. Also, when the speed of the vehicle increases, the transmitted image is compressed by an MPEG (Moving Picture Experts Group) encoder or the like and transmitted. The change in the captured image becomes large, and the data size of the compressed data obtained by image compression may become large. Therefore, as the vehicle speed increases, the communication delay can be suppressed by reducing the cutout size. The VR goggles 3 can perform a highly real-time display.

また、送信画像生成部104は、速度情報に応じて、切り出す画像の範囲、例えば、切り出し位置を変更してもよい。例えば、送信画像生成部104は、速度情報に応じて、撮像画像における送信画像の切り出し位置を上下方向に変更することができる。図10は、速度V1の場合の送信画像61と、速度V2の場合の送信画像62を示す。速度V1は、速度V2よりも速い速度であり、送信画像61は、送信画像62よりも上方にある。送信画像生成部104は、速度情報が示す車両速度が速くなるほど、切り出し位置を上方にする。このようにすることで、車両速度が速いほど、より車両4から遠い位置を撮像した送信画像を生成することができる。よって、より臨場感の高い表示画像を得ることができる。 Further, the transmission image generation unit 104 may change the range of the image to be cut out, for example, the cutout position, according to the speed information. For example, the transmission image generation unit 104 can change the cutout position of the transmission image in the captured image in the vertical direction according to the speed information. FIG. 10 shows a transmission image 61 at a speed V1 and a transmission image 62 at a speed V2. The speed V1 is faster than the speed V2, and the transmitted image 61 is above the transmitted image 62. The transmission image generation unit 104 raises the cutting position as the vehicle speed indicated by the speed information increases. By doing so, the faster the vehicle speed, the more it is possible to generate a transmission image that captures a position farther from the vehicle 4. Therefore, it is possible to obtain a display image with a higher sense of presence.

送信画像生成部104は、車両速度が速くなるほど、切り出し位置を上方にしている。このようにすることで、通信遅延を抑制することができる。例えば、車両速度が速くなると、送信画像に道路が含まれなくなる。送信画像がMPEGエンコーダ等により圧縮されて、送信されているとする。道路を含まない送信画像は画像の変化量が少ないため、圧縮率は、画像の変化量が大きい道路を含む送信画像の圧縮率よりも高くなる。よって、画像処理装置100が道路を含まない送信画像を圧縮することで、より送信画像のデータ量を小さくすることができる。また、車両の移動速度が速くなるほど、画像の変化量が大きい道路を注視することにより、ユーザの眩暈などの不具合が生じる可能性が高くなるため、切り出し位置を情報にすることが好ましい。また、送信画像は道路を全く含んでいない画像であっても、一部含んだ画像であってもよい。送信画像における道路の領域を小さくすることで、より高い圧縮率で送信画像を生成することができる。これにより、通信遅延を抑制することができ、VRゴーグル3がリアルタイム性の高い表示を行うことができる。 The transmission image generation unit 104 sets the cutting position upward as the vehicle speed increases. By doing so, communication delay can be suppressed. For example, as the vehicle speed increases, the transmitted image does not include roads. It is assumed that the transmitted image is compressed by an MPEG encoder or the like and transmitted. Since the transmitted image not including the road has a small amount of change in the image, the compression rate is higher than the compression rate of the transmitted image including the road with a large amount of change in the image. Therefore, the image processing device 100 compresses the transmitted image that does not include the road, so that the amount of data of the transmitted image can be further reduced. Further, as the moving speed of the vehicle becomes faster, it is more likely that a problem such as dizziness of the user will occur by gazing at the road where the amount of change in the image is large. Therefore, it is preferable to use the cutout position as information. Further, the transmitted image may be an image that does not include the road at all or an image that includes a part of the road. By reducing the area of the road in the transmitted image, the transmitted image can be generated with a higher compression rate. As a result, the communication delay can be suppressed, and the VR goggles 3 can perform a display with high real-time performance.

上記の説明では、送信画像生成部104が、速度情報に応じて、画像サイズ、及び切り出し位置を変更する例を別々に説明したが、送信画像生成部104は、速度情報に応じて画像サイズ及び切り出し位置の両方を変更してもよい。たとえば、速度情報が示す車両速度が速くなるほど、画像サイズを小さくし、かつ切り出し位置を上方にしてもよい。 In the above description, an example in which the transmission image generation unit 104 changes the image size and the cutout position according to the speed information has been described separately, but the transmission image generation unit 104 has described the image size and the image size according to the speed information. Both cutout positions may be changed. For example, as the vehicle speed indicated by the speed information increases, the image size may be reduced and the cutout position may be set upward.

実施の形態2と実施の形態1とを組み合わせてもよい。例えば、送信画像生成部104は、姿勢情報と速度情報とに基づいて、切り出し位置を決定することができる。 The second embodiment and the first embodiment may be combined. For example, the transmission image generation unit 104 can determine the cutting position based on the attitude information and the speed information.

実施の形態3.
実施の形態3では、車両情報取得部102が、車両情報として車両の加速度を示す加速度情報を取得している。例えば、車両情報取得部102は、CANから出力された車速パルスを用いて加速度情報を取得することができる。あるいは、車両4又はスマートホン210に設けられた加速度センサによって、車両情報取得部102が加速度情報を取得してもよい。
Embodiment 3.
In the third embodiment, the vehicle information acquisition unit 102 acquires acceleration information indicating the acceleration of the vehicle as vehicle information. For example, the vehicle information acquisition unit 102 can acquire acceleration information using the vehicle speed pulse output from CAN. Alternatively, the vehicle information acquisition unit 102 may acquire acceleration information by an acceleration sensor provided in the vehicle 4 or the smartphone 210.

送信画像生成部104は、加速度情報に応じて、切り出す画像サイズを変更する。送信画像生成部104は、加速度が大きくなるほど、送信画像の画像サイズを小さくする。図9において、送信画像61は加速度A1の場合の送信画像であり、送信画像62は加速度A2の場合の送信画像である。なお、加速度A1は、加速度A2よりも大きくなっている。 The transmission image generation unit 104 changes the size of the image to be cut out according to the acceleration information. The transmission image generation unit 104 reduces the image size of the transmission image as the acceleration increases. In FIG. 9, the transmission image 61 is a transmission image in the case of acceleration A1, and the transmission image 62 is a transmission image in the case of acceleration A2. The acceleration A1 is larger than the acceleration A2.

このように、加速度情報に応じて画像サイズ(切り出しサイズ)を変更することで、VRゴーグル3が、より臨場感の高い表示画像を表示することができる。例えば、車両4の発進時には、加速度が大きくなるため、より小さい画像サイズとなる。VRゴーグル3を装着したユーザは、高い臨場感で表示画像を視認することができる。 In this way, by changing the image size (cutout size) according to the acceleration information, the VR goggles 3 can display a display image with a higher sense of presence. For example, when the vehicle 4 starts, the acceleration becomes large, so that the image size becomes smaller. The user wearing the VR goggles 3 can visually recognize the displayed image with a high sense of presence.

あるいは、送信画像生成部104は、加速度情報に応じて、切り出し位置を変更してもよい。送信画像生成部104は、加速度が大きくなるほど、送信画像の切り出し位置を上方にする。図10において、送信画像61は加速度A1の場合の送信画像であり、送信画像62は加速度A2の場合の送信画像である。なお、加速度A1は、加速度A2よりも大きくなっている。 Alternatively, the transmission image generation unit 104 may change the cutting position according to the acceleration information. The transmission image generation unit 104 raises the cutout position of the transmission image as the acceleration increases. In FIG. 10, the transmission image 61 is a transmission image in the case of acceleration A1, and the transmission image 62 is a transmission image in the case of acceleration A2. The acceleration A1 is larger than the acceleration A2.

このように、加速度情報に応じて切り出し位置を変更することで、VRゴーグル3が、より臨場感の高い表示画像を表示することができる。例えば、車両4の発進時には、加速度が大きくなるため、切り出し位置がより上方となる。VRゴーグル3を装着したユーザは、高い臨場感で表示画像を視認することができる。 In this way, by changing the cutout position according to the acceleration information, the VR goggles 3 can display a display image with a higher sense of presence. For example, when the vehicle 4 starts, the acceleration becomes large, so that the cutting position becomes higher. The user wearing the VR goggles 3 can visually recognize the displayed image with a high sense of presence.

上記の説明では、送信画像生成部104が、速度情報、又は加速度情報に応じて、画像サイズ、及び切り出し位置を変更する例を別々に説明したが、送信画像生成部104は、加速度情報又は速度情報に応じて画像サイズ及び切り出し位置の両方を変更してもよい。たとえば、速度情報が示す車両速度が速くなるほど、あるいは、加速度情報が示す加速度が大きくなるほど、画像サイズを小さくし、かつ切り出し位置を上方にしてもよい。さらに、加速度情報、及び速度情報の両方に応じて、送信画像生成部104が撮像画像を加工してもよい。 In the above description, an example in which the transmission image generation unit 104 changes the image size and the cutout position according to the speed information or the acceleration information has been described separately, but the transmission image generation unit 104 has the acceleration information or the speed. Both the image size and the cropping position may be changed according to the information. For example, as the vehicle speed indicated by the speed information increases, or as the acceleration indicated by the acceleration information increases, the image size may be reduced and the cutout position may be set upward. Further, the transmission image generation unit 104 may process the captured image according to both the acceleration information and the velocity information.

実施の形態3は、実施の形態1とを組み合わせてもよい。例えば、送信画像生成部104は、姿勢情報と加速度情報とに基づいて、切り出し位置を決定することができる。 The third embodiment may be combined with the first embodiment. For example, the transmission image generation unit 104 can determine the cutting position based on the posture information and the acceleration information.

実施の形態4.
実施の形態4にかかる画像処理システムでは、撮像部2が複数のカメラを有している。撮像部2でのカメラの配置例について、図11を用いて説明する。図11は、車両4を上面から見た模式図である車両4の周囲360°全体をカバ−するために、撮像部2は、フロントカメラ231,リアカメラ232,左サイドカメラ233、及び右サイドカメラ234を備えている。図11は、フロントカメラ231,リアカメラ232,左サイドカメラ233、及び右サイドカメラ234の撮像範囲を破線で示してる。
Embodiment 4.
In the image processing system according to the fourth embodiment, the image pickup unit 2 has a plurality of cameras. An example of arranging the cameras in the imaging unit 2 will be described with reference to FIG. FIG. 11 is a schematic view of the vehicle 4 viewed from above. In order to cover the entire circumference of the vehicle 4 by 360 °, the imaging unit 2 includes a front camera 231, a rear camera 232, a left side camera 233, and a right side. It is equipped with a camera 234. FIG. 11 shows the imaging ranges of the front camera 231, the rear camera 232, the left side camera 233, and the right side camera 234 with broken lines.

フロントカメラ231、リアカメラ232、左サイドカメラ233、及び右サイドカメラ234は広い撮像範囲をカバーするために広角カメラとなっている。撮像部2は、車両4の周囲全体を撮像する。 The front camera 231 and the rear camera 232, the left side camera 233, and the right side camera 234 are wide-angle cameras to cover a wide imaging range. The imaging unit 2 images the entire periphery of the vehicle 4.

フロントカメラ231は、車両4の前方を撮像し、リアカメラ232は車両4の後方を撮像する。左サイドカメラ233は、車両4の左側を撮像し、右サイドカメラ234は、車両4の右側を撮像する。フロントカメラ231の撮像範囲の一部は、左サイドカメラ233の撮像範囲の一部と重複している。フロントカメラ231の撮像範囲の一部は、右サイドカメラ234の撮像範囲の一部と重複している。同様に、リアカメラ232の撮像範囲の一部は、左サイドカメラ233の撮像範囲の一部、並びに右サイドカメラ234の撮像範囲の一部と重複している。 The front camera 231 images the front of the vehicle 4, and the rear camera 232 images the rear of the vehicle 4. The left side camera 233 images the left side of the vehicle 4, and the right side camera 234 images the right side of the vehicle 4. A part of the imaging range of the front camera 231 overlaps with a part of the imaging range of the left side camera 233. A part of the image pickup range of the front camera 231 overlaps with a part of the image pickup range of the right side camera 234. Similarly, a part of the imaging range of the rear camera 232 overlaps with a part of the imaging range of the left side camera 233 and a part of the imaging range of the right side camera 234.

姿勢情報取得部103は、ユーザの姿勢を示す姿勢情報を取得する。ここでは、ユーザが左斜め前方を向いているとする。このとき、送信画像で表示すべき範囲を図11に示すように範囲65とする。範囲65の左右両端を左端66L、右端66Rとする。範囲65は、フロントカメラ231による撮像範囲の一部と、左サイドカメラ233による撮像範囲の一部とを含んでいる。範囲65の左端66Lは、左サイドカメラ233の撮像範囲のみに含まれ、右端66Rはフロントカメラ231の撮像範囲のみに含まれている。 The posture information acquisition unit 103 acquires posture information indicating the posture of the user. Here, it is assumed that the user is facing diagonally forward to the left. At this time, the range to be displayed in the transmitted image is set to the range 65 as shown in FIG. The left and right ends of the range 65 are the left end 66L and the right end 66R. The range 65 includes a part of the image pickup range by the front camera 231 and a part of the image pickup range by the left side camera 233. The left end 66L of the range 65 is included only in the imaging range of the left side camera 233, and the right end 66R is included only in the imaging range of the front camera 231.

送信画像生成部104は、フロントカメラ231の撮像画像の一部を切り出す。具体的には、送信画像生成部104は、フロントカメラ231の撮像範囲の左側にある切り出し範囲67で撮像画像を切り出している。また、送信画像生成部104は、左サイドカメラ233の撮像画像の一部を切り出す。具体的には、送信画像生成部104は、左サイドカメラ233の撮像画像の前側にある切り出し範囲68で撮像画像を切り出している。切り出し範囲67と切り出し範囲68は一部重複している。送信画像生成部104は、切り出した2つの切り出し画像を合成して、送信画像としている。 The transmission image generation unit 104 cuts out a part of the captured image of the front camera 231. Specifically, the transmission image generation unit 104 cuts out the captured image in the cropping range 67 on the left side of the imaging range of the front camera 231. Further, the transmission image generation unit 104 cuts out a part of the captured image of the left side camera 233. Specifically, the transmission image generation unit 104 cuts out the captured image in the cropping range 68 on the front side of the captured image of the left side camera 233. The cutout range 67 and the cutout range 68 partially overlap. The transmission image generation unit 104 combines the two cut-out images into a transmission image.

送信画像生成部104が、2つの撮像画像を合成している。すなわち、2つのカメラで撮像された撮像画像を送信画像生成部104が合成して、送信画像としている。また、送信画像生成部104は、一方のカメラの撮像画像の一部を切り出して、他方のカメラの撮像画像の全体と合成してもよい。もちろん、合成する2つの撮像画像は同期している。すなわち、送信画像生成部104は、同じタイミングにおいて異なるカメラで撮像された2つの撮像画像を合成している。さらには、送信画像生成部104は、3つ以上のカメラの撮像画像を合成することで、送信画像を生成してもよい。 The transmission image generation unit 104 synthesizes the two captured images. That is, the transmitted image generation unit 104 synthesizes the captured images captured by the two cameras to obtain a transmitted image. Further, the transmission image generation unit 104 may cut out a part of the image captured by one camera and combine it with the entire image captured by the other camera. Of course, the two captured images to be combined are synchronized. That is, the transmission image generation unit 104 synthesizes two captured images captured by different cameras at the same timing. Further, the transmission image generation unit 104 may generate a transmission image by synthesizing the images captured by three or more cameras.

上記の実施の形態1〜4は適宜組み合わせることが可能である。送信画像生成部104は、車両情報に基づいて、撮像画像の一部を切り出すこと、及び複数の撮像画像から送信画像を選択すること、複数の撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成することができる。このようにすることで、画像処理装置100が車両4の動作に応じた画像を送信することができる。また、送信画像のデータ量を削減することができるため、VRゴーグル3において高画質でリアルタイム性の高い表示が可能になる。 The above embodiments 1 to 4 can be appropriately combined. The transmission image generation unit 104 performs at least one of cutting out a part of the captured image based on the vehicle information, selecting the transmission image from the plurality of captured images, and synthesizing the plurality of captured images. With, the transmission image can be generated. By doing so, the image processing device 100 can transmit an image according to the operation of the vehicle 4. In addition, since the amount of data of the transmitted image can be reduced, the VR goggles 3 can display high image quality and high real-time performance.

上記の実施の形態では、送信画像生成部104は、姿勢情報に基づいて、撮像画像における切り出し位置を決定したが、姿勢情報以外の情報に基づいて、切り出し位置を決定してもよい。例えば、ユーザが、マイクによる音声入力やボタン等による操作入力によって、見たい方向を変えるようにしてもよい。つまり、ユーザが音声入力や操作入力によって見たい方向を指定すると、送信画像生成部104は、その方向が送信画像に含まれるように切り出し位置を変更する。さらには、ユーザによる音声入力や操作入力により、カメラ切り替えや、画像サイズ変更を行ってもよい。 In the above embodiment, the transmission image generation unit 104 determines the cutout position in the captured image based on the posture information, but the cutout position may be determined based on information other than the posture information. For example, the user may change the viewing direction by voice input using a microphone or operation input using a button or the like. That is, when the user specifies a desired direction by voice input or operation input, the transmission image generation unit 104 changes the cutout position so that the direction is included in the transmission image. Further, the camera may be switched or the image size may be changed by voice input or operation input by the user.

画像処理装置100、及びVRゴーグル3は、CPU(Central Processing Unit)等のプロセッサ、メモリ等の記憶装置、ユーザインタフェース及び各種周辺回路によって構成されている。つまり、画像処理装置100及びVRゴーグル3は、コンピュータとしての機能を有する。また、画像処理装置100は、記憶装置に格納されたプログラムをプロセッサが実行することによって、撮像画像取得部101、車両情報取得部102、姿勢情報取得部103、送信画像生成部104、及び通信部105といった構成要素を実現してもよい。VRゴーグル3は、記憶装置に格納されたプログラムをプロセッサが実行することによって、表示部31、姿勢検出部32、制御部33、通信部35といった構成要素を実現してもよい。 The image processing device 100 and the VR goggles 3 are composed of a processor such as a CPU (Central Processing Unit), a storage device such as a memory, a user interface, and various peripheral circuits. That is, the image processing device 100 and the VR goggles 3 have a function as a computer. Further, in the image processing device 100, the processor executes a program stored in the storage device, so that the captured image acquisition unit 101, the vehicle information acquisition unit 102, the attitude information acquisition unit 103, the transmission image generation unit 104, and the communication unit Components such as 105 may be realized. The VR goggles 3 may realize components such as a display unit 31, a posture detection unit 32, a control unit 33, and a communication unit 35 by executing a program stored in the storage device by a processor.

また、画像処理装置100、及びVRゴーグル3の各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、画像処理装置100の各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このことは、後述する他の実施の形態においても同様である。 Further, each component of the image processing device 100 and the VR goggles 3 is not limited to being realized by software by a program, but may be realized by any combination of hardware, firmware, and software. .. Further, each component of the image processing apparatus 100 may be realized by using an integrated circuit programmable by the user, such as an FPGA (field-programmable gate array) or a microcomputer. In this case, this integrated circuit may be used to realize a program composed of each of the above components. This also applies to other embodiments described later.

また、上記の表示制御方法を実行するためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In addition, the program for executing the above display control method can be stored and supplied to the computer using various types of non-transitory computer readable media. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)) is included. The program may also be supplied to the computer by various types of transient computer readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

1 システム
2 撮像部
3 VRゴーグル
4 車両
5 サーバ装置
6 ネットワーク
31 表示部
32 姿勢検出部
33 制御部
35 通信部
50 撮像画像
61 送信画像
62 送信画像
100 画像処理装置
101 撮像画像取得部
102 車両情報取得部
103 姿勢情報取得部
104 送信画像生成部
105 通信部
210 スマートホン
211 インカメラ
212 アウトカメラ
220 ドライブレコーダ
221 カメラ
231 フロントカメラ
232 リアカメラ
233 左サイドカメラ
234 右サイドカメラ
1 System 2 Imaging unit 3 VR goggles 4 Vehicle 5 Server device 6 Network 31 Display unit 32 Attitude detection unit 33 Control unit 35 Communication unit 50 Captured image 61 Transmission image 62 Transmission image 100 Image processing device 101 Captured image acquisition unit 102 Vehicle information acquisition Unit 103 Attitude information acquisition unit 104 Transmission image generation unit 105 Communication unit 210 Smartphone 211 In-camera 212 Out-camera 220 Drive recorder 221 Camera 231 Front camera 232 Rear camera 233 Left side camera 234 Right side camera

Claims (7)

車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得する撮像画像取得部と、
前記車両の走行に関する車両情報を取得する車両情報取得部と、
前記車両情報に基づいて、少なくともひとつの前記撮像画像の一部を切り出すこと、少なくともひとつの前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成する送信画像生成部と、
無線通信により前記送信画像を送信する通信部と、を備えた画像処理装置。
An image acquisition unit that acquires one or more images captured by an image pickup unit arranged in a vehicle, and an image acquisition unit.
A vehicle information acquisition unit that acquires vehicle information related to the running of the vehicle,
Based on the vehicle information, at least one of cutting out a part of the captured image, selecting a transmission image from the at least one captured image, and synthesizing a plurality of the captured images is performed. By doing so, the transmission image generator that generates the transmission image and
An image processing device including a communication unit that transmits the transmitted image by wireless communication.
前記撮像画像取得部は、少なくとも車両内部を撮像した画像を取得し、
前記車両情報が、前記車両が停止しているか否かを示す情報を含んでおり、
前記車両が停止している場合に、少なくともひとつの前記車両内部の撮像画像の一部を切り出すこと、少なくともひとつの前記車両内部の撮像画像から送信画像を選択すること、及び車両内部の撮像画像を含む複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成する、請求項1に記載の画像処理装置。
The captured image acquisition unit acquires at least an image of the inside of the vehicle and obtains an image.
The vehicle information includes information indicating whether or not the vehicle is stopped.
When the vehicle is stopped, a part of the captured image inside the vehicle is cut out, a transmission image is selected from at least one captured image inside the vehicle, and the captured image inside the vehicle is captured. The image processing apparatus according to claim 1, wherein a transmission image is generated by performing at least one of combining the plurality of captured images including the image.
前記車両情報が前記車両の速度を示す速度情報または加速度情報を含んでおり、
前記送信画像生成部が、前記速度情報または加速度情報に基づいて、前記撮像画像における前記送信画像の切り出し範囲を変更する請求項1、又は2に記載の画像処理装置。
The vehicle information includes speed information or acceleration information indicating the speed of the vehicle.
The image processing apparatus according to claim 1 or 2, wherein the transmission image generation unit changes the cutout range of the transmission image in the captured image based on the velocity information or the acceleration information.
前記送信画像生成部が、前記速度情報または加速度情報に基づいて、前記撮像画像における前記送信画像の切り出しサイズを変更する請求項3に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the transmission image generation unit changes the cutout size of the transmission image in the captured image based on the velocity information or the acceleration information. 請求項1〜4のいずれか1項に記載の画像処理装置と、
前記送信画像を受信して、表示する表示機器と、を備えた画像処理システム。
The image processing apparatus according to any one of claims 1 to 4,
An image processing system including a display device that receives and displays the transmitted image.
車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得するステップと、
前記車両の走行に関する車両情報を取得するステップと、
前記車両情報に基づいて、少なくともひとつの前記撮像画像の一部を切り出すこと、少なくともひとつの前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成するステップと、
無線通信により前記送信画像を送信するステップと、を備えた画像処理方法。
The step of acquiring one or more captured images captured by the imaging unit arranged in the vehicle, and
The step of acquiring vehicle information regarding the running of the vehicle and
Based on the vehicle information, at least one of cutting out a part of the captured image, selecting a transmission image from the at least one captured image, and synthesizing a plurality of the captured images is performed. By doing so, the steps to generate the transmitted image,
An image processing method comprising a step of transmitting the transmitted image by wireless communication.
車両に配置された撮像部で撮像されたひとつまたは複数の撮像画像を取得するステップと、
前記車両の走行に関する車両情報を取得するステップと、
前記車両情報に基づいて、少なくともひとつの前記撮像画像の一部を切り出すこと、少なくともひとつの前記撮像画像から送信画像を選択すること、及び複数の前記撮像画像を合成することの少なくとも一つを行うことで、送信画像を生成するステップと、
無線通信により前記送信画像を送信するステップと、をコンピュータに実行させる、プログラム。
The step of acquiring one or more captured images captured by the imaging unit arranged in the vehicle, and
The step of acquiring vehicle information regarding the running of the vehicle and
Based on the vehicle information, at least one of cutting out a part of the captured image, selecting a transmission image from the at least one captured image, and synthesizing a plurality of the captured images is performed. By doing so, the steps to generate the transmitted image,
A program that causes a computer to execute a step of transmitting the transmitted image by wireless communication.
JP2019041630A 2019-03-07 2019-03-07 Image processing apparatus, image processing system, image processing method, and program Pending JP2020145612A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019041630A JP2020145612A (en) 2019-03-07 2019-03-07 Image processing apparatus, image processing system, image processing method, and program
JP2023150862A JP7568022B2 (en) 2019-03-07 2023-09-19 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019041630A JP2020145612A (en) 2019-03-07 2019-03-07 Image processing apparatus, image processing system, image processing method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023150862A Division JP7568022B2 (en) 2019-03-07 2023-09-19 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
JP2020145612A true JP2020145612A (en) 2020-09-10

Family

ID=72354607

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019041630A Pending JP2020145612A (en) 2019-03-07 2019-03-07 Image processing apparatus, image processing system, image processing method, and program
JP2023150862A Active JP7568022B2 (en) 2019-03-07 2023-09-19 Image processing device and image processing method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023150862A Active JP7568022B2 (en) 2019-03-07 2023-09-19 Image processing device and image processing method

Country Status (1)

Country Link
JP (2) JP2020145612A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7553521B2 (en) 2022-09-12 2024-09-18 本田技研工業株式会社 Information Processing System

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11348659A (en) * 1998-04-07 1999-12-21 Matsushita Electric Ind Co Ltd On-vehicle image display device
JP2006331164A (en) * 2005-05-27 2006-12-07 Matsushita Electric Ind Co Ltd Image processing apparatus
JP2010081245A (en) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd Display device for vehicle, and display method
JP2011119912A (en) * 2009-12-02 2011-06-16 Hitachi Kokusai Electric Inc In-vehicle monitoring system
JP2014071778A (en) * 2012-09-28 2014-04-21 Equos Research Co Ltd Vehicle
WO2014077046A1 (en) * 2012-11-13 2014-05-22 ソニー株式会社 Image display device and image display method, mobile body device, image display system, and computer program
US20170341611A1 (en) * 2016-05-27 2017-11-30 GM Global Technology Operations LLC Camera activation response to vehicle safety event
WO2018155159A1 (en) * 2017-02-24 2018-08-30 パナソニックIpマネジメント株式会社 Remote video output system and remote video output device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4536300B2 (en) 2000-09-12 2010-09-01 パナソニック株式会社 In-vehicle hands-free system and portable terminal thereof
JP4209303B2 (en) 2003-10-17 2009-01-14 アルパイン株式会社 Vehicle face image processing apparatus
JP4984521B2 (en) 2005-12-21 2012-07-25 トヨタ自動車株式会社 In-vehicle camera control device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11348659A (en) * 1998-04-07 1999-12-21 Matsushita Electric Ind Co Ltd On-vehicle image display device
JP2006331164A (en) * 2005-05-27 2006-12-07 Matsushita Electric Ind Co Ltd Image processing apparatus
JP2010081245A (en) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd Display device for vehicle, and display method
JP2011119912A (en) * 2009-12-02 2011-06-16 Hitachi Kokusai Electric Inc In-vehicle monitoring system
JP2014071778A (en) * 2012-09-28 2014-04-21 Equos Research Co Ltd Vehicle
WO2014077046A1 (en) * 2012-11-13 2014-05-22 ソニー株式会社 Image display device and image display method, mobile body device, image display system, and computer program
US20170341611A1 (en) * 2016-05-27 2017-11-30 GM Global Technology Operations LLC Camera activation response to vehicle safety event
WO2018155159A1 (en) * 2017-02-24 2018-08-30 パナソニックIpマネジメント株式会社 Remote video output system and remote video output device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7553521B2 (en) 2022-09-12 2024-09-18 本田技研工業株式会社 Information Processing System

Also Published As

Publication number Publication date
JP7568022B2 (en) 2024-10-16
JP2023179496A (en) 2023-12-19

Similar Documents

Publication Publication Date Title
US11484790B2 (en) Reality vs virtual reality racing
CA2957047C (en) Active window for vehicle infomatics and virtual reality
EP3457352B1 (en) Generation device and generation method, and reproduction device and reproduction method
US10534428B2 (en) Image processing device and image processing method, display device and display method, and image display system
CN104781873A (en) Image display device and image display method, mobile body device, image display system, and computer program
JP5047650B2 (en) In-vehicle camera system
JP5829851B2 (en) Image processing system, vehicle apparatus, image processing apparatus, program, and image display method
JP2020024417A (en) Information processing apparatus
JP7568022B2 (en) Image processing device and image processing method
WO2020090512A1 (en) Imaging device, control method, and program
JP2017219827A (en) Image stabilization method and electronic device
JPWO2018016151A1 (en) Image processing apparatus and image processing method
JP2008162308A (en) Vehicular imaging device and vehicular image processing device
JP2013055416A (en) Exterior video provision system
JP2022104107A (en) Vehicle remote operation system and vehicle remote operation method
EP3476673B1 (en) Vehicle image displaying apparatus and method of displaying image data on a head-mounted display device disposed in a vehicle
JP7203157B2 (en) Video processing device and program
JP6563694B2 (en) Image processing apparatus, image processing system, image composition apparatus, image processing method, and program
WO2021131481A1 (en) Display device, display method, and display program
JP2022157267A (en) Video transmission device, video transmission method, program, and recording medium
US20210263315A1 (en) Wifi enabled head up display (hud)
JP2014160935A (en) Video recording apparatus and movable body
JP2017022660A (en) Display device, display system, and program
JP2024099727A (en) Video transmission device, video transmission method, program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230522

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230627