JP2023179496A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】車両の動作に応じた画像を送信することができる画像処理装置及び画像表示方法を提供する。
【解決手段】
本実施の形態にかかる画像処理装置１００は、車両の運転者を含む車両内部を撮像した画像を含む撮像画像を取得する撮像画像取得部１０１と、車両が停止しているか否かを示す情報を含む車両情報を取得する車両情報取得部１０２と、車両が停止している場合に、前記車両内部の撮像画像の一部を前記運転者を視認可能に切り出すこと、前記車両内部の撮像画像から送信画像を前記運転者を視認可能に選択すること、及び前記車両内部の撮像画像を含む複数の前記撮像画像を前記運転者を視認可能に合成すること、の少なくとも一つを行うことで、前記送信画像を生成する送信画像生成部１０４と、無線通信により送信画像を送信する通信部１０５と、を備えている。
【選択図】図５

Description

本発明は、画像処理装置及び画像処理方法に関する。

特許文献１には、他の車両間との間で、車両間通信を行う車両用情報処理装置が開示されている。車両に搭乗したユーザが、通信データ量を削減するために、他車両の進行方向と角度幅を指定する。他車両は、指定された進行方向と角度幅に応じた範囲の画像を切り出して、送信している。

特開２００６－１１５３６０号公報

特許文献１の車両用情報処理装置では、車両が走行しているか停止しているかなどの、車両の動作に応じた、適切な画像を選択して送信することができないという問題点があった。

上記課題に鑑み、本開示は、車両の動作に応じた画像を送信することができる画像処理装置及び画像処理方法を提供することを目的とする。

本実施形態にかかる画像処理装置は、車両に配置された撮像部で撮像された、車両の運転者を含む車両内部を撮像した画像を含む撮像画像を取得する撮像画像取得部と、車両が停止しているか否かを示す情報を含む車両情報を取得する車両情報取得部と、車両が停止している場合に、車両内部の撮像画像の一部を運転者を視認可能に切り出すこと、車両内部の撮像画像から送信画像を運転者を視認可能に選択すること、及び車両内部の撮像画像を含む複数の撮像画像を運転者を視認可能に合成すること、の少なくとも一つを行うことで、送信画像を生成する送信画像生成部と、無線通信により、送信画像を送信する通信部と、を備えている。

本実施形態にかかる画像処理方法は、車両に配置された撮像部で撮像された、車両の運転者を含む車両内部を撮像した画像を含む撮像画像を取得する撮像画像取得ステップと、車両が停止しているか否かを示す情報を含む車両情報を取得する車両情報取得ステップと、車両が停止している場合に、車両内部の撮像画像の一部を運転者を視認可能に切り出すこと、車両内部の撮像画像から送信画像を運転者を視認可能に選択すること、及び車両内部の撮像画像を含む複数の撮像画像を運転者を視認可能に合成すること、の少なくとも一つを行うことで、送信画像を生成する送信画像生成ステップと、無線通信により、送信画像を送信する通信ステップと、を備えている。

本開示によれば、車両の動作に応じた画像を送信することができる画像処理装置及び画像処理方法を提供することができる。

本実施の形態にかかる画像処理システムを示す図である。 撮像部のカメラの配置例を説明するための図である。 車室内を撮像した撮像画像を模式的に示す図である。 車両前方を撮像した撮像画像を模式的に示す図である。 本実施の形態にかかる画像処理システムの制御ブロック図である。 姿勢情報に基づいて生成された送信画像を説明するための図である。 本実施の形態にかかる画像処理方法を示すフローチャートである。 撮像部のカメラの配置例を説明するための図である。 車両情報に応じて画像サイズを変更した場合の送信画像を説明するための図である。 車両情報に応じて切り出し位置を変更した場合の送信画像を説明するための図である。 カメラの配置例と、その撮像範囲を説明するための上面図である。

以下、本発明の実施形態の一例について図面を参照して説明する。以下の説明は、本発
明の好適な実施形態を示すものであって、本発明の技術的範囲が以下の実施形態に限定さ
れるものではない。各図面において、同一又は対応する要素には同一の符号が付されてお
り、説明の明確化のため、必要に応じて重複説明を省略する。

実施の形態１
図１は、実施の形態１にかかる画像処理システム１を模式的に示す図である。画像処理
システム１は、撮像部２と、ＶＲ（Virtual Reality）ゴーグル３と、車両４に備えられ
る画像処理装置１００と、サーバ装置５とを備えている。

撮像部２は、１つまたは複数のカメラを備えており、車両４の外部又は内部の画像を撮
像する。撮像部２は、車両４に配置されている。撮像部２は、例えば、車両４の外側に設
置されたフロントカメラ、リアカメラ、又はサイドカメラなどの車載カメラであり、車両
４の周囲の画像を撮像する。あるいは、撮像部２は、車両４の車内に設置されたドライブ
レコーダのカメラであってもよい。さらには、撮像部２は、カメラを有する電子機器であ
ってもよい。例えば、撮像部２は、スマートホン、タブレットコンピュータ等のカメラで
あってもよい。

撮像部２は魚眼レンズ等を用いた広角カメラであってもよい。また、撮像部２は、車両
４の周囲全体を撮像するために、車両４の上部または車両内部に設けられた３６０°カメ
ラであってもよい。また、撮像部２は、３６０°回転可能に設けられたカメラであっても
よい。あるいは、複数台のカメラが異なる方向に向けて配置されていてもよい。このよう
なカメラを撮像部２とすることで、車両４の外側のより広い範囲を撮像することができる
。

車両４は、後述する画像処理装置１００を備えており、撮像部２で撮像された撮像画像
を処理する。具体的には、画像処理装置１００は、撮像画像を加工することで、送信画像
を生成する。画像処理装置１００での処理については後述する。

画像処理装置１００は、サーバ装置５に送信する。サーバ装置５は、例えば、送信画像
をＶＲゴーグル３に配信する配信サーバとなっている。ＶＲゴーグル３は、ヘッドマウン
トディスプレイなどであり、受信した送信画像を表示する。ＶＲゴーグル３は、送信画像
を表示する画像表示装置として機能する。つまり、ＶＲゴーグル３を装着したユーザは、
車両４の外部又は内部の画像を視認することができる。なお、以下の説明では、ＶＲゴー
グル３を装着した人物をユーザとして、車両４に搭乗している人物を運転者又は搭乗者と
して識別する。

ＶＲゴーグル３は、ジャイロセンサ、方位センサ、加速度センサなどを備えており、姿
勢を検出する。そして、ＶＲゴーグル３はセンサが検出した姿勢を姿勢情報として取得す
る。具体的には、加速度センサにより重力の向きを検出して、ユーザの頭部の上下方向の
向きを検出する。また方位センサおよびジャイロセンサにより、ユーザの顔の方角または
左右方向の向きを検出する。これら頭部の向きを検出することで、ユーザの姿勢情報とす
る。またＶＲゴーグル３でなくとも、同様のセンサを有する電子機器、例えばスマートフ
ォンによって、ユーザの姿勢を検出することができる。ＶＲゴーグル３は、サーバ装置５
を介して、姿勢情報を車両４に送信する。なお、送信画像を受信して、表示する表示機器
としては、ＶＲゴーグル３に限らず、スマートホンやタブレットコンピュータなどであっ
てもよい。ＶＲ機能を有しないモニタやプロジェクタなどの表示装置であってもよい。車
両４とＶＲゴーグル３との通信は、サーバ装置５を介さないＰ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐ
ｅｅｒ）通信であってもよい。

次に、撮像部２について説明する。図２は、撮像部２に設けられたカメラの配置例を説
明するための図である。図２は、車両４の内部の運転室を運転席から車両４の前方向に見
た図である。車両４は、ステアリングホイール１０、ダッシュボード１２、ウィンドシー
ルド１４、センターコンソール１６、車両の走行速度及びエンジン回転数などを表示する
クラスターパネル１８などを有する。また、センターコンソール１６には、ナビゲーショ
ン画面などを表示するセンター表示部２０が設けられていてもよい。

ダッシュボード１２の上には、スマートホン２１０が配置されている。スマートホン２
１０は、撮像部２として機能する。スマートホン２１０は、インカメラ２１１、アウトカ
メラ２１２、及び表示画面２１３等を備えている。インカメラ２１１と表示画面２１３は
、スマートホン２１０の同一面に設けられている。アウトカメラ２１２は、インカメラ２
１１が設けられた面と反対側の面に設けられている。

インカメラ２１１は、後方を面しており、運転室内を撮像する。図３に示すように、イ
ンカメラ２１１は、運転席に座った運転者を含む運転室内を撮像する。アウトカメラ２１
２は、前方を面しており、車両４の前方の景色を撮像する。図４は、アウトカメラ２１２
による撮像画像５０を模式的に示す図である。図４に示すように、アウトカメラ２１２は
、車両４の前方にある道路、建物、車両など含む景色をウィンドシールド１４越しに撮像
する。撮像画像は、動画像であってもよく、時間的に連続する複数の静止画像であっても
よい。

また、ダッシュボード１２の内部には、画像処理装置１００が設けられている。画像処
理装置１００は、インカメラ２１１、及びアウトカメラ２１２で撮像された撮像画像に対
して、所定の画像処理を行う。画像処理装置１００の設置位置は、ダッシュボード内に限
定されるものではない。画像処理装置１００は車載型の装置にかぎらず、携帯型の装置で
あってもよい。つまり、画像処理装置１００は、車両４に固定された機器であってもよく
、車両４から持ち出し可能な機器であってもよい。

さらに、画像処理装置１００は物理的に単一な装置に限らず、複数の装置から構成され
ていてもよい。つまり、画像処理装置１００の処理は分散された処理装置により実施され
てもよい。例えば、車両４に設置された車載機器が一部の処理を実施し、携帯型の装置が
残りの処理を実施してもよい。複数の装置間の接続は、有線接続であってもよく、Ｂｌｕ
ｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等の無線接続であってもよい。また、
スマートホン２１０が、画像処理装置１００と機能してもよい。つまり、スマートホン２
１０が画像処理の一部、又は全てを実施してもよい。

図５は、本実施の形態にかかる画像処理システムの制御ブロック図である。画像処理シ
ステム１は、撮像部２と、画像処理装置１００と、ＶＲゴーグル３とを備えている。画像
処理装置１００とＶＲゴーグル３とはネットワーク６を介して接続されている。

まず、画像処理装置１００について説明する。画像処理装置１００は、撮像画像取得部
１０１と、車両情報取得部１０２と、送信画像生成部１０４と、通信部１０５と、を備え
ている。姿勢情報取得部１０３を備える形態があってもよい。

撮像画像取得部１０１は、撮像部２からの撮像画像を取得する。例えば図２に示すよう
に、撮像部２が２つのカメラを有する場合、撮像画像取得部１０１は、それぞれのカメラ
での撮像画像を取得する。つまり、撮像画像取得部１０１は、インカメラ２１１による撮
像画像と、アウトカメラ２１２による撮像画像を取得する。画像処理装置１００と撮像部
２との接続は、有線接続でもよく、無線接続でも良い。

車両情報取得部１０２は、車両４の走行に関する車両情報を取得する。車両情報は、例
えば車両４の速度、加速度を含んでいてもよい。また、車両情報は、車両４の操作情報を
含んでいてもよい。操作情報としては、ギヤ、ハンドル、ブレーキ、アクセルの操作に関
する情報を含んでいる。ここでは、操作情報がオートマチックトランスミッション車のギ
ヤ操作に関するギヤ情報を含んでいるとする。例えば、ギヤ情報は、例えば、前進動作(
Ｄレンジ)、後退動作（Ｒレンジ）、或いは駐車（Ｐレンジ）などを示す。

車両情報取得部１０２は、ＣＡＮ（Control Area Network）を介して、車両情報を取得
してもよい。つまり、画像処理装置１００は、ＣＡＮに接続され得る。あるいは、画像処
理装置１００は、ＣＡＮに接続されたカーナビゲーションシステム等からＢｌｕｅｔｏｏ
ｔｈ（登録商標）などにより、車両情報取得部１０２が車両情報を取得してもよい。

また、画像処理装置１００に加速度センサやジャイロセンサ等が搭載されている場合、
車両情報取得部１０２は、これらのセンサ情報に基づいて車両情報を取得することができ
る。例えば、スマートホン２１０に設けられた加速度センサなどを用いることで、車両情
報取得部１０２は、速度、加速度、進行方向（前進、後退、左折、右折）等の車両情報を
取得することができる。

姿勢情報取得部１０３は、ＶＲゴーグル３の姿勢検出部３２が検出した姿勢情報を取得
する。送信画像生成部１０４は、撮像画像を加工することで、送信画像を生成する。具体
的には、送信画像生成部１０４は、車両情報に基づいて、撮像画像の一部を切り出すこと
、複数の撮像画像から送信画像を選択すること、及び複数の撮像画像を合成することの少
なくとも一つを行って、画像を加工する。また、送信画像生成部１０４は、姿勢情報に基
づいて、撮像画像を加工してもよい。例えば、送信画像生成部１０４は、車両情報及び姿
勢情報の少なくとも一方に基づいて、撮像画像の一部を切り出すこと、複数の撮像画像か
ら送信画像を選択すること、及び複数の撮像画像を合成することの少なくとも一つを行っ
て、送信画像を生成する。

通信部１０５は、遠距離無線通信機能を有する。具体的には、通信部１０５は、無線信
号を出力するためのアンテナに、送信画像生成部１０４が生成した送信画像を変調して出
力する、変調回路である。通信部１０５は、アンテナを含んで構成されていてもよい。ま
た、アンテナが受信した信号の復調回路を含んで構成されていてもよい。アンテナは、受
信信号を受信するとともに、送信信号を空間に放射する。復調回路は、アンテナが受信し
た受信信号を復調する。変調回路は、送信信号を変調して、アンテナに出力する。例えば
、通信部１０５は、３Ｇ，ＬＴＥ（登録商標），４Ｇ、５Ｇ等の携帯電話の通信規格に従
って通信処理を行う。通信部１０５の通信規格は特に限定されるものではない。

通信部１０５による無線通信によって、車外のネットワーク６に対するデータ通信が可
能となる。ネットワーク６は、例えば、インターネットなどの外部ネットワークである。
通信部１０５は、ネットワーク６を介して、ＶＲゴーグル３に送信画像を送信する。さら
に、通信部１０５は、ネットワーク６を介して、ＶＲゴーグル３から送信された姿勢情報
を受信する。例えば、ネットワーク６は、図１で示したサーバ装置５を備えている。通信
部１０５は、音声通話のための無線通信を行ってもよい。

次に、ＶＲゴーグル３の構成について説明する。ＶＲゴーグル３は、表示部３１と、姿
勢検出部３２と、制御部３３と、通信部３５とを備えている。

表示部３１は、ＶＲゴーグル３を装着したユーザに対して、画像を表示する。表示部３
１は、液晶モニタや有機ＥＬ（Electro-Luminescence）モニタなどのフラットパネルディ
スプレイを備えている。さらに、表示部３１は、ディスプレイで表示された表示画像をユ
ーザの眼に導くための光学系を備えている。表示部３１は、左眼用の光学系と、右眼用の
光学系とをそれぞれ備えていてもよい。

姿勢検出部３２は、ＶＲゴーグル３を装着したユーザの姿勢を検出する。具体的には、
姿勢検出部３２は、ヘッドトラッキング機能を備えている。姿勢検出部３２は、３軸セン
サや６軸センサ等の姿勢状態を検知するセンサを有している。さらに、姿勢検出部３２は
、センサ出力から移動量を推定する回路を備えている。姿勢検出部３２は、各軸の検出結
果に応じた移動量信号を生成する。姿勢検出部３２によって、ユーザの頭部の位置や向き
を検出することで、ＶＲゴーグル３は表示画像を変えることができる。

通信部３５は、通信部１０５と同様に遠距離無線通信機能を有する。例えば、通信部１
０５は、３Ｇ，ＬＴＥ（登録商標），４Ｇ、５Ｇ等の携帯電話の通信規格に従って通信処
理を行う。通信部１０５の通信規格は特に限定されるものではない。あるいは、通信部３
５は、Ｂｌｕｅｔｏｏｔｈ通信やＷｉＦｉ通信等の近距離無線通信機能であってもよい。
また、通信部３５は、ＨＤＭＩ（登録商標）などの有線接続インターフェースであっても
よい。これらの場合、通信部３５は、ネットワーク６との通信が可能なＷｉＦｉルータ等
に接続される。

通信部３５による通信によって、ＶＲゴーグル３はネットワーク６に対するデータ通信
が可能となる。通信部３５は、ネットワーク６を介して、画像処理装置１００に姿勢情報
を送信する。さらに、通信部３５は、ネットワーク６を介して、画像処理装置１００から
送信された送信画像を受信する。さらに、通信部３５は、音声通話のための無線通信を行
ってもよい。

制御部３３は、ＶＲゴーグル３全体を統括的に制御する。例えば、制御部３３には、通
信部３５が受信した送信画像が入力されている。制御部３３は、送信画像に基づいて、映
像信号、制御信号を生成する。表示部３１のディスプレイが映像信号、制御信号に基づい
て表示画像を生成する。例えば、制御部３３は、送信画像の画像サイズとディスプレイの
表示サイズとが異なる場合、送信画像をディスプレイの表示サイズに変換する。表示部３
１が、送信画像に基づいた表示画像を表示することができる。なお、送信画像と表示画像
は、同一の画像に限られるものではない。例えば、制御部３３が、送信画像に適宜情報を
追加して、表示画像を生成してもよい。

なお、画像処理装置１００における処理の一部又は全部は、コンピュータプログラムに
より実現可能である。同様に、ＶＲゴーグル３における処理の一部又は全部は、コンピュ
ータプログラムにより実現可能である。画像処理装置１００、及びＶＲゴーグル３は、メ
モリ、及びプロセッサを備えている。メモリは、処理プログラムや各種パラメータやデー
タなどを記憶している。プロセッサは、メモリに格納された処理プログラムを実行する。
プロセッサが処理プログラムを実行することで、各処理が実行される。プロセッサは、例
えば、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array
）、ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrate
d Circuit）、又は、GPU(Graphics Processing Unit)等であってもよい。

送信画像生成部１０４における処理について詳細に説明する。まず、送信画像生成部１
０４が車両情報に基づいて、送信画像を生成する例を説明する。具体的には、送信画像生
成部１０４は、車両４が停止しているか否かの車両情報、例えば車両４のギヤ情報に基づ
いて、送信画像を選択している。撮像画像取得部１０１は、例えば、図２に示したように
、インカメラ２１１の撮像画像と、アウトカメラ２１２の撮像画像とを取得している。イ
ンカメラ２１１の撮像画像は、図３に示したように運転室内の画像であり、アウトカメラ
２１２の撮像画像は図４に示したように車両４の前方の景色である。送信画像生成部１０
４は、車両情報に基づいて、送信画像の切り出し範囲を決定してもよい。

ギヤがＤレンジにある場合、つまり前進動作中である場合、送信画像生成部１０４は、
前方景色を撮像したアウトカメラ２１２の撮像画像を選択する。ギヤがＰレンジにある場
合、つまり駐車中である場合、送信画像生成部１０４は、運転室内を撮像したインカメラ
２１１の撮像画像を選択する。このように、送信画像生成部１０４は、車両情報に基づい
て、複数の撮像画像の中から１つの送信画像を選択している。そして、通信部１０５は、
選択された送信画像をＶＲゴーグル３に送信する。これにより、ＶＲゴーグル３は、選択
画像に基づく表示画像を表示することができる。

ユーザが、ＶＲゴーグル３で表示された表示画像を視認するため、運転中の景色を楽し
むことができる。つまり、ユーザは、運転者が見ている前方の景色と同様の景色を視認す
ることができる。また、駐車中には、テレビ電話と同様に運転者の顔を視認することがで
きる。これにより、ユーザが運転者と旅行しているかのような疑似体験をすることができ
る。

車両情報は、ギヤ情報に限定されず、車両４が停止しているか否かを示すものであれば
よい。例えば、送信画像生成部１０４又は車両情報取得部１０２が、センサで検出された
加速度や速度に応じて、停止しているか否かを判定すればよい。例えば、送信画像生成部
１０４又は車両情報取得部１０２が、エンジンの停止や、位置情報が変化していないこと
に応じて、車両の停止を判定してもよい。そして、車両情報が停止中を示す場合、送信画
像生成部１０４は、インカメラ２１１による撮像画像を選択する。また、車両情報が前進
走行中であることを示す場合、送信画像生成部１０４は、アウトカメラ２１２を選択して
もよい。

上記の説明では、走行中では、アウトカメラ２１２による撮像画像を送信画像とし、停
止中では、インカメラ２１１による撮像画像を送信画像としているが、送信画像の選択は
この例に限られるものではない。撮像部２に３つ以上のカメラがある場合、送信画像生成
部１０４は、車両情報に応じて、適宜撮像画像を選択することができる。撮像部２が３６
０°カメラである場合、送信画像生成部１０４は、車両情報に応じて、適宜撮像画像の一
部を切り出してもよい。また、送信画像生成部１０４は、３以上の撮像画像から１又は複
数の画像を選択して、送信画像とする。

例えば、ギヤがＲレンジにある場合、つまり、後退動作中である場合、車両４の後方を
撮像するリアカメラの撮像画像を送信画像としてもよい。ユーザが車両４の後方を視認す
ることができる。これにより、ユーザが遠隔地にて、後退動作中の安全確認を行うことが
できる。例えば、車両４の後方に障害物がある場合に、ユーザは、音声通話によって運転
者に障害物の存在を報知することができる。よって、安全性を高めることができる。

このように、送信画像生成部１０４は、車両情報に基づいて、撮像画像を加工すること
で送信画像を生成している。例えば、送信画像生成部１０４は、複数の撮像画像の中から
送信画像を選択することで、送信画像を生成している。これにより、画像処理装置１００
が車両４の動作に応じた画像を送信することができる。また、送信画像のデータ量を少な
くすることができる。よって、通信遅延を抑制することができるため、ＶＲゴーグル３が
、応答性の高い表示を行うことができる。

次に、送信画像生成部１０４が姿勢情報に基づいて、送信画像を生成する例を説明する
。ここでは、車両が前進している動作中に、ユーザが頭部の向きを変えた場合の送信画像
について説明する。送信画像生成部１０４は、図４に示すように、アウトカメラ２１２で
撮像された撮像画像を取得している。姿勢検出部３２は、ユーザの頭部の向き又は位置を
検出している。そして、ＶＲゴーグル３は、頭部の向き又は位置を姿勢情報として、画像
処理装置１００に送信している。

画像処理装置１００が、ＶＲゴーグル３が送信した姿勢情報を受信すると、送信画像生
成部１０４が姿勢情報に応じて送信画像を生成する。ここでは、送信画像生成部１０４は
、姿勢情報に応じて、撮像画像の一部を切り出している。

例えば、図６に示すように、撮像画像５０は、図４と同様に車両４の前方の景色を含ん
でいる。送信画像生成部１０４は、姿勢情報に基づいて、送信画像の切り出し位置を決定
する。例えば、ユーザが正面前方を向いている場合、送信画像生成部１０４は、撮像画像
５０の上下左右それぞれの中央部の一部を切り出して、送信画像６０Ｃとする。ユーザが
左側を向いた場合、送信画像生成部１０４は、撮像画像５０の左側の一部を切り出して、
送信画像６０Ｌとする。ユーザが上側を向いた場合、送信画像生成部１０４は、撮像画像
５０の上側の一部を切り出して、送信画像６０Ｕとする。

このように、送信画像生成部１０４は、姿勢情報に基づいて、撮像画像を加工すること
で送信画像を生成している。送信画像生成部１０４は、撮像画像の一部を切り出して送信
画像としている。これにより、送信画像の画像サイズを撮像画像の画像サイズよりも小さ
くすることがため、送信データ量を少なくすることができる。よって、通信遅延を抑制す
ることができるため、ＶＲゴーグル３が、応答性の高い表示を行うことができる。

特に、撮像部２が、車両４の周囲３６０°を撮像可能な場合、撮像画像の一部を送信画
像として切り出すことで、画像サイズを小さくすることができる。よって、解像度を落と
さずに送信画像を送信することができる。また、ＶＲゴーグル３側で圧縮画像を伸張する
処理時間を短縮することができる。低遅延で高画質の配信が可能となり、リアルタイム性
を高くすることができる。

また、送信画像生成部１０４は、姿勢情報に基づいて、切り出し位置を決定している。
送信画像生成部１０４は、姿勢情報に基づいて、撮像画像において送信画像を切り出す画
素アドレスを算出する。具体的には、ＶＲゴーグル３が検出したユーザの頭部の向きが正
面方向であった場合、送信画像生成部１０４は、アウトカメラ２１２による撮像画像の中
心部を切り出し位置とする。ＶＲゴーグル３が検出したユーザの頭部の向きが後方であっ
た場合、つまりユーザが後方を向いた場合、送信画像生成部１０４は、インカメラ２１１
による撮像画像の中心部を切り出し位置とする。また３６０°カメラの映像を切り出す場
合、ユーザの頭部の向きに応じて切り出し位置の中心を上下左右に自在に変更することが
できる。したがって、送信画像生成部１０４は、ＶＲゴーグル３を装着したユーザが見た
い方向の景色を送信画像として生成することができる。よって、ユーザは助手席に座った
状態で、運転者と一緒に旅行しているような体験をすることができる。さらに、ＶＲゴー
グル３のユーザが、車両４の運転者又は搭乗者と音声通話により会話を行うようにしても
よい。これにより、ユーザによる道案内や観光案内などのアドバイスを運転者又は搭乗者
が受けることができる。さらに、運転者が気づきにくい運転上の危険をユーザが指摘する
ことができる。

また、ＶＲゴーグル３を装着したユーザが後方を向いた場合、送信画像生成部１０４は
、インカメラ２１１による撮像画像に切り替えてもよい。つまり、ユーザが後方を向いた
場合、送信画像生成部１０４は、運転室内を撮像した撮像画像を送信画像としてもよい。

なお、上記の説明では、姿勢情報又は車両情報に基づいて送信画像を生成する例を別々
に説明したが、送信画像生成部１０４は、姿勢情報及び車両情報の両方に基づいて送信画
像を生成してもよい。この場合、例えば、送信画像生成部１０４が、車両の前進動作中に
おいては姿勢情報に基づいて送信画像を生成し、車両の停止中においては車両情報に基づ
いて送信画像を生成してもよい。図６に示すような送信画像の切り出し位置を調整すれば
よい。

実施の形態１にかかる画像処理方法について、図７を用いて説明する。図７は、画像処
理方法のフローチャートである。まず、撮像画像取得部１０１が撮像部２が撮像した撮像
画像を取得する（Ｓ１１）。車両情報取得部１０２が車両情報を取得する（Ｓ１２）。姿
勢情報取得部１０３がＶＲゴーグル３のユーザの姿勢情報を取得する（Ｓ１３）。

送信画像生成部１０４が撮像画像から送信画像を生成する（Ｓ１４）。つまり、送信画
像生成部１０４は、車両情報又は姿勢情報に基づいて撮像画像を加工する。例えば、送信
画像生成部１０４は、複数の撮像画像から１つの送信画像を選択する。あるいは、送信画
像生成部１０４は、撮像画像の一部を切り出して送信画像を生成する。具体的な加工処理
については、上記と同様であるため説明を省略する。これにより、送信画像が生成される
。通信部１０５は、送信画像を送信する（Ｓ１５）。

画像処理装置１００が上記の処理を繰り返すことで、ＶＲゴーグル３が動画像を表示す
ることができる。よって、ユーザは、車両４に同乗しているかのような疑似体験をするこ
とができる。画像処理装置１００は、高画質の送信画像を低遅延で送信することが可能で
あり、リアルタイム性を高くすることができる。また、撮像画像のフレーム間隔が、車両
情報及び姿勢情報の更新間隔と一致していない場合、画像処理装置１００は、最新の車両
情報及び姿勢情報を用いて、送信画像を生成すればよい。また、送信画像生成部１０４は
、姿勢情報及び車両情報の一方のみに基づいて、送信画像を生成してもよい。

実施の形態２．
実施の形態２では、車両情報取得部１０２が、車両情報として車両の速度を示す速度情
報を取得している。例えば、車両情報取得部１０２は、ＣＡＮから出力された車速パルス
を用いて速度情報を取得することができる。あるいは、車両４又はスマートホン２１０に
設けられた加速度センサと通信することによって、車両情報取得部１０２が速度情報を取
得してもよい。

図８は、本実施の形態に係る撮像部２の配置例を示す図である。本実施の形態では、ス
マートホン２１０の代わりにドライブレコーダ２２０が設けられている。ドライブレコー
ダ２２０は、フロントガラスであるウィンドシールド１４に設置されている。撮像部２が
ドライブレコーダ２２０のカメラ２２１を備えている。カメラ２２１は、実施の形態１の
アウトカメラ２１２と同様に前方の景色を撮像している。図９は、カメラ２２１による撮
像画像を示す図である。

送信画像生成部１０４は、速度情報に応じて、切り出す画像の範囲、例えば、切り出す
画像サイズ（切り出しサイズともいう）を変更する。図９は、速度Ｖ１の場合の送信画像
６１と、速度Ｖ２の場合の送信画像６２を示す。速度Ｖ１は、速度Ｖ２よりも速い速度で
あり、送信画像６１は、送信画像６２よりも小さい画像サイズである。送信画像生成部１
０４は、速度情報が示す車両速度が速くなるほど、切り出す画像サイズを小さくする。こ
のようにすることで、臨場感の高い表示画像を得ることができる。なお、送信画像６１と
送信画像６２は、縦横比が同じであるが、縦×横の画素数が異なっている。このとき、切
り出した送信画像６１、６２の中心点は同一であることが好ましい。送信画像６１，６２
の中心点は、姿勢情報により、ユーザが注視している点または注視している領域の中心部
であることがより好ましい。

また、車両の移動速度が速くなるほど、通信が不安定となり、通信速度が低下するおそ
れがある。また、車両の速度が速くなるほど、送信画像がＭＰＥＧ（Moving Picture Exp
erts Group）エンコーダ等により圧縮されて、送信されている場合には。撮像画像の変化
が大きくなり、画像圧縮した圧縮データのデータサイズが大きくなるおそれがある。よっ
て、車両速度が速くなるほど、切り出しサイズを小さくすることで、通信遅延を抑制する
ことができる。ＶＲゴーグル３がリアルタイム性の高い表示を行うことができる。

また、送信画像生成部１０４は、速度情報に応じて、切り出す画像の範囲、例えば、切
り出し位置を変更してもよい。例えば、送信画像生成部１０４は、速度情報に応じて、撮
像画像における送信画像の切り出し位置を上下方向に変更することができる。図１０は、
速度Ｖ１の場合の送信画像６１と、速度Ｖ２の場合の送信画像６２を示す。速度Ｖ１は、
速度Ｖ２よりも速い速度であり、送信画像６１は、送信画像６２よりも上方にある。送信
画像生成部１０４は、速度情報が示す車両速度が速くなるほど、切り出し位置を上方にす
る。このようにすることで、車両速度が速いほど、より車両４から遠い位置を撮像した送
信画像を生成することができる。よって、より臨場感の高い表示画像を得ることができる
。

送信画像生成部１０４は、車両速度が速くなるほど、切り出し位置を上方にしている。
このようにすることで、通信遅延を抑制することができる。例えば、車両速度が速くなる
と、送信画像に道路が含まれなくなる。送信画像がＭＰＥＧエンコーダ等により圧縮され
て、送信されているとする。道路を含まない送信画像は画像の変化量が少ないため、圧縮
率は、画像の変化量が大きい道路を含む送信画像の圧縮率よりも高くなる。よって、画像
処理装置１００が道路を含まない送信画像を圧縮することで、より送信画像のデータ量を
小さくすることができる。また、車両の移動速度が速くなるほど、画像の変化量が大きい
道路を注視することにより、ユーザの眩暈などの不具合が生じる可能性が高くなるため、
切り出し位置を情報にすることが好ましい。また、送信画像は道路を全く含んでいない画
像であっても、一部含んだ画像であってもよい。送信画像における道路の領域を小さくす
ることで、より高い圧縮率で送信画像を生成することができる。これにより、通信遅延を
抑制することができ、ＶＲゴーグル３がリアルタイム性の高い表示を行うことができる。

上記の説明では、送信画像生成部１０４が、速度情報に応じて、画像サイズ、及び切り
出し位置を変更する例を別々に説明したが、送信画像生成部１０４は、速度情報に応じて
画像サイズ及び切り出し位置の両方を変更してもよい。たとえば、速度情報が示す車両速
度が速くなるほど、画像サイズを小さくし、かつ切り出し位置を上方にしてもよい。

実施の形態２と実施の形態１とを組み合わせてもよい。例えば、送信画像生成部１０４
は、姿勢情報と速度情報とに基づいて、切り出し位置を決定することができる。

実施の形態３．
実施の形態３では、車両情報取得部１０２が、車両情報として車両の加速度を示す加速
度情報を取得している。例えば、車両情報取得部１０２は、ＣＡＮから出力された車速パ
ルスを用いて加速度情報を取得することができる。あるいは、車両４又はスマートホン２
１０に設けられた加速度センサによって、車両情報取得部１０２が加速度情報を取得して
もよい。

送信画像生成部１０４は、加速度情報に応じて、切り出す画像サイズを変更する。送信
画像生成部１０４は、加速度が大きくなるほど、送信画像の画像サイズを小さくする。図
９において、送信画像６１は加速度Ａ１の場合の送信画像であり、送信画像６２は加速度
Ａ２の場合の送信画像である。なお、加速度Ａ１は、加速度Ａ２よりも大きくなっている
。

このように、加速度情報に応じて画像サイズ（切り出しサイズ）を変更することで、Ｖ
Ｒゴーグル３が、より臨場感の高い表示画像を表示することができる。例えば、車両４の
発進時には、加速度が大きくなるため、より小さい画像サイズとなる。ＶＲゴーグル３を
装着したユーザは、高い臨場感で表示画像を視認することができる。

あるいは、送信画像生成部１０４は、加速度情報に応じて、切り出し位置を変更しても
よい。送信画像生成部１０４は、加速度が大きくなるほど、送信画像の切り出し位置を上
方にする。図１０において、送信画像６１は加速度Ａ１の場合の送信画像であり、送信画
像６２は加速度Ａ２の場合の送信画像である。なお、加速度Ａ１は、加速度Ａ２よりも大
きくなっている。

このように、加速度情報に応じて切り出し位置を変更することで、ＶＲゴーグル３が、
より臨場感の高い表示画像を表示することができる。例えば、車両４の発進時には、加速
度が大きくなるため、切り出し位置がより上方となる。ＶＲゴーグル３を装着したユーザ
は、高い臨場感で表示画像を視認することができる。

上記の説明では、送信画像生成部１０４が、速度情報、又は加速度情報に応じて、画像
サイズ、及び切り出し位置を変更する例を別々に説明したが、送信画像生成部１０４は、
加速度情報又は速度情報に応じて画像サイズ及び切り出し位置の両方を変更してもよい。
たとえば、速度情報が示す車両速度が速くなるほど、あるいは、加速度情報が示す加速度
が大きくなるほど、画像サイズを小さくし、かつ切り出し位置を上方にしてもよい。さら
に、加速度情報、及び速度情報の両方に応じて、送信画像生成部１０４が撮像画像を加工
してもよい。

実施の形態３は、実施の形態１とを組み合わせてもよい。例えば、送信画像生成部１０
４は、姿勢情報と加速度情報とに基づいて、切り出し位置を決定することができる。

実施の形態４．
実施の形態４にかかる画像処理システムでは、撮像部２が複数のカメラを有している。
撮像部２でのカメラの配置例について、図１１を用いて説明する。図１１は、車両４を上
面から見た模式図である車両４の周囲３６０°全体をカバ－するために、撮像部２は、フ
ロントカメラ２３１，リアカメラ２３２，左サイドカメラ２３３、及び右サイドカメラ２
３４を備えている。図１１は、フロントカメラ２３１，リアカメラ２３２，左サイドカメ
ラ２３３、及び右サイドカメラ２３４の撮像範囲を破線で示してる。

フロントカメラ２３１、リアカメラ２３２、左サイドカメラ２３３、及び右サイドカメ
ラ２３４は広い撮像範囲をカバーするために広角カメラとなっている。撮像部２は、車両
４の周囲全体を撮像する。

フロントカメラ２３１は、車両４の前方を撮像し、リアカメラ２３２は車両４の後方を
撮像する。左サイドカメラ２３３は、車両４の左側を撮像し、右サイドカメラ２３４は、
車両４の右側を撮像する。フロントカメラ２３１の撮像範囲の一部は、左サイドカメラ２
３３の撮像範囲の一部と重複している。フロントカメラ２３１の撮像範囲の一部は、右サ
イドカメラ２３４の撮像範囲の一部と重複している。同様に、リアカメラ２３２の撮像範
囲の一部は、左サイドカメラ２３３の撮像範囲の一部、並びに右サイドカメラ２３４の撮
像範囲の一部と重複している。

姿勢情報取得部１０３は、ユーザの姿勢を示す姿勢情報を取得する。ここでは、ユーザ
が左斜め前方を向いているとする。このとき、送信画像で表示すべき範囲を図１１に示す
ように範囲６５とする。範囲６５の左右両端を左端６６Ｌ、右端６６Ｒとする。範囲６５
は、フロントカメラ２３１による撮像範囲の一部と、左サイドカメラ２３３による撮像範
囲の一部とを含んでいる。範囲６５の左端６６Ｌは、左サイドカメラ２３３の撮像範囲の
みに含まれ、右端６６Ｒはフロントカメラ２３１の撮像範囲のみに含まれている。

送信画像生成部１０４は、フロントカメラ２３１の撮像画像の一部を切り出す。具体的
には、送信画像生成部１０４は、フロントカメラ２３１の撮像範囲の左側にある切り出し
範囲６７で撮像画像を切り出している。また、送信画像生成部１０４は、左サイドカメラ
２３３の撮像画像の一部を切り出す。具体的には、送信画像生成部１０４は、左サイドカ
メラ２３３の撮像画像の前側にある切り出し範囲６８で撮像画像を切り出している。切り
出し範囲６７と切り出し範囲６８は一部重複している。送信画像生成部１０４は、切り出
した２つの切り出し画像を合成して、送信画像としている。

送信画像生成部１０４が、２つの撮像画像を合成している。すなわち、２つのカメラで
撮像された撮像画像を送信画像生成部１０４が合成して、送信画像としている。また、送
信画像生成部１０４は、一方のカメラの撮像画像の一部を切り出して、他方のカメラの撮
像画像の全体と合成してもよい。もちろん、合成する２つの撮像画像は同期している。す
なわち、送信画像生成部１０４は、同じタイミングにおいて異なるカメラで撮像された２
つの撮像画像を合成している。さらには、送信画像生成部１０４は、３つ以上のカメラの
撮像画像を合成することで、送信画像を生成してもよい。

上記の実施の形態１～４は適宜組み合わせることが可能である。送信画像生成部１０４
は、車両情報に基づいて、撮像画像の一部を切り出すこと、及び複数の撮像画像から送信
画像を選択すること、複数の撮像画像を合成することの少なくとも一つを行うことで、送
信画像を生成することができる。このようにすることで、画像処理装置１００が車両４の
動作に応じた画像を送信することができる。また、送信画像のデータ量を削減することが
できるため、ＶＲゴーグル３において高画質でリアルタイム性の高い表示が可能になる。

上記の実施の形態では、送信画像生成部１０４は、姿勢情報に基づいて、撮像画像にお
ける切り出し位置を決定したが、姿勢情報以外の情報に基づいて、切り出し位置を決定し
てもよい。例えば、ユーザが、マイクによる音声入力やボタン等による操作入力によって
、見たい方向を変えるようにしてもよい。つまり、ユーザが音声入力や操作入力によって
見たい方向を指定すると、送信画像生成部１０４は、その方向が送信画像に含まれるよう
に切り出し位置を変更する。さらには、ユーザによる音声入力や操作入力により、カメラ
切り替えや、画像サイズ変更を行ってもよい。

画像処理装置１００、及びＶＲゴーグル３は、ＣＰＵ（Central Processing Unit）等
のプロセッサ、メモリ等の記憶装置、ユーザインタフェース及び各種周辺回路によって構
成されている。つまり、画像処理装置１００及びＶＲゴーグル３は、コンピュータとして
の機能を有する。また、画像処理装置１００は、記憶装置に格納されたプログラムをプロ
セッサが実行することによって、撮像画像取得部１０１、車両情報取得部１０２、姿勢情
報取得部１０３、送信画像生成部１０４、及び通信部１０５といった構成要素を実現して
もよい。ＶＲゴーグル３は、記憶装置に格納されたプログラムをプロセッサが実行するこ
とによって、表示部３１、姿勢検出部３２、制御部３３、通信部３５といった構成要素を
実現してもよい。

また、画像処理装置１００、及びＶＲゴーグル３の各構成要素は、プログラムによるソ
フトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフト
ウェアのうちのいずれかの組み合わせ等により実現してもよい。また、画像処理装置１０
０の各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等
の、使用者がプログラミング可能な集積回路を用いて実現してもよい。この場合、この集
積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このこ
とは、後述する他の実施の形態においても同様である。

また、上記の表示制御方法を実行するためのプログラムは、様々なタイプの非一時的な
コンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され
、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタ
イプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュー
タ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードデ
ィスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Onl
y Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ
（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（ran
dom access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュ
ータ可読媒体（transitory computer readable medium）によってコンピュータに供給さ
れてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含
む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通
信路を介して、プログラムをコンピュータに供給できる。

１ システム
２ 撮像部
３ ＶＲゴーグル
４ 車両
５ サーバ装置
６ ネットワーク
３１ 表示部
３２ 姿勢検出部
３３ 制御部
３５ 通信部
５０ 撮像画像
６１ 送信画像
６２ 送信画像
１００ 画像処理装置
１０１ 撮像画像取得部
１０２ 車両情報取得部
１０３ 姿勢情報取得部
１０４ 送信画像生成部
１０５ 通信部
２１０ スマートホン
２１１ インカメラ
２１２ アウトカメラ
２２０ ドライブレコーダ
２２１ カメラ
２３１ フロントカメラ
２３２ リアカメラ
２３３ 左サイドカメラ
２３４ 右サイドカメラ

Claims (2)

1. 車両に配置された撮像部で撮像された、前記車両の運転者を含む車両内部を撮像した画像を含む撮像画像を取得する撮像画像取得部と、
   前記車両が停止しているか否かを示す情報を含む車両情報を取得する車両情報取得部と、
   前記車両が停止している場合に、前記車両内部の撮像画像の一部を前記運転者を視認可能に切り出すこと、前記車両内部の撮像画像から送信画像を前記運転者を視認可能に選択すること、及び前記車両内部の撮像画像を含む複数の前記撮像画像を前記運転者を視認可能に合成することの少なくとも一つを行うことで、前記送信画像を生成する送信画像生成部と、
   無線通信により、前記送信画像を送信する通信部と、
   を備えた画像処理装置。
2. 車両に配置された撮像部で撮像された、前記車両の運転者を含む車両内部を撮像した画像を含む撮像画像を取得するステップと、
   前記車両が停止しているか否かを示す情報を含む車両情報を取得するステップと、
   前記車両が停止している場合に、前記車両内部の撮像画像の一部を前記運転者を視認可能に切り出すこと、前記車両内部の撮像画像から送信画像を前記運転者を視認可能に選択すること、及び前記車両内部の撮像画像を含む複数の前記撮像画像を前記運転者を視認可能に合成することの少なくとも一つを行うことで、前記送信画像を生成するステップと、
   無線通信により、前記送信画像を送信するステップと、
   を備えた画像処理方法。
   

Images