JP2021157733A - Motion estimation system and motion estimation method - Google Patents
Motion estimation system and motion estimation method Download PDFInfo
- Publication number
- JP2021157733A JP2021157733A JP2020060199A JP2020060199A JP2021157733A JP 2021157733 A JP2021157733 A JP 2021157733A JP 2020060199 A JP2020060199 A JP 2020060199A JP 2020060199 A JP2020060199 A JP 2020060199A JP 2021157733 A JP2021157733 A JP 2021157733A
- Authority
- JP
- Japan
- Prior art keywords
- behavior
- occupant
- moving body
- passenger
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000009434 installation Methods 0.000 claims abstract description 32
- 230000001133 acceleration Effects 0.000 claims description 91
- 238000001514 detection method Methods 0.000 claims description 75
- 230000006399 behavior Effects 0.000 description 314
- 238000004891 communication Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 206010034719 Personality change Diseases 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、挙動推定システム及び挙動推定方法に関するものである。 The present invention relates to a behavior estimation system and a behavior estimation method.
移動体に搭乗する搭乗者の頭部の挙動及び移動体の挙動を取得し、これらの挙動の差に基づいて、搭乗者が行う頭部の動作を推定する技術が知られている。 There is known a technique for acquiring the behavior of the head of a passenger boarding a moving body and the behavior of the moving body, and estimating the movement of the head performed by the passenger based on the difference between these behaviors.
例えば、特許文献１の技術では、移動体のインスツルメントパネルに固定された携帯電話のモーションセンサが移動体の挙動を検出する。また、搭乗者に装着されたウェアラブルデバイスのセンサが搭乗者の頭部の挙動を検出する。そして、検出された移動体の挙動と搭乗者の頭部の挙動の差に基づいて、搭乗者が行う頭部の動作が推定される。
For example, in the technique of
しかしながら、特許文献１の技術は、移動体内の一か所に固定されたモーションセンサによって検出された移動体の挙動を用いて、搭乗者による身体の挙動を推定する。移動体の挙動によって生じる搭乗者の身体の挙動は、移動体における搭乗者の位置に応じて異なるため、特許文献１の技術は、搭乗者による身体の挙動を正確に推定できないという問題がある。
However, the technique of
本発明が解決しようとする課題は、移動体の搭乗者による身体の挙動を正確に推定できる挙動推定システム及び挙動推定方法を提供することである。 An object to be solved by the present invention is to provide a behavior estimation system and a behavior estimation method capable of accurately estimating the behavior of a moving body by a passenger.
本発明は、移動体に搭乗する搭乗者の身体の挙動を検出し、移動体における搭乗者の位置を搭乗者位置として検出し、移動体の複数の設置位置における移動体の挙動を検出し、移動体における搭乗者位置と複数の設置位置との位置関係と、複数の設置位置における移動体の挙動とに基づいて、搭乗者位置における移動体の挙動を推定し、検出された身体の挙動と搭乗者位置における移動体の挙動とに基づいて、搭乗者による身体の挙動を推定することによって上記課題を解決する。 The present invention detects the behavior of the body of a occupant boarding a moving body, detects the position of the occupant on the moving body as a occupant position, detects the behavior of the moving body at a plurality of installation positions of the moving body, and detects the behavior of the moving body. Based on the positional relationship between the occupant position and the plurality of installation positions in the moving body and the behavior of the moving body at the plurality of installation positions, the behavior of the moving body at the occupant position is estimated, and the detected body behavior The above problem is solved by estimating the behavior of the body by the passenger based on the behavior of the moving body at the passenger position.
本発明によれば、移動体の搭乗者による身体の挙動を正確に推定できる。 According to the present invention, the behavior of the body by the passenger of the moving body can be accurately estimated.
≪第１実施形態≫
本発明に係る挙動推定システムの一実施形態を図面に基づいて説明する。
<< First Embodiment >>
An embodiment of the behavior estimation system according to the present invention will be described with reference to the drawings.
本実施形態に係る挙動推定システムの構成を図１を用いて説明する。図１は、本実施形態における挙動推定システム１の機能構成の一例を示すブロック図である。
The configuration of the behavior estimation system according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing an example of the functional configuration of the
挙動推定システム１は、車載デバイス１０とウェアラブルデバイス２０とを備える。車載デバイス１０は車両２に搭載されている装置である。車載デバイス１０は、少なくとも移動体挙動検出装置１１、コントローラ１２と、車載通信装置１３と、カメラ１４と、シートセンサ１５とを備える。また、ウェアラブルデバイス２０は、車両２に搭乗している搭乗者に装着される装置である。また、ウェアラブルデバイス２０は、搭乗者挙動検出装置２１と、表示部２２と、通信装置２３とを備える。ウェアラブルデバイス２０は、例えば、メガネ型又はゴーグル型のヘッドマウントディスプレイであって、搭乗者の頭部に装着されて、搭乗者の頭部の挙動を検出する。また、ウェアラブルデバイス２０は、ディスプレイ等である表示部２２に、搭乗者の視界に映る景色に重畳させるように仮想オブジェクトの表示画像を表示させる。なお、本実施形態では、挙動推定システム１は、車両に搭載された装置等により構成されているが、車両に限らず、その他の移動体に搭載されてもよい。例えば、電車、船、飛行機等であってもよい。
The
また、挙動推定システム１は、車両２内の任意の位置にいる搭乗者による身体の挙動を推定し、推定された搭乗者による身体の挙動に基づいて、表示部２２における画像表示を制御する。搭乗者による身体の挙動とは、搭乗者が行う行為に起因して生じる身体の挙動、すなわち、搭乗者の能動的な身体の挙動である。例えば、搭乗者が頭部の向きを変えることによって生じる頭部の挙動や、搭乗者が腕を動かすことによって生じる腕の挙動である。また、身体の挙動として、身体の加速度及び角速度の少なくともいずれかひとつが検出される。本実施形態では、搭乗者の頭部に装着されたウェアラブルデバイス２０のセンサが搭乗者の頭部の挙動を検出する。したがって、車両２が静止している場合には、搭乗者が頭部を動かしたときに、センサが搭乗者による頭部の挙動を検出することができる。しかしながら、車両２が走行している場合には、センサによって検出される搭乗者の頭部の挙動には、搭乗者による頭部の挙動だけでなく、車両２の挙動によって生じる頭部の挙動、すなわち、受動的な頭部の挙動も含まれる。例えば、搭乗者が頭部を動かしたとしても、走行している車両２の加減速や旋回によっても、搭乗者の頭部に挙動が生じるため、センサは、ふたつの挙動が合わさった状態で、搭乗者の頭部の挙動を検出する。このような状況では、センサによって、搭乗者による頭部の挙動のみを適切に検出することは困難である。そこで、従来では、ウェアラブルデバイス２０のセンサによる搭乗者の頭部の挙動の検出とは別に、車両２の挙動を検出して、ウェアラブルデバイス２０のセンサで検出した搭乗者の頭部の挙動から車両２の挙動を差し引くことで、搭乗者による頭部の挙動のみを推定する。
Further, the
しかしながら、車両２の挙動が搭乗者の頭部の挙動に与える影響は、車両２内における搭乗者の位置に応じて異なる。例えば、車両２の挙動は、図２で示されるように、車両２内の位置に応じて異なる。図２は、車両２が左方向に曲がるカーブを旋回しているときの、車両２内の３か所に設置された加速度センサ（前方センサ２００、中央センサ２０１、後方センサ２０２）がそれぞれ検出する車両の加速度を模式的に示している図である。図２では、各センサによる検出された加速度の方向と大きさが、Ｘ軸方向（車両２の進行方向）とＹ軸方向（車両２の幅方向）の成分に分解され、ベクトルの方向と大きさにより表現されている。例えば、後方センサ２０２における加速度の方向は、前方センサ２００における加速度の方向と比較すると、Ｙ軸方向において反対向きとなっている。また、中央センサ２０１における加速度の大きさは、Ｙ軸方向において、前方センサ２００における加速度の大きさよりも小さい。このように、車両２の挙動は、車両２内の位置に応じて異なる。したがって、車両内において、任意の位置に座っている搭乗者による身体の挙動を正確に推定するためには、搭乗者の位置に応じて異なる車両の挙動を推定する必要がある。本実施形態に係る挙動推定システム１は、搭乗者の位置における車両の挙動を推定し、センサにより検出された搭乗者の頭部の挙動から、搭乗者の位置における車両の挙動を差し引くことで、搭乗者の位置における搭乗者による頭部の挙動を推定する。これにより、本実施形態では、移動体の搭乗者による身体の挙動を正確に推定できる。また、搭乗者による頭部の挙動に応じてウェアラブルデバイス２０の表示部２２に表示画像を表示させる場合に、推定された搭乗者による身体の挙動に基づいて、搭乗者の視界に適切に画像を表示させることができる。例えば、搭乗者の視界に映る車内の対象物に重ねるように表示画像を表示させる場合には、搭乗者による頭部の挙動に応じて表示部２２上における表示画像の表示位置を制御するために、搭乗者による頭部の挙動を正確に推定しなければならないからである。
However, the influence of the behavior of the vehicle 2 on the behavior of the occupant's head differs depending on the position of the occupant in the vehicle 2. For example, the behavior of the vehicle 2 differs depending on the position in the vehicle 2 as shown in FIG. FIG. 2 shows acceleration sensors (front sensor 200, center sensor 201, rear sensor 202) installed at three locations in the vehicle 2 when the vehicle 2 is turning a curve that turns to the left. It is a figure which shows the acceleration of a vehicle schematically. In FIG. 2, the direction and magnitude of the acceleration detected by each sensor are decomposed into the components of the X-axis direction (traveling direction of the vehicle 2) and the Y-axis direction (width direction of the vehicle 2), and the direction and magnitude of the vector. It is expressed by. For example, the direction of acceleration in the rear sensor 202 is opposite to the direction of acceleration in the front sensor 200 in the Y-axis direction. Further, the magnitude of the acceleration in the central sensor 201 is smaller than the magnitude of the acceleration in the front sensor 200 in the Y-axis direction. As described above, the behavior of the vehicle 2 differs depending on the position in the vehicle 2. Therefore, in order to accurately estimate the behavior of the body of a occupant sitting at an arbitrary position in the vehicle, it is necessary to estimate the behavior of the vehicle that differs depending on the position of the occupant. The
移動体挙動検出装置１１は、車両２の挙動を検出する。移動体挙動検出装置１１は、例えば、加速度センサ１１０及びジャイロセンサ１１１を含む。また、移動体挙動検出装置１１は、車両２内の複数の異なる設置位置にそれぞれ設置される。すなわち、複数の移動体挙動検出装置１１が車両２に固定されている。例えば、２軸の加速度センサ１１０を含む移動体挙動検出装置１１が少なくとも３つ、同一平面上、かつ同一円上の異なる位置にそれぞれ設置される。なお、移動体挙動検出装置１１の設置位置は、同一平面上、かつ同一円上の異なる位置でなくてもよい。また、単軸の加速度センサ１１０を含む移動体挙動検出装置１１を異なる位置に６つ設置することとしてもよい。そして、移動体挙動検出装置１１は、設置された設置位置における車両２の挙動、すなわち、車両２の加速度及び角速度の少なくともいずれかひとつを検出する。例えば、図３Ａのように、複数の移動体挙動検出装置１１が、剛体として扱える車両２のフレーム４角（前後左右）にそれぞれ搭載される。また、これに限らず、図３Ｂで示されるように、移動体挙動検出装置１１が車両２に３つ搭載されることとしてもよい。これにより、車両２の設置位置における車両２の挙動を検出できる。そして、複数の移動体挙動検出装置１１は、設置された設置位置における車両２の挙動をそれぞれ検出し、検出された値をコントローラ１２に送信する。このとき、移動体挙動検出装置１１は、３次元座標で表されたそれぞれの装置の位置も併せて送信する。 The mobile body behavior detection device 11 detects the behavior of the vehicle 2. The moving body behavior detection device 11 includes, for example, an acceleration sensor 110 and a gyro sensor 111. Further, the moving body behavior detection device 11 is installed at a plurality of different installation positions in the vehicle 2. That is, a plurality of moving body behavior detection devices 11 are fixed to the vehicle 2. For example, at least three mobile body behavior detection devices 11 including a two-axis acceleration sensor 110 are installed at different positions on the same plane and on the same circle. The installation positions of the moving body behavior detection device 11 do not have to be different positions on the same plane and on the same circle. Further, six moving body behavior detection devices 11 including a single-axis acceleration sensor 110 may be installed at different positions. Then, the moving body behavior detection device 11 detects the behavior of the vehicle 2 at the installed installation position, that is, at least one of the acceleration and the angular velocity of the vehicle 2. For example, as shown in FIG. 3A, a plurality of mobile body behavior detection devices 11 are mounted on the four corners (front, back, left, and right) of the vehicle 2 that can be treated as a rigid body. Further, the present invention is not limited to this, and as shown in FIG. 3B, three mobile body behavior detection devices 11 may be mounted on the vehicle 2. Thereby, the behavior of the vehicle 2 at the installation position of the vehicle 2 can be detected. Then, the plurality of mobile body behavior detection devices 11 detect the behavior of the vehicle 2 at the installed installation position, and transmit the detected value to the controller 12. At this time, the moving body behavior detection device 11 also transmits the position of each device represented by the three-dimensional coordinates.
車両２の挙動には、車両２の運転操作に起因した挙動と、外部環境に起因した挙動が含まれる。車両２の運転操作に起因した挙動としては、例えば、アクセル操作による車両２の加速、ブレーキ操作による車両２の減速、ステアリング操作による車両２の右左折などが挙げられる。例えば、車両２が停止状態から発進する場面では、車両２はアクセル操作により加速する。搭乗者には車両２の加速に伴う力がかかり、ウェアラブルデバイス２０には車両２の進行方向（車両２の前後方向ともいう）に加速度が発生する。また、例えば、車両２が減速する場面では、車両２はブレーキ操作により減速する。搭乗者には車両２の減速に伴う力がかかり、ウェアラブルデバイス２０には進行方向に加速度が発生する。車両２の加速によりウェアラブルデバイス２０に発生する加速度の向きと、車両２の減速によりウェアラブルデバイス２０に発生する加速度の向きは互いに反対方向となる。また、例えば、車両２が交差点を左折する場面では、車両２はステアリング操作により左折する。搭乗者には車両２の左折に伴う遠心力がかかり、ウェアラブルデバイス２０には進行方向に対して右方向の加速度が発生する。なお、車両２の運転操作に起因した挙動の他の例としては、アイドリングによる振動が挙げられる。この場合、ウェアラブルデバイス２０には、少なくとも車両２の上下方向の加速度が発生する。 The behavior of the vehicle 2 includes a behavior caused by the driving operation of the vehicle 2 and a behavior caused by the external environment. Examples of the behavior caused by the driving operation of the vehicle 2 include acceleration of the vehicle 2 by the accelerator operation, deceleration of the vehicle 2 by the brake operation, right and left turn of the vehicle 2 by the steering operation, and the like. For example, in a scene where the vehicle 2 starts from a stopped state, the vehicle 2 accelerates by operating the accelerator. A force is applied to the passenger due to the acceleration of the vehicle 2, and the wearable device 20 is accelerated in the traveling direction of the vehicle 2 (also referred to as the front-rear direction of the vehicle 2). Further, for example, in a scene where the vehicle 2 decelerates, the vehicle 2 decelerates by a brake operation. A force is applied to the passenger due to the deceleration of the vehicle 2, and the wearable device 20 is accelerated in the traveling direction. The direction of the acceleration generated in the wearable device 20 due to the acceleration of the vehicle 2 and the direction of the acceleration generated in the wearable device 20 due to the deceleration of the vehicle 2 are opposite to each other. Further, for example, in a scene where the vehicle 2 turns left at an intersection, the vehicle 2 turns left by steering operation. Centrifugal force is applied to the occupant due to the left turn of the vehicle 2, and the wearable device 20 is accelerated to the right with respect to the traveling direction. Another example of the behavior caused by the driving operation of the vehicle 2 is vibration due to idling. In this case, at least the vertical acceleration of the vehicle 2 is generated in the wearable device 20.
また、外部環境に起因してウェアラブルデバイス２０に加速度が発生する場面としては、例えば、車両２がスピードバンプなどの路面上にある段差を通過する場面が挙げられる。例えば、車両２が加速せずに一定速度で走行していても、スピードバンプを通過する際には、車両２はスピードバンプの段差により上下動する。搭乗者が静止していることにより搭乗者が行う動作に伴う加速度が発生しておらず、かつ、一定速度の走行により車両２の運転操作に伴う加速度が発生していない状況であっても、乗員には外部環境により力がかかり、ウェアラブルデバイス２０には加速度が発生する。上記例の場面では、ウェアラブルデバイス２０には、車両２の上下方向の加速度が発生する。 Further, as a scene in which acceleration is generated in the wearable device 20 due to the external environment, for example, a scene in which the vehicle 2 passes through a step on the road surface such as a speed bump can be mentioned. For example, even if the vehicle 2 is traveling at a constant speed without accelerating, when the vehicle 2 passes through the speed bump, the vehicle 2 moves up and down due to the step of the speed bump. Even in a situation where the occupant is stationary and the acceleration associated with the movement performed by the occupant is not generated, and the traveling at a constant speed does not generate the acceleration associated with the driving operation of the vehicle 2. A force is applied to the occupant by the external environment, and acceleration is generated in the wearable device 20. In the scene of the above example, the wearable device 20 generates acceleration in the vertical direction of the vehicle 2.
また、車両２の挙動として、角速度が検出されることとしてもよい。例えば、車両２が交差点を左折する場面では、車両２の左折に伴う遠心力が角速度として検出される。また、車両２の走行中に片側の車輪だけが段差に乗り上げた場合には、車両２の車体は幅方向に傾くため、車両２の進行方向に沿った軸を中心として発生する角速度が検出される。 Further, the angular velocity may be detected as the behavior of the vehicle 2. For example, in a scene where the vehicle 2 turns left at an intersection, the centrifugal force associated with the left turn of the vehicle 2 is detected as an angular velocity. Further, when only one wheel rides on the step while the vehicle 2 is traveling, the vehicle body of the vehicle 2 tilts in the width direction, so that the angular velocity generated around the axis along the traveling direction of the vehicle 2 is detected. NS.
加速度センサ１１０は、車両２の運転操作及び外部環境に起因して生じる車両２の加速度を検出する。具体的には、加速度センサ１１０は、お互いに直交するＸ軸、Ｙ軸、Ｚ軸の３軸について、それぞれの軸方向に沿った加速度を検出する。例えば、Ｘ軸を、車両２の進行方向（車両２の前後方向）に沿った軸、Ｙ軸を、車両２の幅方向（車両２の左右方向）に沿った軸、Ｚ軸は、車両２の高さ方向（上下方向）に沿った軸とする。また、加速度センサ１１０は、１軸又は２軸についての軸方向の加速度を検出することとしてもよい。加速度センサ１１０により取得された加速度は、コントローラ１２に送信される。なお、本実施形態では、車両の挙動を検出するセンサは、加速度センサ１１０及びジャイロセンサ１１１のいずれか一方のセンサのみであってもよい。 The acceleration sensor 110 detects the acceleration of the vehicle 2 caused by the driving operation of the vehicle 2 and the external environment. Specifically, the acceleration sensor 110 detects acceleration along the respective axial directions for the three axes of the X-axis, the Y-axis, and the Z-axis that are orthogonal to each other. For example, the X-axis is the axis along the traveling direction of the vehicle 2 (the front-rear direction of the vehicle 2), the Y-axis is the axis along the width direction of the vehicle 2 (the left-right direction of the vehicle 2), and the Z-axis is the vehicle 2. The axis is along the height direction (vertical direction) of. Further, the acceleration sensor 110 may detect the acceleration in the axial direction with respect to one axis or two axes. The acceleration acquired by the acceleration sensor 110 is transmitted to the controller 12. In the present embodiment, the sensor that detects the behavior of the vehicle may be only one of the acceleration sensor 110 and the gyro sensor 111.
ジャイロセンサ１１１は、車両２の姿勢変化によって生じる車両２の角速度を検出する。ジャイロセンサ１１１により検出される車両２の姿勢変化は、加減速及び操舵といった運転者の操縦等に起因する回転挙動である。具体的には、ジャイロセンサ１１１は、上述の軸方向について、それぞれの軸を中心とした角速度を検出する。角速度としては、Ｘ軸を中心としたロール角の角速度、Ｙ軸を中心としたピッチ角の角速度及びＺ軸を中心としたヨー角の角速度がある。ジャイロセンサ１１１により取得された角速度は、コントローラ１２に送信される。 The gyro sensor 111 detects the angular velocity of the vehicle 2 caused by the change in the attitude of the vehicle 2. The attitude change of the vehicle 2 detected by the gyro sensor 111 is a rotational behavior caused by the driver's maneuvering such as acceleration / deceleration and steering. Specifically, the gyro sensor 111 detects the angular velocity around each axis in the above-mentioned axial direction. The angular velocity includes the angular velocity of the roll angle centered on the X axis, the angular velocity of the pitch angle centered on the Y axis, and the angular velocity of the yaw angle centered on the Z axis. The angular velocity acquired by the gyro sensor 111 is transmitted to the controller 12.
カメラ１４は、車両２内を撮像するように設置される。具体的には、カメラ１４は、一定の時間間隔で、搭乗者を含む車両２内を撮像する。例えば、カメラ１４は、赤外線ＬＥＤと赤外線カメラを用いたカメラデバイス等が用いられる。カメラ１４で撮像された画像データは、コントローラ１２に出力される。 The camera 14 is installed so as to take an image of the inside of the vehicle 2. Specifically, the camera 14 images the inside of the vehicle 2 including the passenger at regular time intervals. For example, as the camera 14, a camera device or the like using an infrared LED and an infrared camera is used. The image data captured by the camera 14 is output to the controller 12.
シートセンサ１５は、車両２内の座席にかかる荷重を検出する。具体的には、シートセンサ１５は、座席に所定値以上の荷重がかかっていると検知した場合にはオン値をコントローラ１２に出力する。シートセンサ１５は、カメラ１４が何らかの陰になっていて搭乗者を撮像できないような場合にも用いることができる。また、シートセンサのみであれば、センサデバイスのコストを抑えることもできる。 The seat sensor 15 detects the load applied to the seat in the vehicle 2. Specifically, when the seat sensor 15 detects that a load equal to or greater than a predetermined value is applied to the seat, the seat sensor 15 outputs an on value to the controller 12. The seat sensor 15 can also be used when the camera 14 is in some shadow and cannot image the passenger. Moreover, if only the seat sensor is used, the cost of the sensor device can be suppressed.
コントローラ１２は、移動体挙動検出装置１１と、車載通信装置１３と、カメラ１４と、シートセンサ１５とお互いに通信可能である。本実施形態におけるコントローラ１２は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＯＭに格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むものである。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを用いることができる。コントローラ１２は、機能ブロックとして、搭乗者位置取得部１２０と、移動体挙動推定部１２１と、搭乗者挙動推定部１２２と、画像表示制御部１２３とを含んで構成され、上記各機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。具体的には、コントローラ１２は、まず、車両２における搭乗者の位置と、移動体挙動検出装置１１の設置された複数の設置位置との位置関係と、複数の設置位置における車両２の挙動とに基づいて、搭乗者の位置における車両２の挙動を推定する。そして、コントローラ１２は、搭乗者の身体の挙動と、搭乗者の位置における車両２の挙動との差を、搭乗者による身体の挙動として推定し、搭乗者による身体の挙動に基づいて特定した搭乗者の視線方向に応じて表示画像を表示部２２に表示させる制御を行う。なお、本実施形態では、コントローラ１２が有する機能を４つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ１２の機能は必ずしも４つのブロックに分ける必要はなく、３以下の機能ブロック、あるいは、５つ以上の機能ブロックで分けてもよい。 The controller 12 can communicate with each other with the mobile behavior detection device 11, the vehicle-mounted communication device 13, the camera 14, and the seat sensor 15. The controller 12 in the present embodiment includes a computer having hardware and software, and the computer includes a ROM (Read Only Memory) for storing the program and a CPU (Central Processing Unit) for executing the program stored in the ROM. And a RAM (Random Access Memory) that functions as an accessible storage device. As the operating circuit, an MPU (Micro Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Array), or the like can be used in place of or in combination with the CPU. .. The controller 12 is configured to include a occupant position acquisition unit 120, a moving body behavior estimation unit 121, a occupant behavior estimation unit 122, and an image display control unit 123 as functional blocks, and realizes each of the above functions. Alternatively, each function is executed in cooperation with the software for executing each process and the hardware. Specifically, the controller 12 first determines the positional relationship between the position of the occupant in the vehicle 2 and the plurality of installation positions where the moving body behavior detection device 11 is installed, and the behavior of the vehicle 2 in the plurality of installation positions. Based on, the behavior of the vehicle 2 at the position of the occupant is estimated. Then, the controller 12 estimates the difference between the behavior of the occupant's body and the behavior of the vehicle 2 at the occupant's position as the behavior of the occupant's body, and the boarding specified based on the behavior of the occupant's body. Control is performed so that the display image is displayed on the display unit 22 according to the line-of-sight direction of the person. In the present embodiment, the functions of the controller 12 are divided into four blocks, and then the functions of the respective functional blocks are described. However, the functions of the controller 12 do not necessarily have to be divided into four blocks, and the number of blocks is 3 or less. It may be divided into functional blocks or five or more functional blocks.
搭乗者位置取得部１２０は、カメラ１４とシートセンサ１５により検出された情報に基づいて、車両２における搭乗者の位置を搭乗者位置として取得する。例えば、搭乗者位置取得部１２０は、カメラ１４により撮像された車両２内の画像に基づいて、画像認識技術により搭乗者を特定して、搭乗者の位置を取得する。また、搭乗者位置取得部１２０は、搭乗者が装着しているウェアラブルデバイス２０に付された特徴点マーカを認識することで、当該ウェアラブルデバイス２０を装着している搭乗者の搭乗者位置を取得することとしてもよい。また、搭乗者位置取得部１２０は、シートセンサ１５が出力したオン値に基づいて、オン値が出力された座席の位置を特定することで、搭乗者位置を取得することとしてもよい。車内に搭乗者が複数いる場合には、搭乗者位置取得部１２０は、搭乗者それぞれの搭乗者位置を取得する。車両２内における搭乗者位置は、例えば、３次元座標によって表される。 The passenger position acquisition unit 120 acquires the position of the occupant in the vehicle 2 as the occupant position based on the information detected by the camera 14 and the seat sensor 15. For example, the passenger position acquisition unit 120 identifies the passenger by the image recognition technology based on the image in the vehicle 2 captured by the camera 14, and acquires the position of the passenger. Further, the passenger position acquisition unit 120 acquires the passenger position of the passenger wearing the wearable device 20 by recognizing the feature point marker attached to the wearable device 20 worn by the passenger. You may do it. Further, the passenger position acquisition unit 120 may acquire the passenger position by specifying the position of the seat from which the on value is output based on the on value output by the seat sensor 15. When there are a plurality of passengers in the vehicle, the passenger position acquisition unit 120 acquires the passenger positions of each passenger. The passenger position in the vehicle 2 is represented by, for example, three-dimensional coordinates.
移動体挙動推定部１２１は、搭乗者位置取得部１２０により取得された搭乗者位置における車両２の挙動を推定する。具体的には、移動体挙動推定部１２１は、まず、搭乗者位置取得部１２０により取得された搭乗者位置と、複数の移動体挙動検出装置１１が設置された複数の設置位置を取得する。このとき、移動体挙動推定部１２１は、それぞれの移動体挙動検出装置１１の位置情報に紐づけて、設置位置における車両２の挙動を取得する。次に、移動体挙動推定部１２１は、搭乗者位置と複数の移動体挙動検出装置１１の位置とに基づいて、搭乗者位置を原点とする３次元座標における、搭乗者位置と複数の移動体挙動検出装置１１の位置との相対的な位置関係をそれぞれ算出する。そして、移動体挙動推定部１２１は、複数の設置位置における車両２の挙動と、搭乗者位置に対する移動体挙動検出装置１１それぞれの相対的位置関係とに基づいて、計算により、搭乗者位置における車両２の挙動、すなわち、Ｘ、Ｙ及びＺ軸方向それぞれの加速度、並びにＸ、Ｙ及びＺ軸それぞれを中心とした角速度を算出する。具体的には、まず、移動体挙動推定部１２１は、搭乗者位置を原点とする３次元座標における、搭乗者位置と複数の移動体挙動検出装置１１の位置との相対的な位置関係をそれぞれ算出する。このとき、剛体である車両２が回転していて搭乗者位置まわりに角速度が生じていると、それぞれの移動体挙動検出装置１１の設置位置には、搭乗者位置との位置関係に応じた回転角速度及び遠心加速度が生じる。次に、移動体挙動推定部１２１は、それぞれ異なる位置及び方向の移動体挙動検出装置１１の設置位置における車両２の挙動を取得する。ひとつの移動体挙動検出装置１１により検出される車両２の挙動は、並進加速度、重力加速度並びに搭乗者位置との位置関係に応じて異なる回転角速度及び遠心加速度が合わさった値である。そのため、当該値は、単一の検出値のみによっては、搭乗者位置との位置関係に応じて異なる回転角速度及び遠心加速度の影響を分離することができない。そこで、移動体挙動推定部１２１は、複数の設置位置におけるそれぞれの車両２の挙動の値を統合して、計算により、移動体挙動検出装置１１により検出された値から、搭乗者位置との位置関係に応じて異なる回転角速度及び遠心加速度の影響を取り除くことで、搭乗者位置における加速度及び角速度を算出する。 The moving body behavior estimation unit 121 estimates the behavior of the vehicle 2 at the passenger position acquired by the passenger position acquisition unit 120. Specifically, the mobile body behavior estimation unit 121 first acquires the passenger position acquired by the passenger position acquisition unit 120 and a plurality of installation positions in which the plurality of mobile body behavior detection devices 11 are installed. At this time, the moving body behavior estimation unit 121 acquires the behavior of the vehicle 2 at the installation position in association with the position information of each moving body behavior detecting device 11. Next, the moving body behavior estimation unit 121 is based on the occupant position and the positions of the plurality of moving body behavior detecting devices 11, and the occupant position and the plurality of moving bodies in the three-dimensional coordinates with the occupant position as the origin. The relative positional relationship with the position of the behavior detection device 11 is calculated. Then, the moving body behavior estimation unit 121 calculates the vehicle at the passenger position based on the behavior of the vehicle 2 at the plurality of installation positions and the relative positional relationship of each of the moving body behavior detecting devices 11 with respect to the passenger position. The behavior of 2, that is, the acceleration in each of the X, Y and Z axis directions, and the angular velocity around each of the X, Y and Z axes are calculated. Specifically, first, the moving body behavior estimation unit 121 determines the relative positional relationship between the occupant position and the positions of the plurality of moving body behavior detecting devices 11 in the three-dimensional coordinates with the occupant position as the origin. calculate. At this time, if the rigid vehicle 2 is rotating and an angular velocity is generated around the passenger position, the installation position of each moving body behavior detection device 11 is rotated according to the positional relationship with the passenger position. Angular velocity and centrifugal acceleration occur. Next, the moving body behavior estimation unit 121 acquires the behavior of the vehicle 2 at the installation position of the moving body behavior detecting device 11 in different positions and directions. The behavior of the vehicle 2 detected by one moving body behavior detection device 11 is a value obtained by combining translational acceleration, gravitational acceleration, and rotational angular velocities and centrifugal accelerations that differ depending on the positional relationship with the occupant position. Therefore, it is not possible to separate the effects of different rotational angular velocities and centrifugal accelerations depending on the positional relationship with the passenger position, depending on only a single detected value. Therefore, the moving body behavior estimation unit 121 integrates the behavioral values of the respective vehicles 2 at the plurality of installation positions, and calculates the position from the value detected by the moving body behavior detecting device 11 to the passenger position. By removing the effects of different rotational angular velocities and centrifugal accelerations depending on the relationship, the acceleration and angular velocities at the passenger position are calculated.
搭乗者挙動推定部１２２は、搭乗者による頭部の挙動を推定する。具体的には、搭乗者挙動推定部１２２は、搭乗者挙動検出装置２１により検出された搭乗者の頭部の挙動と、移動体挙動推定部１２１により推定された、搭乗者位置における車両２の挙動との差を算出する。すなわち、搭乗者の頭部の挙動と、搭乗者位置における車両２の挙動との差が、搭乗者による頭部の挙動として推定される。例えば、搭乗者による頭部の加速度を推定する場合には、搭乗者挙動推定部１２２は、搭乗者の頭部の加速度と搭乗者位置における車両２の加速度について、３つの軸方向（Ｘ軸、Ｙ軸、Ｚ軸）それぞれの加速度の成分を取得し、加速度の成分ごとに、搭乗者の頭部の加速度と、搭乗者位置における車両２の加速度との差を算出する。また、搭乗者による頭部の角速度を推定する場合には、搭乗者挙動推定部１２２は、搭乗者の頭部の角速度と搭乗者位置における車両２の角速度について、３つの軸を中心とした角速度をそれぞれ取得し、軸ごとに、搭乗者の頭部の角速度と、搭乗者位置における車両２の角速度との差を算出する。 The occupant behavior estimation unit 122 estimates the behavior of the head by the occupant. Specifically, the occupant behavior estimation unit 122 describes the behavior of the occupant's head detected by the occupant behavior detection device 21 and the behavior of the vehicle 2 at the occupant position estimated by the mobile behavior estimation unit 121. Calculate the difference from the behavior. That is, the difference between the behavior of the occupant's head and the behavior of the vehicle 2 at the occupant's position is estimated as the behavior of the occupant's head. For example, when estimating the acceleration of the head by the occupant, the occupant behavior estimation unit 122 has three axial directions (X-axis,) regarding the acceleration of the occupant's head and the acceleration of the vehicle 2 at the occupant position. The components of each acceleration (Y-axis, Z-axis) are acquired, and the difference between the acceleration of the occupant's head and the acceleration of the vehicle 2 at the occupant position is calculated for each acceleration component. Further, when estimating the angular velocity of the head by the occupant, the occupant behavior estimation unit 122 determines the angular velocity of the occupant's head and the angular velocity of the vehicle 2 at the occupant position with respect to the angular velocities centered on three axes. Is obtained, and the difference between the angular velocity of the occupant's head and the angular velocity of the vehicle 2 at the occupant's position is calculated for each axis.
画像表示制御部１２３は、搭乗者挙動推定部１２２により推定された、搭乗者による頭部の挙動に基づいて、表示部２２に表示される仮想オブジェクトの表示画像の表示形態の制御を行う。表示画像の表示形態は、表示部２２上における表示画像の表示位置、表示画像の大きさ、表示画像の回転角度を含む。画像表示制御部１２３は、まず、搭乗者挙動推定部１２２により推定された、搭乗者による頭部の挙動によって変化する搭乗者の頭部の状態、すなわち、車両２に対する相対的な頭部の位置、向き及び傾きを特定する。次に、画像表示制御部１２３は、搭乗者の頭部の状態に基づいて、搭乗者の視線方向の視界を特定し、搭乗者の視線方向の視界に映る対象物に重なるように、表示部２２に表示される仮想オブジェクトの表示画像の表示形態を特定する。そして、画像表示制御部１２３は、特定された表示形態に基づいて表示画像を表示させる制御信号を生成し、当該制御信号を車載通信装置１３に出力する。 The image display control unit 123 controls the display form of the display image of the virtual object displayed on the display unit 22 based on the behavior of the head by the occupant estimated by the occupant behavior estimation unit 122. The display form of the display image includes the display position of the display image on the display unit 22, the size of the display image, and the rotation angle of the display image. The image display control unit 123 first first estimates the state of the occupant's head that changes according to the behavior of the occupant's head, that is, the position of the head relative to the vehicle 2, which is estimated by the occupant behavior estimation unit 122. , Orientation and tilt. Next, the image display control unit 123 identifies the field of view in the line-of-sight direction of the occupant based on the state of the head of the occupant, and displays the display unit so as to overlap the object reflected in the field of view in the line-of-sight direction of the occupant. The display form of the display image of the virtual object displayed on 22 is specified. Then, the image display control unit 123 generates a control signal for displaying the display image based on the specified display mode, and outputs the control signal to the in-vehicle communication device 13.
ここで、仮想オブジェクトについて説明する。仮想オブジェクトとは、実空間内に配置された２次元モデル（２Ｄモデル、２Ｄ ＣＧ等ともいう）、又は３次元モデル（３Ｄモデル、３Ｄ ＣＧ等ともいう）であって、コンピュータを用いて生成された画像である。仮想オブジェクトには、静止画及び動画のいずれも含まれる。また、仮想オブジェクトには、実際には存在しない仮想のオブジェクト（例えば、アニメのキャラクター等）に加えて、例えば、実在の人物を撮影した映像も含まれる。また、仮想オブジェクトには、人物を示すオブジェクトに加えて、例えば、交差点の案内表示板等、物のオブジェクトも含まれる。本実施形態では、ウェアラブルデバイス２０の表示部２２を介して車内外の景色を見ている搭乗者に対して、表示部２２に仮想オブジェクトの表示画像を表示させることで、現実空間に仮想オブジェクトが重畳された拡張現実（ＡＲ）空間を提示する。 Here, the virtual object will be described. A virtual object is a two-dimensional model (also referred to as a 2D model, 2D CG, etc.) or a three-dimensional model (also referred to as a 3D model, 3D CG, etc.) arranged in a real space, and is generated using a computer. It is an image. Virtual objects include both still images and moving images. Further, the virtual object includes, for example, a video of a real person in addition to a virtual object (for example, an animation character) that does not actually exist. In addition to the object indicating a person, the virtual object also includes an object of an object such as a guide display board at an intersection. In the present embodiment, the virtual object is displayed in the real space by displaying the display image of the virtual object on the display unit 22 for the passenger who is looking at the scenery inside and outside the vehicle through the display unit 22 of the wearable device 20. It presents a superposed augmented reality (AR) space.
次に、仮想オブジェクトの表示画像の表示形態について説明する。画像表示制御部１２３は、搭乗者による頭部の挙動から推定される搭乗者の視線方向を特定し、搭乗者の視線方向の視界に映る対象物に重なるように表示画像の表示形態を制御する。具体的には、画像表示制御部１２３は、搭乗者による頭部の挙動から搭乗者の頭部の位置、向き及び傾きを推定し、推定された頭部の位置、向き及び傾きに合わせて変化する搭乗者の視線方向の視界を特定し、視界に映る対象物に表示画像が重畳されるように、表示部２２上における表示画像の位置、大きさ及び角度を制御する。まず、表示画像の表示位置について説明する。表示画像の表示位置は、表示部２２（ディスプレイ画面）上において表示画像が表示される位置である。例えば、搭乗者の視界に映る車内の対象物に重なるように、表示部２２に表示画像が表示される場合には、画像表示制御部１２３は、車内における対象物の位置を特定し、搭乗者の頭部の状態に基づいて、現実空間における対象物の位置に対応する表示部２２上の対象物の位置を表示位置として特定する。次に、表示画像の表示形態としては、表示画像の大きさが挙げられる。表示画像の大きさを制御して、近くのものほど大きく見えるという遠近感を画像の大きさによって再現することで、より現実の感覚に近いＡＲ空間を提供することができる。画像表示制御部１２３は、車内の対象物、例えば、インスツルメントパネルに表示画像が表示される場合、インスツルメントパネルに対する搭乗者の頭部の位置の前後移動に応じて、表示画像の大きさを制御する。搭乗者の頭部がインスツルメントパネルに近づく方向に移動するときには、画像表示制御部１２３は、表示画像を大きくする制御を行い、搭乗者の頭部がインスツルメントパネルから遠ざかる方向に移動するときには、画像表示制御部１２３は、表示画像を小さくする制御を行う。また、表示画像の表示形態としては、表示画像の回転角度が挙げられる。表示画像の回転角度は、表示部２２における表示画像の角度である。例えば、表示画像が車内の対象物に重ねられるように、表示画像の回転角度を車内の対象物の傾きに合わせて制御する場合を考える。すなわち、この場合には、画像表示制御部１２３は、車両２が傾いたときには、表示画像の回転角度も車両２の傾きに合わせて制御し、車両２の傾きが変わらないときには、表示画像の回転角度を変更しない。また、車両２の傾きは変わらないが、搭乗者が頭部を傾ける等により表示部２２（ディスプレイ画面）が傾いたときには、画像表示制御部１２３は、表示画像が車内の対象物に対して傾いて見えないように、表示部２２における表示画像の回転角度を制御する。 Next, the display form of the display image of the virtual object will be described. The image display control unit 123 specifies the line-of-sight direction of the occupant estimated from the behavior of the head by the occupant, and controls the display form of the displayed image so as to overlap the object reflected in the field of view in the line-of-sight direction of the occupant. .. Specifically, the image display control unit 123 estimates the position, orientation, and inclination of the occupant's head from the behavior of the occupant's head, and changes according to the estimated position, orientation, and inclination of the head. The view in the line-of-sight direction of the passenger is specified, and the position, size, and angle of the display image on the display unit 22 are controlled so that the display image is superimposed on the object reflected in the view. First, the display position of the display image will be described. The display position of the display image is a position where the display image is displayed on the display unit 22 (display screen). For example, when the display image is displayed on the display unit 22 so as to overlap the object in the vehicle that is visible to the passenger, the image display control unit 123 identifies the position of the object in the vehicle and the passenger. The position of the object on the display unit 22 corresponding to the position of the object in the real space is specified as the display position based on the state of the head of the head. Next, as a display form of the display image, the size of the display image can be mentioned. By controlling the size of the displayed image and reproducing the perspective that the closer one looks larger, the AR space closer to the real feeling can be provided. When the display image is displayed on an object in the vehicle, for example, the instrument panel, the image display control unit 123 increases the size of the displayed image according to the back-and-forth movement of the position of the occupant's head with respect to the instrument panel. Control the image. When the occupant's head moves in the direction closer to the instrument panel, the image display control unit 123 controls to enlarge the displayed image, and the occupant's head moves in the direction away from the instrument panel. Occasionally, the image display control unit 123 controls to reduce the size of the displayed image. Further, as a display form of the display image, a rotation angle of the display image can be mentioned. The rotation angle of the display image is the angle of the display image on the display unit 22. For example, consider a case where the rotation angle of the displayed image is controlled according to the inclination of the object in the vehicle so that the displayed image is superimposed on the object in the vehicle. That is, in this case, when the vehicle 2 is tilted, the image display control unit 123 also controls the rotation angle of the display image according to the tilt of the vehicle 2, and when the tilt of the vehicle 2 does not change, the rotation of the display image is rotated. Do not change the angle. Further, although the inclination of the vehicle 2 does not change, when the display unit 22 (display screen) is tilted due to the passenger tilting the head or the like, the image display control unit 123 tilts the display image with respect to the object in the vehicle. The rotation angle of the display image on the display unit 22 is controlled so that the display image cannot be seen.
以下、図４〜図７を用いて、表示画像の表示形態の制御の一例を説明する。図４は、車両２と、運転席に座っている搭乗者の視線方向との関係を表す図である。図４では、車両２は、ナビゲーション装置３００を備え、進行方向Ｌに沿って走行している。また、車両２には、ウェアラブルデバイス２０を装着する搭乗者１００が運転席に座っている。視線方向Ｐは、進行方向Ｌに対して平行な方向であって、搭乗者１００が進行方向を見ているときの視線の方向である。視線方向Ｑは、搭乗者１００が視線方向Ｐよりも左側の方向を見ているときの視線の方向である。また、ウェアラブルデバイス２０では、車内空間におけるナビゲーション装置３００の位置に対応する表示部２２上の位置に仮想オブジェクトＲが表示されている。図５Ａ及びＢは、図４の搭乗者１００が表示部２２（ディスプレイ画面）を介して視認している車内の様子を示している。図５Ａが、図４の搭乗者１００の視線方向Ｐの視界に対応していて、表示部２２に仮想オブジェクトＲが表示されているときの、搭乗者の視界に映る車内の様子を示している。図５Ｂが、図４の搭乗者１００の視線方向Ｑの視界に対応していて、表示部２２に仮想オブジェクトＲが表示されているときの、搭乗者１００の視界に映る車内の様子を示している。仮想オブジェクトＲは、例えば、ナビゲーション装置３００により案内された経路案内を視覚的に表示するオブジェクト（例えば、「２キロ先左方向」）であり、表示部２２上におけるナビゲーション装置３００の位置に常に表示されるように制御されている。したがって、例えば、搭乗者１００の視線方向が、視線方向Ｐから視線方向Ｑに変わった場合には、表示部２２は搭乗者１００の視界に対応しているため、表示部２２上におけるナビゲーション装置３００の位置が右側に移動する（図５Ｂ）。仮想オブジェクトＲは常にナビゲーション装置３００の位置に表示されるように制御されるため、仮想オブジェクトＲの表示位置もナビゲーション装置の移動に応じて移動するよう制御される。 Hereinafter, an example of controlling the display form of the display image will be described with reference to FIGS. 4 to 7. FIG. 4 is a diagram showing the relationship between the vehicle 2 and the line-of-sight direction of the passenger sitting in the driver's seat. In FIG. 4, the vehicle 2 includes a navigation device 300 and travels along the traveling direction L. Further, in the vehicle 2, a passenger 100 who wears the wearable device 20 is sitting in the driver's seat. The line-of-sight direction P is a direction parallel to the traveling direction L, and is the direction of the line-of-sight when the occupant 100 is looking at the traveling direction. The line-of-sight direction Q is the direction of the line-of-sight when the occupant 100 is looking in the direction to the left of the line-of-sight direction P. Further, in the wearable device 20, the virtual object R is displayed at a position on the display unit 22 corresponding to the position of the navigation device 300 in the vehicle interior space. 5A and 5B show the inside of the vehicle that the passenger 100 of FIG. 4 is visually recognizing through the display unit 22 (display screen). FIG. 5A shows the inside of the vehicle reflected in the passenger's field of view when the virtual object R is displayed on the display unit 22, which corresponds to the field of view of the passenger 100 in FIG. 4 in the line-of-sight direction P. .. FIG. 5B shows the inside of the vehicle reflected in the field of view of the occupant 100 when the virtual object R is displayed on the display unit 22, which corresponds to the field of view of the occupant 100 in the line-of-sight direction Q of FIG. There is. The virtual object R is, for example, an object that visually displays the route guidance guided by the navigation device 300 (for example, “2 km ahead to the left”), and is always displayed at the position of the navigation device 300 on the display unit 22. It is controlled to be done. Therefore, for example, when the line-of-sight direction of the occupant 100 changes from the line-of-sight direction P to the line-of-sight direction Q, the display unit 22 corresponds to the field of view of the occupant 100, so that the navigation device 300 on the display unit 22 Moves to the right (Fig. 5B). Since the virtual object R is always controlled to be displayed at the position of the navigation device 300, the display position of the virtual object R is also controlled to move according to the movement of the navigation device.
また、図６で示されるように、車両２が左折している場合には、左方向に加速度が生じる車両２の挙動に起因して搭乗者１００の頭部にも左方向の加速度が生じる。搭乗者１００が頭部を動かさずに進行方向Ｐから視線方向を変えていないときには、車両２に対する搭乗者の頭部の状態、すなわち、頭部の位置や向き、傾きは変わらないため、運転者に視界に映る車内の様子は、図５Ａで示している車内の様子のままのはずである。しかしながら、単に、搭乗者挙動検出装置２１により検出された搭乗者の頭部の挙動に基づいて、表示画像の表示形態が制御される場合には、車両２の挙動による頭部の挙動に応じて、表示部２２における仮想オブジェクトＲの表示位置が移動することになる。すなわち、図７で示されるように、画像表示制御部１２３は、車両２の左方向の加速度により、車両２に対する搭乗者の頭部の位置が視線方向Ｐから視線方向Ｐ´に変化したと判定し、仮想オブジェクトＲの表示位置を右側に移動する制御を行う。しかしながら、実際には、車両２に対する搭乗者の頭部の状態は変化していないため、表示部２２上におけるナビゲーション装置３００の位置は変わらない。そのため、仮想オブジェクトＲは、表示部２２上におけるナビゲーション装置３００の位置から右方向にずれた位置に表示されてしまう。これに対して、本実施形態では、搭乗者挙動検出装置２１により検出された搭乗者の頭部の挙動から車両の挙動による頭部の挙動を差し引くことで、搭乗者による頭部の挙動に基づいて仮想オブジェクトＲの表示位置を制御できる。したがって、車両２が左折している場合であっても、搭乗者１００は、図５Ａで示されている車内の様子を視認できる。また、図２で示しているように、車両２が左折している場合に、車両２の挙動は、車両２内の位置に応じて異なる。したがって、図７では、車両２が左折している場合に、搭乗者挙動検出装置２１が左方向の加速度を検出した場合の一例を示したが、搭乗者１００が運転席ではなく、後方の座席に座っていた場合には、搭乗者挙動検出装置２１は右方向の加速度を検出する。この場合には、表示部２２における仮想オブジェクトの表示画像は、左方向に移動するように表示されてしまう。したがって、このような画像表示を補正するためには、コントローラ１２は、車両の挙動に起因して生じる右方向の加速度を、搭乗者挙動検出装置２１により検出された頭部の加速度から差し引いて搭乗者による頭部の加速度を推定する必要がある。しかしながら、従来技術では、前方に設置されたひとつのセンサにより、車両の挙動は左方向の加速度として検出されるため、後方座席にいる搭乗者による頭部の挙動を正確に推定することができない。本実施形態に係る発明は、搭乗者位置における車両２の挙動を推定して、搭乗者の頭部の挙動と、搭乗者位置における車両２の挙動との差を算出するため、搭乗者がそれぞれ異なる位置にいても、それぞれの位置における搭乗者による頭部の挙動を推定することができる。例えば、前述の例では、コントローラ１２は、車両２の前方にいる搭乗者による頭部の挙動を、車両２の左方向の加速度に基づいて推定し、車両２の後方にいる搭乗者による頭部の挙動を、車両２の右方向の加速度に基づいてそれぞれ推定する。 Further, as shown in FIG. 6, when the vehicle 2 is turning left, the acceleration in the left direction is generated in the head of the occupant 100 due to the behavior of the vehicle 2 in which the acceleration is generated in the left direction. When the occupant 100 does not move the head and does not change the line-of-sight direction from the traveling direction P, the state of the occupant's head with respect to the vehicle 2, that is, the position, orientation, and inclination of the head do not change, so that the driver The inside of the car reflected in the field of view should be the same as the inside of the car shown in FIG. 5A. However, when the display form of the display image is controlled based on the behavior of the occupant's head detected by the occupant behavior detection device 21, the behavior of the head according to the behavior of the vehicle 2 is simply controlled. , The display position of the virtual object R on the display unit 22 will move. That is, as shown in FIG. 7, the image display control unit 123 determines that the position of the occupant's head with respect to the vehicle 2 has changed from the line-of-sight direction P to the line-of-sight direction P'due to the left acceleration of the vehicle 2. Then, the display position of the virtual object R is controlled to be moved to the right side. However, in reality, since the state of the occupant's head with respect to the vehicle 2 has not changed, the position of the navigation device 300 on the display unit 22 does not change. Therefore, the virtual object R is displayed at a position shifted to the right from the position of the navigation device 300 on the display unit 22. On the other hand, in the present embodiment, the behavior of the head due to the behavior of the vehicle is subtracted from the behavior of the head of the occupant detected by the occupant behavior detection device 21, based on the behavior of the head by the occupant. The display position of the virtual object R can be controlled. Therefore, even when the vehicle 2 is turning left, the passenger 100 can visually recognize the inside of the vehicle shown in FIG. 5A. Further, as shown in FIG. 2, when the vehicle 2 is turning left, the behavior of the vehicle 2 differs depending on the position in the vehicle 2. Therefore, FIG. 7 shows an example in which the occupant behavior detection device 21 detects the acceleration in the left direction when the vehicle 2 is turning left, but the occupant 100 is not the driver's seat but the rear seat. When sitting in, the occupant behavior detection device 21 detects the acceleration in the right direction. In this case, the display image of the virtual object on the display unit 22 is displayed so as to move to the left. Therefore, in order to correct such an image display, the controller 12 subtracts the acceleration in the right direction caused by the behavior of the vehicle from the acceleration of the head detected by the occupant behavior detection device 21 to board the aircraft. It is necessary to estimate the acceleration of the head by a person. However, in the prior art, since the behavior of the vehicle is detected as the acceleration in the left direction by one sensor installed in the front, it is not possible to accurately estimate the behavior of the head by the passenger in the rear seat. In the invention according to the present embodiment, in order to estimate the behavior of the vehicle 2 at the occupant position and calculate the difference between the behavior of the occupant's head and the behavior of the vehicle 2 at the occupant position, each occupant has a different behavior. Even if they are in different positions, the behavior of the head by the occupant at each position can be estimated. For example, in the above example, the controller 12 estimates the behavior of the head by the occupant in front of the vehicle 2 based on the acceleration in the left direction of the vehicle 2, and the head by the occupant behind the vehicle 2. Is estimated based on the acceleration of the vehicle 2 in the right direction.
なお、本実施形態では、車両２の車内の対象物を基準とした場合の仮想オブジェクトの表示位置の制御を行うこととしているが、車両２の車外対象物に対して仮想オブジェクトの表示画像を重畳させて表示する場合にも同様の制御を行う。すなわち、本実施形態では、車両２の車外にある対象物の位置は、車両２の位置や向きを基準とした相対的な位置として取得される。したがって、車両２の車外対象物に仮想オブジェクトを重ねるように表示する場合にも、画像表示制御部１２３は、車両２に対する搭乗者の頭部の状態を特定することで、現実空間における車外対象物の位置に対応する表示部２２上の車外対象物の位置を特定する。また、車外の対象物は、例えば、車両、歩行者、道路、標識、建物等が挙げられる。 In the present embodiment, the display position of the virtual object is controlled based on the object inside the vehicle 2, but the display image of the virtual object is superimposed on the object outside the vehicle of the vehicle 2. The same control is performed when the display is performed. That is, in the present embodiment, the position of the object outside the vehicle 2 is acquired as a relative position with respect to the position and orientation of the vehicle 2. Therefore, even when the virtual object is displayed so as to be superimposed on the object outside the vehicle of the vehicle 2, the image display control unit 123 identifies the state of the occupant's head with respect to the vehicle 2 to specify the object outside the vehicle in the real space. The position of the object outside the vehicle on the display unit 22 corresponding to the position of is specified. In addition, objects outside the vehicle include, for example, vehicles, pedestrians, roads, signs, buildings, and the like.
車載通信装置１３は、ウェアラブルデバイス２０の通信装置２３と無線又は有線により接続されていて、情報等の送受信を行う。例えば、車載通信装置１３は、ウェアラブルデバイス２０の通信装置２３に、画像表示の制御信号を送信し、通信装置２３から、検出された搭乗者の身体の挙動を受信する。 The in-vehicle communication device 13 is wirelessly or wiredly connected to the communication device 23 of the wearable device 20 to transmit and receive information and the like. For example, the in-vehicle communication device 13 transmits an image display control signal to the communication device 23 of the wearable device 20, and receives the detected physical behavior of the passenger from the communication device 23.
ウェアラブルデバイス２０は、搭乗者の頭部に装着される装置であって、例えば、ゴーグル型又はメガネ型のヘッドマウントディスプレイである。ウェアラブルデバイス２０は、少なくとも搭乗者挙動検出装置２１と表示部２２と通信装置２３とを備える。ウェアラブルデバイス２０は、画像表示制御部１２３から出力された制御信号に基づいて、表示部２２に仮想オブジェクトの画像を表示させる。また、ウェアラブルデバイス２０は、搭乗者の腕に装着されるデバイスであってもよい。腕に装着されるウェアラブルデバイス２０は、搭乗者挙動検出装置２１により腕の挙動を検出して、検出された腕の挙動をコントローラ１２に送信する。また、搭乗者が複数人いる場合には、それぞれがウェアラブルデバイス２０を装着して利用することも可能であり、同じ仮想オブジェクトを共有し合うことも可能となる。その場合、各ウェアラブルデバイス２０は、それぞれの搭乗者ごとに搭乗者の頭部の挙動を検出して、コントローラ１２に送信する。なお、ウェアラブルデバイス２０としては、ＡＲやＶＲ用ヘッドセットやコントローラ、服や直接ベルトで体に付けるセンサデバイスなどであってもよい。 The wearable device 20 is a device worn on the occupant's head, and is, for example, a goggle-type or glasses-type head-mounted display. The wearable device 20 includes at least a occupant behavior detection device 21, a display unit 22, and a communication device 23. The wearable device 20 causes the display unit 22 to display an image of the virtual object based on the control signal output from the image display control unit 123. Further, the wearable device 20 may be a device worn on the occupant's arm. The wearable device 20 worn on the arm detects the behavior of the arm by the occupant behavior detection device 21, and transmits the detected behavior of the arm to the controller 12. Further, when there are a plurality of passengers, each of them can be used by wearing the wearable device 20, and the same virtual object can be shared with each other. In that case, each wearable device 20 detects the behavior of the occupant's head for each occupant and transmits it to the controller 12. The wearable device 20 may be a headset or controller for AR or VR, a sensor device attached to the body directly with clothes or a belt, or the like.
搭乗者挙動検出装置２１は、ウェアラブルデバイス２０が装着された部分における搭乗者の身体の挙動を検出する。例えば、搭乗者挙動検出装置２１は、ウェアラブルデバイス２０が装着されている頭部の挙動を検出する。搭乗者挙動検出装置２１により検出される搭乗者の頭部の挙動には、搭乗者による頭部の挙動と車両２の挙動に基づく頭部の挙動が含まれる。搭乗者挙動検出装置２１は、加速度センサ２１０とジャイロセンサ２１１とを含む。搭乗者挙動検出装置２１は、検出された搭乗者の頭部の挙動をコントローラ１２に出力する。 The occupant behavior detection device 21 detects the behavior of the occupant's body at the portion where the wearable device 20 is attached. For example, the passenger behavior detection device 21 detects the behavior of the head on which the wearable device 20 is attached. The behavior of the occupant's head detected by the occupant behavior detection device 21 includes the behavior of the head by the occupant and the behavior of the head based on the behavior of the vehicle 2. The occupant behavior detection device 21 includes an acceleration sensor 210 and a gyro sensor 211. The occupant behavior detection device 21 outputs the detected behavior of the occupant's head to the controller 12.
加速度センサ２１０は、搭乗者の頭部の加速度を検出する。具体的には、加速度センサ２１０は、お互いに直交するＸ軸、Ｙ軸、Ｚ軸の３軸について、それぞれの軸方向に沿った加速度を検出する。加速度センサ２１０により検出される搭乗者の頭部の加速度には、搭乗者による頭部の挙動による加速度と車両２の挙動による加速度が含まれる。したがって、例えば、搭乗者が静止をしていて、頭部を動かさなくても、車両２の挙動によって搭乗者の頭部が動くと、加速度センサ２１０は搭乗者の頭部の加速度を検出する。加速度センサ２１０により取得された加速度は、通信装置２３に出力される。 The acceleration sensor 210 detects the acceleration of the occupant's head. Specifically, the acceleration sensor 210 detects acceleration along the respective axial directions for the three axes of the X-axis, the Y-axis, and the Z-axis that are orthogonal to each other. The acceleration of the occupant's head detected by the acceleration sensor 210 includes the acceleration due to the behavior of the occupant's head and the acceleration due to the behavior of the vehicle 2. Therefore, for example, when the occupant is stationary and the occupant's head moves due to the behavior of the vehicle 2 without moving the head, the acceleration sensor 210 detects the acceleration of the occupant's head. The acceleration acquired by the acceleration sensor 210 is output to the communication device 23.
ジャイロセンサ２１１は、搭乗者の頭部の角速度を検出する。具体的には、ジャイロセンサ２１１は、上述のそれぞれの軸を中心とした角速度を検出する。ジャイロセンサ２１１により演出される搭乗者の頭部の角速度には、搭乗者による頭部の挙動による角速度と車両２の挙動による角速度が含まれる。車両２の姿勢変化は、加減速及び操舵といった運転者の操縦等に伴って生じる。したがって、例えば、搭乗者が静止をしていて、頭部を動かさなくても、車両２の挙動によって搭乗者の頭部が動くと、ジャイロセンサ２１１は搭乗者の頭部の角速度を検出する。ジャイロセンサ２１１により取得された角速度は、通信装置２３に送信される。 The gyro sensor 211 detects the angular velocity of the occupant's head. Specifically, the gyro sensor 211 detects the angular velocity around each of the above-mentioned axes. The angular velocity of the passenger's head produced by the gyro sensor 211 includes the angular velocity due to the behavior of the head by the passenger and the angular velocity due to the behavior of the vehicle 2. The attitude change of the vehicle 2 occurs with the driver's maneuvering such as acceleration / deceleration and steering. Therefore, for example, when the occupant is stationary and the occupant's head moves due to the behavior of the vehicle 2 without moving the head, the gyro sensor 211 detects the angular velocity of the occupant's head. The angular velocity acquired by the gyro sensor 211 is transmitted to the communication device 23.
表示部２２は、仮想オブジェクトの画像を表示するためのウェアラブルデバイス２０の部位である。表示部２２は、例えば、ディスプレイやゴーグルなどが挙げられる。表示部２２は、画像表示制御部１２３により送信された制御信号に基づいて、ディスプレイ上の表示位置に仮想オブジェクトの表示画像が表示する。これにより、ウェアラブルデバイス２０を装着している搭乗者は、表示部２２を介して仮想オブジェクトが重畳された現実空間を視認することができる。 The display unit 22 is a part of the wearable device 20 for displaying an image of a virtual object. Examples of the display unit 22 include a display and goggles. The display unit 22 displays the display image of the virtual object at the display position on the display based on the control signal transmitted by the image display control unit 123. As a result, the passenger wearing the wearable device 20 can visually recognize the real space on which the virtual object is superimposed via the display unit 22.
次に、図８を用いて、本実施形態に係る挙動推定方法の手順を説明する。図８は、本実施形態に係る挙動推定方法の手順を示すフローチャートである。本実施形態では、搭乗者がウェアラブルデバイス２０を装着して、表示部２２に仮想オブジェクトの表示画像を表示させるＡＲシステムを起動させると、ステップＳ８０１から制御フローを開始する。本実施形態では、コントローラ１２は、仮想オブジェクトを表示している間、図８の制御フローを繰り返し実行する。 Next, the procedure of the behavior estimation method according to the present embodiment will be described with reference to FIG. FIG. 8 is a flowchart showing the procedure of the behavior estimation method according to the present embodiment. In the present embodiment, when the passenger wears the wearable device 20 and activates the AR system for displaying the display image of the virtual object on the display unit 22, the control flow is started from step S801. In the present embodiment, the controller 12 repeatedly executes the control flow of FIG. 8 while displaying the virtual object.
ステップＳ８０１では、移動体挙動検出装置１１は、車両２の挙動を検出する。具体的には、複数の移動体挙動検出装置１１は、それぞれ設置されている設置位置における車両２の挙動を加速度センサ１１０及びジャイロセンサ１１１により検出する。そして、移動体挙動検出装置１１は、検出された車両２の挙動のデータをコントローラ１２に出力する。また、複数の移動体挙動検出装置１１は、それぞれ所定の時間間隔で繰り返し移動体の挙動を検出する。 In step S801, the moving body behavior detection device 11 detects the behavior of the vehicle 2. Specifically, the plurality of moving body behavior detection devices 11 detect the behavior of the vehicle 2 at the installation positions where they are installed by the acceleration sensor 110 and the gyro sensor 111. Then, the moving body behavior detection device 11 outputs the detected behavior data of the vehicle 2 to the controller 12. In addition, the plurality of moving body behavior detecting devices 11 repeatedly detect the behavior of the moving body at predetermined time intervals.
ステップＳ８０２では、コントローラ１２は、車両２の車内における搭乗者位置を取得する。具体的には、コントローラ１２は、カメラ１４やシートセンサ１５により検出されたセンサ情報に基づいて、搭乗者位置を取得する。搭乗者が複数人いる場合には、それぞれの搭乗者について搭乗者位置を取得する。 In step S802, the controller 12 acquires the occupant position in the vehicle 2. Specifically, the controller 12 acquires the passenger position based on the sensor information detected by the camera 14 and the seat sensor 15. If there are multiple passengers, the passenger position is acquired for each passenger.
ステップＳ８０３では、コントローラ１２は、搭乗者位置における移動体の挙動を推定する。具体的には、コントローラ１２は、ステップＳ８０２で取得された搭乗者位置と複数の移動体挙動検出装置１１の位置との位置関係と、ステップＳ８０１で検出された、複数の設置位置における車両２の挙動とに基づいて、計算により搭乗者位置における移動体の挙動を推定する。 In step S803, the controller 12 estimates the behavior of the moving object at the passenger position. Specifically, the controller 12 has a positional relationship between the occupant position acquired in step S802 and the positions of the plurality of moving body behavior detection devices 11, and the vehicle 2 at the plurality of installation positions detected in step S801. Based on the behavior, the behavior of the moving object at the passenger position is estimated by calculation.
ステップＳ８０４では、搭乗者挙動検出装置２１は、搭乗者の頭部の挙動を検出する。検出された搭乗者の頭部の挙動には、搭乗者による頭部の挙動と、車両２の挙動による頭部の挙動を含む。そして、搭乗者挙動検出装置２１は、検出された搭乗者の頭部の挙動を、通信装置２３を介してコントローラ１２に送信する。 In step S804, the occupant behavior detection device 21 detects the behavior of the occupant's head. The detected behavior of the occupant's head includes the behavior of the occupant's head and the behavior of the head due to the behavior of the vehicle 2. Then, the passenger behavior detection device 21 transmits the detected behavior of the passenger's head to the controller 12 via the communication device 23.
ステップＳ８０５では、コントローラ１２は、搭乗者による頭部の挙動を推定する。具体的には、コントローラ１２は、ステップＳ８０４で検出された搭乗者の頭部の挙動と、ステップＳ８０３で推定された搭乗者位置における移動体の挙動との差を、搭乗者による頭部の挙動として推定する。 In step S805, the controller 12 estimates the behavior of the occupant's head. Specifically, the controller 12 determines the difference between the behavior of the occupant's head detected in step S804 and the behavior of the moving object at the occupant position estimated in step S803, and the behavior of the occupant's head. Estimate as.
ステップＳ８０６では、コントローラ１２は、ステップＳ８０５で推定された搭乗者による頭部の挙動に応じて、表示部２２に表示する仮想オブジェクトの表示画像の表示制御を行う。具体的には、コントローラ１２は、ステップＳ８０５で推定された搭乗者による頭部の挙動に基づいて、頭部の状態、すなわち、車両２に対する頭部の位置、向き及び回転角度を算出し、算出された搭乗者の頭部の状態に基づいて、仮想オブジェクトの表示画像の画像形態を制御する制御信号を生成する。そして、コントローラ１２は、生成された当該制御信号を車載通信装置１３を介してウェアラブルデバイス２０に送信する。 In step S806, the controller 12 controls the display of the display image of the virtual object to be displayed on the display unit 22 according to the behavior of the head by the passenger estimated in step S805. Specifically, the controller 12 calculates and calculates the state of the head, that is, the position, orientation, and rotation angle of the head with respect to the vehicle 2 based on the behavior of the head by the passenger estimated in step S805. A control signal for controlling the image form of the display image of the virtual object is generated based on the state of the occupant's head. Then, the controller 12 transmits the generated control signal to the wearable device 20 via the vehicle-mounted communication device 13.
ステップＳ８０７では、通信装置２３を介して制御信号を受信した表示部２２は、当該制御信号に基づく表示形態により仮想オブジェクトの表示画像を表示する。例えば、表示部２２は、搭乗者の視界に映る車外の対象物に対して、当該対象物を強調する画像を表示する。 In step S807, the display unit 22 that has received the control signal via the communication device 23 displays the display image of the virtual object in the display form based on the control signal. For example, the display unit 22 displays an image emphasizing the object outside the vehicle in the passenger's field of view.
なお、本実施形態では、搭乗者挙動推定部１２２により推定された、搭乗者による頭部の挙動に基づいて、表示画像の表示形態を制御することとしているが、これに限らず、搭乗者挙動推定部１２２により推定された、搭乗者による腕の挙動に基づいて、表示画像の表示形態を制御することとしてもよい。例えば、搭乗者は、ウェアラブルデバイス２０が装着された腕の挙動によって、表示部２２に表示される表示画像を操作する。具体的には、画像表示制御部１２３は、搭乗者の腕の挙動に連動して表示部２２に表示させる表示画像の位置を制御する。この場合にも、搭乗者挙動検出装置２１により検出される腕の挙動に車両２の挙動が含まれていると、表示画像の表示位置が搭乗者の意図しない方向に移動してしまうため、搭乗者挙動推定部１２２により搭乗者による腕の挙動を推定することで、搭乗者は、搭乗者による腕の挙動に基づいて正確に表示画像の表示位置を操作することができる。また、本実施形態では、搭乗者挙動推定部１２２により推定された、搭乗者による腕の挙動に基づいて、搭乗者のジェスチャを認識することとしてもよい。 In the present embodiment, the display form of the display image is controlled based on the behavior of the head by the occupant estimated by the occupant behavior estimation unit 122, but the present invention is not limited to this, and the occupant behavior is not limited to this. The display form of the display image may be controlled based on the behavior of the arm by the passenger estimated by the estimation unit 122. For example, the passenger operates the display image displayed on the display unit 22 according to the behavior of the arm on which the wearable device 20 is attached. Specifically, the image display control unit 123 controls the position of the display image to be displayed on the display unit 22 in conjunction with the behavior of the occupant's arm. Also in this case, if the behavior of the arm detected by the occupant behavior detection device 21 includes the behavior of the vehicle 2, the display position of the display image moves in a direction not intended by the occupant. By estimating the behavior of the arm by the occupant by the person behavior estimation unit 122, the occupant can accurately operate the display position of the displayed image based on the behavior of the arm by the occupant. Further, in the present embodiment, the gesture of the occupant may be recognized based on the behavior of the arm by the occupant estimated by the occupant behavior estimation unit 122.
以上のように、本実施形態では、移動体に搭乗する搭乗者に装着され、搭乗者の身体の挙動を検出する搭乗者挙動検出部と、移動体における搭乗者の位置を搭乗者位置として検出する搭乗者位置検出部と、移動体の複数の設置位置に設置され、設置位置における移動体の挙動を検出する複数の移動体挙動検出部と、移動体における搭乗者位置と複数の設置位置との位置関係と、複数の設置位置における移動体の挙動とに基づいて、搭乗者位置における移動体の挙動を推定する移動体挙動推定部と、搭乗者挙動検出部により検出された身体の挙動と搭乗者位置における移動体の挙動に基づいて、搭乗者による身体の挙動を推定する搭乗者挙動推定部とを備える。これにより、移動体の搭乗者による身体の挙動を正確に推定できる。 As described above, in the present embodiment, the passenger behavior detection unit, which is attached to the passenger boarding the moving body and detects the behavior of the occupant's body, and the position of the occupant in the moving body are detected as the occupant position. A passenger position detection unit to be installed, a plurality of moving body behavior detection units installed at a plurality of installation positions of the moving body to detect the behavior of the moving body at the installation position, and a occupant position and a plurality of installation positions on the moving body. A moving body behavior estimation unit that estimates the behavior of the moving body at the occupant position based on the positional relationship of the moving body and the behavior of the moving body at a plurality of installation positions, and the body behavior detected by the occupant behavior detection unit. It is provided with a occupant behavior estimation unit that estimates the behavior of the body by the occupant based on the behavior of the moving object at the occupant position. As a result, the behavior of the body by the passenger of the moving body can be accurately estimated.
また、本実施形態では、画像を表示する表示部と、搭乗者挙動推定部により推定された、搭乗者による身体の挙動に基づいて、表示部により表示される画像の表示形態を制御する画像表示制御部とをさらに備える。これにより、走行中の乗員に拡張現実空間を提示する際に、搭乗者による身体の挙動に応じて仮想オブジェクトの表示画像を正確に表示することができる。 Further, in the present embodiment, an image display that controls the display form of the image displayed by the display unit based on the display unit that displays the image and the behavior of the body by the passenger estimated by the passenger behavior estimation unit. It further includes a control unit. As a result, when presenting the augmented reality space to the traveling occupant, the display image of the virtual object can be accurately displayed according to the behavior of the body by the occupant.
また、本実施形態では、搭乗者挙動検出部は、搭乗者の頭部に装着され、頭部の挙動を検出する。これにより、頭部の挙動に応じた表示画像の表示制御を行うことができる。 Further, in the present embodiment, the occupant behavior detection unit is attached to the occupant's head and detects the behavior of the head. As a result, it is possible to control the display of the display image according to the behavior of the head.
また、本実施形態では、搭乗者挙動検出部は、頭部の角速度を頭部角速度として計測する頭部ジャイロセンサを有し、移動体挙動検出部は、移動体の角速度を移動体角速度として計測する移動体ジャイロセンサを有し、搭乗者挙動推定部は、頭部角速度及び移動体角速度に基づいて、搭乗者による頭部の挙動を推定する。これにより、頭部の相対的な角度を推定して、車両内における頭部の向きを正確に推定することができる。 Further, in the present embodiment, the passenger behavior detection unit has a head gyro sensor that measures the angular velocity of the head as the head angular velocity, and the moving body behavior detection unit measures the angular velocity of the moving body as the moving body angular velocity. It has a moving body gyro sensor, and the occupant behavior estimation unit estimates the behavior of the head by the occupant based on the head angular velocity and the moving body angular velocity. This makes it possible to estimate the relative angle of the head and accurately estimate the orientation of the head in the vehicle.
また、本実施形態では、搭乗者挙動検出部は、頭部の加速度を頭部加速度として計測する頭部加速度センサを有し、移動体挙動検出部は、移動体の加速度を移動体加速度として計測する移動体加速度センサを有し、搭乗者挙動推定部は、頭部加速度及び移動体加速度に基づいて、搭乗者による頭部の挙動を推定する。これにより、頭部の相対的な位置を推定して、車両内における頭部の位置を正確に推定することができる。 Further, in the present embodiment, the passenger behavior detection unit has a head acceleration sensor that measures the acceleration of the head as the head acceleration, and the moving body behavior detection unit measures the acceleration of the moving body as the moving body acceleration. It has a moving body acceleration sensor, and the occupant behavior estimation unit estimates the behavior of the head by the occupant based on the head acceleration and the moving body acceleration. This makes it possible to estimate the relative position of the head and accurately estimate the position of the head in the vehicle.
また、本実施形態では、搭乗者挙動検出部は、搭乗者に装着されるウェアラブルデバイスに備えられ、移動体挙動検出部は、移動体に搭載される移動体デバイスに備えられ、搭乗者挙動推定部は、移動体デバイスに備えられる。これにより、移動体に搭載されたデバイスが搭乗者による身体の挙動を推定する機能を有することで、ウェアラブルデバイスが複数あった場合に、一元的に、それらのデバイスの挙動を推定することができる。 Further, in the present embodiment, the occupant behavior detection unit is provided in the wearable device mounted on the passenger, and the mobile body behavior detection unit is provided in the mobile device mounted on the mobile body to estimate the occupant behavior. The unit is provided in the mobile device. As a result, since the device mounted on the moving body has a function of estimating the behavior of the body by the passenger, when there are a plurality of wearable devices, the behavior of those devices can be estimated in a unified manner. ..
また、本実施形態では、搭乗者挙動検出部は、搭乗者の腕に装着され、腕の挙動を検出する。これにより、腕の挙動に応じた表示画像の表示制御を行うことができる。 Further, in the present embodiment, the occupant behavior detection unit is attached to the occupant's arm and detects the behavior of the arm. As a result, it is possible to control the display of the display image according to the behavior of the arm.
≪第２実施形態≫
次に、図９を用いて、第２実施形態に係る挙動推定システム１について説明する。第２実施形態に係る挙動推定システム１は、第１実施形態に係る挙動推定システム１の変形例である。以下に説明する点において第１実施形態に係る挙動推定システム１と異なること以外は、第１実施形態と同様の構成を有し、第１実施形態と同様に動作するものであり、第１実施形態の記載を適宜、援用する。本実施形態において第１実施形態と異なる構成は、搭乗者挙動推定部である。第１実施形態においては、搭乗者挙動推定部は車載デバイスを構成する機能ブロックであったが、第２実施形態においては、図９で示されるように、ウェアラブルデバイス２０を構成する機能ブロックである。すなわち、第２実施形態では、ウェアラブルデバイス２０が、搭乗者による身体の挙動を推定する。したがって、本実施形態では、搭乗者が複数いる場合には、複数のウェアラブルデバイス２０それぞれにおいて、搭乗者による身体の挙動が推定される。
<< Second Embodiment >>
Next, the
本実施形態では、コントローラ１２は、移動体挙動推定部１２１により搭乗者位置における車両２の挙動を推定すると、搭乗者位置における車両２の挙動を車載通信装置１３を介して、通信装置２３に送信する。また、ウェアラブルデバイス２０は、通信装置２３を介して搭乗者位置における車両２の挙動を受信すると、搭乗者挙動推定部２４により、搭乗者の頭部の挙動と、搭乗者位置における車両２の挙動との差を、搭乗者による頭部の挙動として推定する。そして、ウェアラブルデバイス２０は、推定された搭乗者による頭部の挙動を、通信装置２３を介してコントローラ１２に送信する。また、ウェアラブルデバイス２０は、機能ブロックとして画像表示制御部を備えることとしてもよく、その場合には、ウェアラブルデバイス２０において、搭乗者による頭部の挙動に基づいて、表示部２２に表示される表示画像の表示形態を制御する。 In the present embodiment, when the controller 12 estimates the behavior of the vehicle 2 at the passenger position by the mobile body behavior estimation unit 121, the controller 12 transmits the behavior of the vehicle 2 at the passenger position to the communication device 23 via the vehicle-mounted communication device 13. do. Further, when the wearable device 20 receives the behavior of the vehicle 2 at the occupant position via the communication device 23, the occupant behavior estimation unit 24 determines the behavior of the occupant's head and the behavior of the vehicle 2 at the occupant position. The difference from the above is estimated as the behavior of the head by the passenger. Then, the wearable device 20 transmits the estimated behavior of the head by the occupant to the controller 12 via the communication device 23. Further, the wearable device 20 may include an image display control unit as a functional block. In that case, the display displayed on the display unit 22 on the wearable device 20 based on the behavior of the head by the occupant. Control the display form of the image.
なお、本実施形態におけるフローチャートは、図８のフローチャートと同じであるが、以下の点で、挙動推定方法の具体的な処理が第１実施形態と異なる。すなわち、本実施形態では、ステップＳ８０３で、コントローラ１２は、搭乗者位置における車両２の挙動を推定した後、搭乗者位置における車両２の挙動をウェアラブルデバイス２０に送信する。また、ステップＳ８０４で、搭乗者挙動検出装置２１により、搭乗者の頭部の挙動が検出された後、ウェアラブルデバイス２０は、ステップＳ８０５で、搭乗者による頭部の挙動を推定し、推定された搭乗者による頭部の挙動をコントローラ１２に送信する。 The flowchart of the present embodiment is the same as the flowchart of FIG. 8, but the specific processing of the behavior estimation method is different from that of the first embodiment in the following points. That is, in the present embodiment, in step S803, the controller 12 estimates the behavior of the vehicle 2 at the passenger position, and then transmits the behavior of the vehicle 2 at the passenger position to the wearable device 20. Further, after the behavior of the occupant's head is detected by the occupant behavior detection device 21 in step S804, the wearable device 20 estimates and estimates the behavior of the occupant's head in step S805. The behavior of the head by the passenger is transmitted to the controller 12.
以上のように、本実施形態では、搭乗者挙動検出部は、搭乗者に装着されるウェアラブルデバイスに備えられ、移動体挙動検出部は、移動体に搭載される移動体デバイスに備えられ、搭乗者挙動推定部は、ウェアラブルデバイスに備えられる。これにより、複数のウェアラブルデバイスがある場合に、各ウェアラブルデバイスで処理を行うため、処理の負荷を下げることができ、処理の速度を向上させることができる。 As described above, in the present embodiment, the passenger behavior detection unit is provided in the wearable device mounted on the passenger, and the mobile body behavior detection unit is provided in the mobile device mounted on the mobile body for boarding. The human behavior estimation unit is provided in the wearable device. As a result, when there are a plurality of wearable devices, processing is performed by each wearable device, so that the processing load can be reduced and the processing speed can be improved.
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 It should be noted that the embodiments described above are described for facilitating the understanding of the present invention, and are not described for limiting the present invention. Therefore, each element disclosed in the above-described embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
１…挙動推定システム
１０…車載デバイス
１１…移動体挙動検出装置
１２…コントローラ
１２０…搭乗者位置取得部
１２１…移動体挙動推定部
１２２…搭乗者挙動推定部
１２３…画像表示制御部
１３…車載通信装置
１４…カメラ
１５…シートセンサ
２０…ウェアラブルデバイス
２１…搭乗者挙動検出装置
２２…表示部
２３…通信装置
1 ... Behavior estimation system 10 ... In-vehicle device 11 ... Mobile behavior detection device 12 ... Controller 120 ... Passenger position acquisition unit 121 ... Mobile behavior estimation unit 122 ... Passenger behavior estimation unit 123 ... Image display control unit 13 ... In-vehicle communication Device 14 ... Camera 15 ... Seat sensor 20 ... Wearable device 21 ... Passenger behavior detection device 22 ... Display 23 ... Communication device
Claims (9)
前記移動体における前記搭乗者の位置を搭乗者位置として検出する搭乗者位置検出部と、
前記移動体の複数の設置位置に設置され、前記設置位置における前記移動体の挙動を検出する複数の移動体挙動検出部と、
前記移動体における前記搭乗者位置と複数の前記設置位置との位置関係と、複数の前記設置位置における前記移動体の挙動とに基づいて、前記搭乗者位置における前記移動体の挙動を推定する移動体挙動推定部と、
前記搭乗者挙動検出部により検出された前記身体の挙動と前記搭乗者位置における前記移動体の挙動とに基づいて、前記搭乗者による前記身体の挙動を推定する搭乗者挙動推定部とを備える挙動推定システム。 A passenger behavior detection unit that is attached to a passenger boarding a moving body and detects the physical behavior of the passenger, and a passenger behavior detection unit.
A passenger position detection unit that detects the position of the passenger in the moving body as a passenger position, and
A plurality of moving body behavior detection units that are installed at a plurality of installation positions of the moving body and detect the behavior of the moving body at the installation positions.
Movement that estimates the behavior of the moving body at the passenger position based on the positional relationship between the passenger position and the plurality of installation positions in the moving body and the behavior of the moving body at the plurality of installation positions. Body behavior estimation unit and
Behavior including a occupant behavior estimation unit that estimates the behavior of the body by the occupant based on the behavior of the body detected by the occupant behavior detection unit and the behavior of the moving body at the occupant position. Estimate system.
画像を表示する表示部と、
前記搭乗者挙動推定部により推定された、前記搭乗者による前記身体の挙動に基づいて、前記表示部により表示される前記画像の表示形態を制御する画像表示制御部とをさらに備える挙動推定システム。 The behavior estimation system according to claim 1.
A display unit that displays images and
A behavior estimation system further including an image display control unit that controls a display form of the image displayed by the display unit based on the behavior of the body by the passenger estimated by the passenger behavior estimation unit.
前記搭乗者挙動検出部は、前記搭乗者の頭部に装着され、前記頭部の挙動を検出する挙動推定システム。 The behavior estimation system according to claim 1 or 2.
The occupant behavior detection unit is a behavior estimation system that is attached to the occupant's head and detects the behavior of the head.
前記搭乗者挙動検出部は、前記頭部の角速度を頭部角速度として計測する頭部ジャイロセンサを有し、
前記移動体挙動検出部は、前記移動体の角速度を移動体角速度として計測する移動体ジャイロセンサを有し、
前記搭乗者挙動推定部は、前記頭部角速度及び前記移動体角速度に基づいて、前記搭乗者による前記頭部の挙動を推定する挙動推定システム。 The behavior estimation system according to claim 3.
The occupant behavior detection unit has a head gyro sensor that measures the angular velocity of the head as a head angular velocity.
The moving body behavior detection unit has a moving body gyro sensor that measures the angular velocity of the moving body as a moving body angular velocity.
The occupant behavior estimation unit is a behavior estimation system that estimates the behavior of the head by the occupant based on the head angular velocity and the moving body angular velocity.
前記搭乗者挙動検出部は、前記頭部の加速度を頭部加速度として計測する頭部加速度センサを有し、
前記移動体挙動検出部は、前記移動体の加速度を移動体加速度として計測する移動体加速度センサを有し、
前記搭乗者挙動推定部は、前記頭部加速度及び前記移動体加速度に基づいて、前記搭乗者による前記頭部の挙動を推定する挙動推定システム。 The behavior estimation system according to claim 3 or 4.
The occupant behavior detection unit has a head acceleration sensor that measures the acceleration of the head as a head acceleration.
The moving body behavior detection unit has a moving body acceleration sensor that measures the acceleration of the moving body as the moving body acceleration.
The occupant behavior estimation unit is a behavior estimation system that estimates the behavior of the head by the occupant based on the head acceleration and the moving body acceleration.
前記搭乗者挙動検出部は、前記搭乗者に装着されるウェアラブルデバイスに備えられ、
前記移動体挙動検出部は、前記移動体に搭載される移動体デバイスに備えられ、
前記搭乗者挙動推定部は、前記移動体デバイスに備えられる挙動推定システム。 The behavior estimation system according to any one of claims 1 to 5.
The occupant behavior detection unit is provided in a wearable device worn on the occupant.
The moving body behavior detection unit is provided in a moving body device mounted on the moving body.
The passenger behavior estimation unit is a behavior estimation system provided in the mobile device.
前記搭乗者挙動検出部は、前記搭乗者に装着されるウェアラブルデバイスに備えられ、
前記移動体挙動検出部は、前記移動体に搭載される移動体デバイスに備えられ、
前記搭乗者挙動推定部は、前記ウェアラブルデバイスに備えられる挙動推定システム。 The behavior estimation system according to any one of claims 1 to 5.
The occupant behavior detection unit is provided in a wearable device worn on the occupant.
The moving body behavior detection unit is provided in a moving body device mounted on the moving body.
The passenger behavior estimation unit is a behavior estimation system provided in the wearable device.
前記搭乗者挙動検出部は、前記搭乗者の腕に装着され、前記腕の挙動を検出する挙動推定システム。 The behavior estimation system according to any one of claims 1 to 7.
The occupant behavior detection unit is a behavior estimation system that is attached to the occupant's arm and detects the behavior of the arm.
前記移動体における前記搭乗者の位置を搭乗者位置として検出し、
前記移動体の複数の設置位置における前記移動体の挙動を検出し、
前記移動体における前記搭乗者位置と複数の前記設置位置との位置関係と、複数の前記設置位置における前記移動体の挙動とに基づいて、前記搭乗者位置における前記移動体の挙動を推定し、
検出された前記身体の挙動と前記搭乗者位置における前記移動体の挙動とに基づいて、前記搭乗者による前記身体の挙動を推定する挙動推定方法。 Detects the physical behavior of passengers boarding moving objects and detects
The position of the passenger in the moving body is detected as the passenger position,
The behavior of the moving body at a plurality of installation positions of the moving body is detected, and the behavior of the moving body is detected.
The behavior of the moving body at the passenger position is estimated based on the positional relationship between the passenger position in the moving body and the plurality of installation positions and the behavior of the moving body at the plurality of installation positions.
A behavior estimation method for estimating the behavior of the body by the passenger based on the detected behavior of the body and the behavior of the moving body at the passenger position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020060199A JP7379253B2 (en) | 2020-03-30 | 2020-03-30 | Behavior estimation system and behavior estimation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020060199A JP7379253B2 (en) | 2020-03-30 | 2020-03-30 | Behavior estimation system and behavior estimation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021157733A true JP2021157733A (en) | 2021-10-07 |
| JP7379253B2 JP7379253B2 (en) | 2023-11-14 |
Family
ID=77919124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020060199A Active JP7379253B2 (en) | 2020-03-30 | 2020-03-30 | Behavior estimation system and behavior estimation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7379253B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010184589A (en) * | 2009-02-12 | 2010-08-26 | Nissan Motor Co Ltd | Onboard display device |
| JP2017077296A (en) * | 2015-10-19 | 2017-04-27 | 株式会社デンソー | Behavior estimation system, behavior estimation method, and wearable device |
| US20180031829A1 (en) * | 2016-07-27 | 2018-02-01 | Brillio LLC | Method and system for automatically calibrating hmd device |
| JP2019049831A (en) * | 2017-09-08 | 2019-03-28 | パナソニックＩｐマネジメント株式会社 | Video display control device, video display system and video display control method |
| JP2020115274A (en) * | 2019-01-17 | 2020-07-30 | 株式会社アルファコード | Virtual space image display control device, virtual space image display control program |
-
2020
- 2020-03-30 JP JP2020060199A patent/JP7379253B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010184589A (en) * | 2009-02-12 | 2010-08-26 | Nissan Motor Co Ltd | Onboard display device |
| JP2017077296A (en) * | 2015-10-19 | 2017-04-27 | 株式会社デンソー | Behavior estimation system, behavior estimation method, and wearable device |
| US20180031829A1 (en) * | 2016-07-27 | 2018-02-01 | Brillio LLC | Method and system for automatically calibrating hmd device |
| JP2019049831A (en) * | 2017-09-08 | 2019-03-28 | パナソニックＩｐマネジメント株式会社 | Video display control device, video display system and video display control method |
| JP2020115274A (en) * | 2019-01-17 | 2020-07-30 | 株式会社アルファコード | Virtual space image display control device, virtual space image display control program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7379253B2 (en) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210223547A1 (en) | Method and apparatus for adjusting motion-based data space manipulation | |
| JP4978721B2 (en) | Driving assistance device | |
| US20190061655A1 (en) | Method and apparatus for motion sickness prevention | |
| JP7005978B2 (en) | Trajectory estimation method and trajectory estimation device | |
| KR102550382B1 (en) | Image display system, information processing device, information processing method, program, and moving object | |
| JP7371629B2 (en) | Information processing device, information processing method, program, and vehicle | |
| CN111034186B (en) | Surrounding vehicle display method and surrounding vehicle display device | |
| WO2020261642A1 (en) | Display control device, image display system, mobile body, display control method, and program | |
| US11305692B2 (en) | Display system | |
| US20230065018A1 (en) | Method for operating data glasses in a motor vehicle and system of a motor vehicle and data glasses | |
| KR20200032547A (en) | Device of augmented reality games for self-driving vehicles and method for the same | |
| US11945309B2 (en) | Display system | |
| JP7063856B2 (en) | Display control device | |
| JP7379253B2 (en) | Behavior estimation system and behavior estimation method | |
| CN110297325B (en) | Augmented reality glasses and system and method for displaying information on vehicle by augmented reality glasses | |
| JP2008026265A (en) | Head motion tracker system | |
| JP2004106596A (en) | Device and method for displaying image and device and method for measurement | |
| JP2018157319A (en) | Content viewing device, content providing method, and mobile object | |
| CN115088028A (en) | Rendering system, display system, moving object, rendering method, and program | |
| WO2022224754A1 (en) | Vehicle display system, vehicle display method, and vehicle display program | |
| US20220080832A1 (en) | Display system | |
| WO2022250117A1 (en) | Vehicle display system, vehicle display method, and vehicle display program | |
| JP2022142549A (en) | Image generation apparatus and image generation method | |
| CN117657048A (en) | Method and device for moving vehicle-mounted screen, electronic equipment and storage medium | |
| WO2020201800A1 (en) | Control device for display device, terminal, program, computer-readable recording medium, and control method for display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231101 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7379253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |