JP2017125883A - Eyeglass information display device - Google Patents
Eyeglass information display device Download PDFInfo
- Publication number
- JP2017125883A JP2017125883A JP2016003497A JP2016003497A JP2017125883A JP 2017125883 A JP2017125883 A JP 2017125883A JP 2016003497 A JP2016003497 A JP 2016003497A JP 2016003497 A JP2016003497 A JP 2016003497A JP 2017125883 A JP2017125883 A JP 2017125883A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- user
- driver
- seat position
- seat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 claims description 20
- 230000001105 regulatory effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 21
- 230000000007 visual effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、車両に乗車しているユーザの頭部に装着して使用可能なメガネ型情報表示装置に関する。 The present invention relates to a glasses-type information display device that can be used by being mounted on the head of a user who is in a vehicle.
近年、車両（自動車）においては、例えばインパネのセンター部に情報表示装置を設け、ナビゲーション画面や、ＴＶ・ビデオ等の画像を表示したり、運転支援の情報例えばバックカメラやサイドカメラの画像を表示したりすることが行われる。この種の車載情報表示装置においては、一般に、運転者の運転の安全性を確保するために、車両の走行中には、情報表示装置における表示や操作の機能に制限が設けられるようになっている。 In recent years, in vehicles (automobiles), for example, an information display device is provided at the center of an instrument panel to display images such as navigation screens and TV / videos, and display information for driving assistance such as images from back cameras and side cameras. Is done. In this type of in-vehicle information display device, in general, in order to ensure the safety of driving by the driver, there are restrictions on the functions of display and operation in the information display device while the vehicle is traveling. Yes.
ところが、単純に表示や操作に制限をかけるだけでは、助手席に座る同乗者など、運転者以外の乗員に対しての不便さを招く事情がある。そのため、従来では、同乗者の不便さを解消するために、各種の工夫が考えられている（例えば特許文献１、２参照）。特許文献１では、前席、後席の夫々に表示部と操作部を設け、夫々に関して操作の可否を設定可能としている。特許文献２では、運転席、助手席の異なる視覚に応じて別画像を表示することにより、操作者の判別を行うようにしている。
However, simply limiting the display and operation may cause inconvenience to passengers other than the driver, such as passengers sitting in the passenger seat. Therefore, conventionally, various devices have been considered in order to eliminate the inconvenience of passengers (see, for example,
ところで、近年、いわゆるウェアラブルコンピュータの一つとして、例えば「Google Glass（登録商標）」等の、ユーザが頭部に装着するメガネ型情報表示装置（ヘッドマウントディスプレイ）が注目を集めてきており、これを、車両用に使用することが考えられる。このメガネ型情報表示装置は、例えば右目の前方に配置されるプリズムディスプレイに、装置内部のプロジェクタから照射した画像を投影させるように構成されている。また、マイクやスピーカ、操作可能なタッチパッド、方位センサや加速度センサ等の各種センサが搭載され、音声操作やタッチパッド操作、ウインクやヘッドジェスチャ等の各種操作が可能とされている。更に、カメラ、ＷｉＦｉやＢＴ等の無線通信装置を備えて構成され、インターネットの利用や、スマートフォンとのＢＴ接続による通話や各種アプリの利用が可能とされている。 By the way, in recent years, as one of so-called wearable computers, for example, “Google Glass (registered trademark)” or the like, a glasses-type information display device (head mounted display) that a user wears on the head has been attracting attention. Can be used for vehicles. This glasses-type information display device is configured to project an image irradiated from a projector inside the device onto, for example, a prism display disposed in front of the right eye. In addition, various sensors such as a microphone, a speaker, an operable touch pad, an orientation sensor, and an acceleration sensor are mounted, and various operations such as voice operation, touch pad operation, wink, and head gesture are possible. Furthermore, it comprises a wireless communication device such as a camera, WiFi, BT, etc., and it is possible to use the Internet, use a BT connection with a smartphone, and use various applications.
車両内で使用するにあたっては、運転者となるユーザがメガネ型情報表示装置を装着し、例えば車載機と無線接続することにより、車載機側から必要な運転支援情報を得て、プリズムディスプレイに表示させるといった使い方が考えられる。しかしながら、この種のメガネ型情報表示装置を、特に運転者が車内で使用する場合、安全性を考慮することが極めて重要となる。 When used in a vehicle, a user who is a driver wears a glasses-type information display device and obtains necessary driving support information from the in-vehicle device by wireless connection with the in-vehicle device, for example, and displays it on the prism display It is possible to use it. However, when this type of eyeglass-type information display device is used in a vehicle by a driver, it is extremely important to consider safety.
本発明は上記事情に鑑みてなされたものであり、その目的は、車両内で使用する場合の、安全性を確保することができるメガネ型情報表示装置を提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a glasses-type information display device that can ensure safety when used in a vehicle.
上記目的を達成するために、本発明の請求項１のメガネ型情報表示装置は、車両に乗車しているユーザの頭部に装着して使用可能なものであって、ユーザの視野内に情報を表示するディスプレイ（７）を備えたメガネ型情報表示装置（１）において、ユーザの座席位置を判別する座席位置判別手段（２１）と、前記座席位置判別手段（２１）が判別した座席位置に応じて、前記ディスプレイ（７）に表示する情報を取捨選択する表示制御手段（２１）とを備えるところに特徴を有する。
In order to achieve the above object, the glasses-type information display apparatus according to
これによれば、座席位置判別手段（２１）により、メガネ型情報表示装置（１）を装着して使用するユーザの座席位置が判別される。このとき、ユーザが運転席に乗車している運転者である場合には、運転支援に必要な情報を提供することは好ましいが、運転に対する集中を妨げるような情報表示は望ましくない。座席位置判別手段（２１）が判別した座席位置に応じて、表示制御手段（２１）により、ディスプレイ（７）に表示する情報が取捨選択される。 According to this, the seat position discriminating means (21) discriminates the seat position of the user wearing and using the glasses-type information display device (1). At this time, if the user is a driver in the driver's seat, it is preferable to provide information necessary for driving support, but information display that prevents concentration on driving is not desirable. The information displayed on the display (7) is selected by the display control means (21) according to the seat position determined by the seat position determination means (21).
従って、使用しているユーザが運転者である場合に、不要な情報については表示しない等、運転に対する集中を妨げるような表示動作を行わずに済ませることができる。この結果、請求項１のメガネ型情報表示装置（１）によれば、ユーザの視野内に情報を表示するディスプレイ（７）を備えたものにあって、車両内で使用する場合の、安全性を確保することができるという優れた効果を奏する。 Accordingly, when the user who is using the driver is a driver, it is possible to avoid a display operation that prevents concentration on driving such as not displaying unnecessary information. As a result, according to the glasses-type information display device (1) of the first aspect, there is provided the display (7) for displaying information within the visual field of the user, and the safety when used in the vehicle. There is an excellent effect that can be secured.
また、本発明の請求項６のメガネ型情報表示装置は、車両に乗車しているユーザの頭部に装着して使用可能なものであって、ユーザの視野内に情報を表示するディスプレイ（７）と、ユーザにより操作可能な操作部（１２）とを備えたメガネ型情報表示装置（１）において、ユーザの座席位置を判別する座席位置判別手段（２１）と、前記座席位置判別手段（２１）が判別した座席位置に応じて、前記操作部（１２）の操作を制限する操作制限手段（２１）とを備えるところに特徴を有する。
The glasses-type information display device according to
これによれば、座席位置判別手段（２１）により、メガネ型情報表示装置（１）を装着して使用するユーザの座席位置が判別される。このとき、ユーザが運転席に乗車している運転者である場合には、操作部（１２）を操作するのは必要最低限に止めておくべきであり、運転に対する集中を妨げるような操作を行うことは望ましくない。座席位置判別手段（２１）が判別した座席位置に応じて、操作制限手段（２１）により、ユーザによる操作部（１２）の操作が制限される。 According to this, the seat position discriminating means (21) discriminates the seat position of the user wearing and using the glasses-type information display device (1). At this time, if the user is a driver in the driver's seat, the operation unit (12) should be kept to the minimum necessary, and an operation that hinders concentration on driving should be performed. It is not desirable to do so. The operation restriction means (21) restricts the operation of the operation unit (12) by the user according to the seat position determined by the seat position determination means (21).
従って、使用しているユーザが運転者である場合に、必要最低限の操作以外の操作を禁止する等、運転に対する集中を妨げるような操作を行わずに済ませることができる。この結果、請求項６のメガネ型情報表示装置（１）によれば、ユーザの視野内に情報を表示するディスプレイ（７）を備えたものにあって、車両内で使用する場合の、安全性を確保することができるという優れた効果を奏する。 Therefore, when the user who is using is a driver, it is possible to avoid an operation that hinders concentration on driving such as prohibiting operations other than the minimum necessary operation. As a result, according to the glasses-type information display device (1) of the sixth aspect, there is provided the display (7) for displaying information within the visual field of the user, and the safety when used in the vehicle. There is an excellent effect that can be secured.
以下、本発明を具体化した一実施形態について、図面を参照しながら説明する。図１は、本実施携帯に係るメガネ型情報表示装置１の電気的構成を示しており、図２は、メガネ型情報表示装置１の外観構成を示している。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows an electrical configuration of a glasses-type
図２（ａ）に示すように、メガネ型情報表示装置１は、ユーザ（車両の運転者または同乗者）の頭部に着脱自在に装着されるメガネフレームに似た本体部２を有している。詳しくは、この本体部２は、ユーザの頭部の前面側に位置され、ノーズパッド３ａを有するフロント部３と、ユーザの左右の側頭部に位置され耳に掛けられるテンプル部４，５と、右のテンプル部５から前方に延び左方に湾曲するように折れ曲る延出部６とを有している。尚、フロント部３に、レンズ用のリムさらにはレンズを設ける構成としても良い。
As shown in FIG. 2 (a), the glasses-type
この本体部２には、以下のような各種の構成部品が組込まれる。即ち、図２（ｃ）、（ｄ）にも示すように、前記延出部６の先端には、プリズムディスプレイからなるディスプレイ７が設けられ、ユーザの右目の視野の一部である右前方に、プロジェクタから照射した画像を投影することにより、各種の情報を表示するように構成されている。図２（ｄ）に示すように、延出部６の前面部には、前方を撮影するカメラ８が設けられ、前記テンプル部５の前端部上部には、そのカメラ用のスイッチ９が設けられている。図１に示すように、本体部２には、前記カメラ８の撮影画像を処理して画像認識の機能などを実現する画像制御部１０が設けられると共に、後述するように、カメラ８の撮影画像に基づいてユーザの座席位置を判別する座席位置判別部１１が設けられている。
Various types of components as described below are incorporated in the main body 2. That is, as shown in FIGS. 2 (c) and 2 (d), a
図２（ｃ）に示すように、延出部６の右側面部には、操作部としてのタッチパッド１２が設けられている。図２（ｂ）に示すように、テンプル部５の後部には、例えば骨伝導式のスピーカ１３が設けられている。図示しないイヤホンの接続も可能とされている。更に、図１に示すように、本体部２には、ユーザの音声を入力するマイク１４や、加速度センサ、方位センサ等の各種センサ１５、記憶装置１６が設けられている。この場合、ユーザは、各種入力操作を行う場合、タッチパッド１２の操作以外にも、音声操作や、ウインク・ヘッドジェスチャー操作が可能とされている。
As shown in FIG. 2C, a
また、本体部２には、例えばＷｉＦｉやＢＴ等の近距離無線通信装置からなる通信部１７が設けられ、車両（自動車）に搭載された車載機１８や、ユーザの所持するスマートフォン１９との無線接続が可能とされている。前記車載機１８としては、カーナビや、車載マルチメディアシステム、周辺監視カメラシステム（バックガイドモニタ）等を含んでいる。
In addition, the main body 2 is provided with a
そして、図１に示すように、本実施形態に係るメガネ型情報表示装置１は、機能実行制御部２１を備えている。機能実行制御部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるコンピュータを主体として構成され、メガネ型情報表示装置１全体を制御して各種機能（各種アプリ）を実行する。この場合、機能実行制御部２１は、前記画像制御部１０、座席位置判別部１１に接続されていると共に、音声制御部２２を介して前記スピーカ１３、マイク１４を制御するようになっている。また、機能実行制御部２１には、前記各種センサ１５からの信号が入力されると共に、記憶装置１６を制御するようになっている。
As shown in FIG. 1, the glasses-type
更に、機能実行制御部２１には、表示制御部２３、操作制御部２４、通信制御部２５が接続されている。これにて、機能実行制御部２１は、表示制御部２３を介してディスプレイ７の表示を制御する。また、機能実行制御部２１には、操作制御部２４を介してタッチパッド１２からの操作信号が入力される。そして、機能実行制御部２１は、通信制御部２５を介して通信部１７の通信を制御するようになっている。
Furthermore, a
ここで、前記車載機１８としては、カーナビや、車載マルチメディアシステム、周辺監視カメラシステム（バックガイドモニタ）等を含んでおり、メガネ型情報表示装置１の通信部１７との通信機能、例えばＢｌｕｅｔｏｏｔｈ（登録商標）接続機能を備えている。この場合、車載機１８からメガネ型情報表示装置１に対し車両情報が送信される。この車両情報には、例えば、周辺監視カメラや周辺監視センサが取得した障害物情報（前方、前方左右、後方、後方左右の衝突警告情報）といった運転支援情報が含まれている。
Here, the in-
更に、車両情報には、車両の警告情報、例えばガソリンやバッテリの残量、ランプ切れ等の情報、オイル交換などのメンテナンス情報などがある。また、スマートフォン１９についても、メガネ型情報表示装置１の通信部１７との通信機能、例えばＢｌｕｅｔｏｏｔｈ（登録商標）接続機能を備えており、音声通話、メール、ＳＮＳ、ナビゲーション等の各種アプリの情報等を送信することができる。
Further, the vehicle information includes vehicle warning information, for example, remaining information on gasoline and battery, information on running out of lamp, maintenance information such as oil change, and the like. The
さて、後の作用説明（フローチャート説明）でも述べるように、メガネ型情報表示装置１の機能実行制御部２１は、ユーザが車両に乗車して、通信部１７と、前記車載機１８及び／又はスマートフォン１９とが接続している状態で、それらから情報を取得し、表示制御部２３を介してディスプレイ７に表示する。このとき、機能実行制御部２１は、メガネ型情報表示装置１を使用（装着）しているユーザの座席位置、即ち運転席かそれ以外の座席かを判別し、判別したユーザの座席位置に応じて、前記ディスプレイ７に表示する情報を取捨選択即ち制限するようになっている。
Now, as will be described later in the description of the operation (flowchart description), the function
具体的には、ユーザが運転者席の場合には、車載機１８から送信される車両情報については、必要な運転支援情報等を除いて、表示が制限される。また、動画情報の表示や、スマートフォンから送信されるメール情報等の運転に関係ない割込み情報についても表示が制限される。これに対し、ユーザがその他の乗員である場合には、そのような動画情報やメール情報等の表示の制限はなされない。車両情報については、もともと不要であるため、表示はなされない。
Specifically, when the user is a driver's seat, the display of the vehicle information transmitted from the in-
また、本実施形態では、機能実行制御部２１は、メガネ型情報表示装置１の操作、つまりタッチパッド１２の操作やその他の入力操作についても、ユーザの座席位置（運転者かその他の乗員か）に応じて、制限するようになっている。この場合も、運転者の場合には必要、不可欠な操作を除いて、運転の集中を妨げるような無用な操作が制限される。その他の乗員の場合には、基本的には、操作に関しても制限はなされない。
In the present embodiment, the function
このとき、本実施形態では、機能実行制御部２１は、車両が走行中かどうかを判断し、車両が走行中でない即ち停車中であるときには、ユーザが運転者であると判別された場合でも、ディスプレイ７の表示の制限や、操作の制限を緩和するようになっている。車両が走行中かどうかの判断は、例えば車載機１８から無線通信で車速情報を取得したり、車載機１８が走行中かどうかを判断し無線通信でその情報を取得したりすることに基づいて行われる。それ以外にも、メガネ型情報表示装置１自体或いはスマートフォン１９がＧＰＳ機能を備える場合には、そのＧＰＳ情報から移動速度を算出したり、カメラ８で撮影した連続画像から移動速度を推定したり、カメラ８でメータ部の画像を撮影して車速を読取ったりすることも可能である。
At this time, in the present embodiment, the function
本実施形態では、上記のように機能実行制御部２１がユーザの座席位置を判別するにあたっては、前記カメラ８により車内画像を撮影する。そして、その車内画像に基づいて、ユーザの座席位置、即ち、ユーザが運転席に乗車している運転者か、それ以外の座席の乗員かを判別する。この場合、ユーザの座席が運転席であれば、ステアリングホイール２６やメータ部２７（図９（ｂ）参照）等の車内の運転席特有の電装品が正面に撮影されるなど、座席に応じた車内画像が撮影される。これにより、画像認識によってそのような特定の車内固有物の有無及び相対位置を検出することに基づき、ユーザの座席位置を判別することができる。
In this embodiment, when the function
尚、車室内に特定のエンブレムを設けて、そのエンブレムを撮影することに基づき、その見え方によって運転席かどうかを判別するように構成することも可能である。また、図９（ｂ）に示すように、車室内には、インストルメントパネルの中央部に位置して、車載マルチメディアシステムの一部を構成する表示装置２８が設けられている。この表示装置２８には、ナビゲーション画面や、ＴＶやＤＶＤなど各種動画、バックガイドモニタ画面などの各種画面が表示されるようになっている。
A specific emblem may be provided in the passenger compartment, and it may be configured to determine whether the vehicle is a driver's seat based on how the emblem is photographed. Moreover, as shown in FIG.9 (b), the
従って、機能実行制御部２１は、カメラ８、画像制御部１０及び座席位置判別部１１と共に、座席位置判別手段として機能する。機能実行制御部２１は、表示制御手段や操作制限手段、更には判断手段としても機能する。尚、本実施形態では、メガネ型情報表示装置１は、着信メール等のメッセージの読上げの機能を備えており、例えばメール着信時において、表示が制限される場合でも、メッセージの音声出力が可能とされている。
Accordingly, the function
次に、上記構成の作用について、図３から図９も参照して述べる。まず、図３のフローチャートは、ユーザ（運転者）が運転席に乗込んで、本実施形態のメガネ型情報表示装置１を装着した際に、機能実行制御部２１が実行する運転席モードへの切替えの制御手順を示している。即ち、ユーザが車両に乗車して車載機１８が起動されると、ステップＳ１では、ユーザが例えば車載機１８の情報を得るためにタッチパッド１２を操作すると、通信部１７と車載機１８との間の例えばＢｌｕｅｔｏｏｔｈによる接続が実行される。車載機１８との接続がなされると、次のステップＳ２にて、メガネ型情報表示装置１の機能実行制御部２１は、運転席モードに切替えられる。
Next, the operation of the above configuration will be described with reference to FIGS. First, in the flowchart of FIG. 3, when the user (driver) gets into the driver's seat and wears the glasses-type
このように、運転席モードに切替えられることにより、以降は、車載機１８からメガネ型情報表示装置１に対し、車両情報などの運転者に対する有用な情報を提供することができる。また後述するように、この運転席モードにあっては、運転者の運転への集中を妨げるような表示や操作が制限されることになる。メガネ型情報表示装置１の車載機１８との接続状態から、その接続を解除する場合には、ステップＳ３にて、ユーザのタッチパッド１２操作等の操作に基づき、通信部１７と車載機１８との間の接続が解除される。すると、ステップＳ４にて、メガネ型情報表示装置１における運転席モードが解除され、処理が終了する。
As described above, by switching to the driver seat mode, useful information for the driver such as vehicle information can be provided from the in-
図４のフローチャートは、機能実行制御部２１が実行する、カメラの撮影画像に基づく、ユーザの座席位置の判別の処理手順を示している。即ち、ステップＳ１１では、カメラ８によりユーザの視野画像（前方画像）の撮影が行われる。次のステップＳ１２では、カメラ８の撮影画像を画像認識処理することにより、ユーザが車内にいるか車外にいるかの判別が行われ、車内の場合には、更に座席位置の判別が行われる。
The flowchart in FIG. 4 shows a procedure for determining the seat position of the user based on the captured image of the camera, which is executed by the function
この場合、上記したように、ステアリングホイール２６やメータ部２７、シート等の特定の車内固有物の有無及び相対位置（見え方）の検出に基づき、ユーザが車内、車外のどちらにいるか、更には座席位置を判別することができる。ステップＳ１３では、ユーザが車内、車外のいずれにいるか、及び車内の場合の座席位置（運転者かそれ以外の乗員か）の情報が保存され、処理が終了する。
In this case, as described above, whether the user is in the vehicle or outside the vehicle based on the detection of the presence or absence of a specific in-vehicle object such as the
次に、図５のフローチャートは、機能実行制御部２１が実行する、ディスプレイ７の表示及びタッチパッド１２操作等の操作の制限に関する処理手順を示すものである。尚、この処理は、ディスプレイ７の表示を更新する前に、更新ごとに毎回実行される。ディスプレイ７の表示の更新は、例えばスマートフォン１９にメールの着信があった場合などシステム側のトリガに基づいて行われたり、ユーザによるタッチパッド１２の操作をトリガとして行われたりする。
Next, the flowchart of FIG. 5 shows a processing procedure related to the limitation of operations such as display on the
処理か開始されると、まずステップＳ２１では、現在運転席モードになっているかどうかが判断される。運転席モードになっている場合には（ステップＳ２１にてＹｅｓ）、ステップＳ２２にて、上記画像認識の結果に基づきユーザが車内（運転席）にいるかどうかが判断される。ユーザが車外にいると判断された場合には（ステップＳ２２にてＮｏ）、ステップＳ２３にて、運転席モードが解除され、ステップＳ２１に戻る。ユーザが車内（運転席）にいると判断された場合には（ステップＳ２２にてＹｅｓ）、ステップＳ２４にて、車両が走行中かどうかが判断される。 When the process is started, first, in step S21, it is determined whether or not the driver seat mode is currently set. If it is in the driver's seat mode (Yes in step S21), it is determined in step S22 whether the user is in the vehicle (driver's seat) based on the result of the image recognition. If it is determined that the user is outside the vehicle (No in step S22), the driver seat mode is canceled in step S23, and the process returns to step S21. If it is determined that the user is in the vehicle (driver's seat) (Yes in step S22), it is determined in step S24 whether the vehicle is traveling.
車両が走行中である場合には（ステップＳ２４にてＹｅｓ）、ステップＳ２５にて、ディスプレイ７の表示が制限付きで行われる。具体的には、車載機１８から送信される車両情報中でも必要な運転支援情報等の表示は可能であるが、動画情報の表示や、スマートフォンから送信されるメール情報等、運転に関係ない（運転者の運転への集中を妨げる）割込み情報については表示が制限（禁止）される。但し音声出力は可能となる。また、タッチパッド１２操作など車載機１８に対する必要な操作は可能であるが、例えばカーナビにおける目的地検索、設定、オーディオ操作等の運転の集中を妨げるような操作は制限（禁止）される。
If the vehicle is running (Yes in step S24), display on
これに対し、車両が走行中でない、つまり停車中である場合には（ステップＳ２４にてＮｏ）、ステップＳ２６にて、ディスプレイ７の表示については、制限なしで行われる。タッチパッド１２操作などの操作についても、制限は設けられない。尚、ガソリン残量、バッテリ残量、ランプ切れ等の警告情報や、オイル交換等のメンテナンス情報については、ユーザが運転者であり且つ車両の走行中においては、視界を妨げない範囲に制限された形態で表示が行われる。
On the other hand, when the vehicle is not traveling, that is, when the vehicle is stopped (No in step S24), the
一方、ステップＳ２１に戻り、現在運転席モードになっていない場合には（ステップＳ２１にてＮｏ）、ステップＳ２７にて、上記画像認識の結果に基づきユーザが車内（運転席）にいるかどうかが判断される。ユーザが車内にいない、つまり車外にいる場合には（ステップＳ２７にてＮｏ）、後述のステップＳ３０に進む。ユーザが車内にいると判断された場合には（ステップＳ２７にてＹｅｓ）、ステップＳ２８にて、ユーザが運転席に乗車しているかどうかが判断される。 On the other hand, returning to step S21, if the driver's seat mode is not currently set (No in step S21), it is determined in step S27 whether the user is in the vehicle (driver's seat) based on the result of the image recognition. Is done. If the user is not in the vehicle, that is, outside the vehicle (No in step S27), the process proceeds to step S30 described later. If it is determined that the user is in the vehicle (Yes in step S27), it is determined in step S28 whether the user is in the driver's seat.
運転席に乗車していると判断された場合には（ステップＳ２８にてＹｅｓ）、次のステップＳ２９にて、運転席モードに切替えらえた上で、前記ステップＳ２４に進む。これに対し、ユーザが運転席以外の席に乗車していると判断された場合には（ステップＳ２８にてＮｏ）、ステップＳ３０に進む。ステップＳ３０では、ディスプレイ７の表示については、制限なしで行われる。タッチパッド１２操作などの操作についても、制限は設けられない。但し、車載機１８と接続されていないので、メガネ型情報表示装置１による車載機１８の操作や、車載機１８からの情報の取得及び表示はできない。
If it is determined that the user is in the driver's seat (Yes in step S28), the driver seat mode is switched in the next step S29, and the process proceeds to step S24. In contrast, if it is determined that the user is in a seat other than the driver's seat (No in step S28), the process proceeds to step S30. In step S30, the
図６は、運転者に対するメール等のメッセージの着信時における、機能実行制御部２１が実行する処理手順及びディスプレイ７の表示例と共に示している。即ち、ユーザ（運転者）に対するメッセージの着信があったときには、まずステップＳ３１にて、走行中かどうかが判断される。走行中である場合には（ステップＳ３１にてＹｅｓ）、ステップＳ３２にて、ディスプレイ７に、メッセージの読み上げを行うかどうかをユーザに選択させるための選択画面が表示される。このとき、選択画面の表示と併せて（代えて）、「着信メッセージがあります。メッセージを読み上げますか？」といった合成音声の出力を行っても良い。
FIG. 6 shows a processing procedure executed by the function
ここで、ユーザが「はい」を選択した場合には、ステップＳ３３にて、メッセージが順に読み上げられる。「いいえ」が選択された場合には、表示、読み上げのいずれも行われず、処理が終了する。一方、走行中でない場合には（ステップＳ３１にてＮｏ）、ステップＳ３４にて、ディスプレイ７に、メッセージを表示するか、読み上げを行うかユーザに選択させるための選択画面が表示される。ユーザが、「読み上げ」を選択した場合には、ステップＳ３３にて、メッセージが順に読み上げられる。「表示」を選択した場合には、ステップＳ３５にて、ディスプレイ７にメッセージが表示される。
Here, when the user selects “Yes”, the messages are read in order in step S33. If “No” is selected, neither display nor reading is performed, and the process ends. On the other hand, if the vehicle is not traveling (No in step S31), a selection screen for allowing the user to select whether to display a message or read out is displayed on the
図７は、ディスプレイ７に対し、動画リストの選択画面を表示する場合の表示例を示している。図７（ａ）は、車両の停車中の表示を示し、ディスプレイ７に、複数のアイコン（選択スイッチ）を有する動画リストが制限なく表示される。これに対し、車両の走行中には、図７（ｂ）に示すように、ディスプレイ７には、アイコン部分がトーンダウン表示され、選択操作が不可とされる。
FIG. 7 shows a display example in the case where a moving image list selection screen is displayed on the
更に、図８は、ディスプレイ７の動画再生画面を示しており、図８（ａ）は、車両の停車中の表示を示し、図８（ｂ）は走行中の様子を示している。このように、車両の停車中は、動画についても制限なくディスプレイ７に表示可能であるが、走行中においては、動画表示が禁止される。このように、車両の走行中は、運転者であるユーザに対し、動画リストの選択や、動画表示が禁止されるのである。
Further, FIG. 8 shows a moving image reproduction screen of the
ところで、車載機１８から運転支援情報や警告情報等の車両情報を取得してディスプレイ７に表示する場合、車両側の表示装置２８の表示や車載スピーカからの音声出力と重複する事情がある。そこで、例えば、車載機１８と運転者のメガネ型情報表示装置１とが接続されている場合には、車載機１８からの車両情報を全てメガネ型情報表示装置１側でのみ出力するように構成することができる。これにより、他の乗員が動画やオーディオを楽しんでいるような場合に、車載側の表示装置２８や音声出力が妨げられることなく済ませることができる。
By the way, when vehicle information such as driving support information and warning information is acquired from the in-
また、車両をバックさせる場合に、運転者は、後方を直接見ながら運転する場合と、表示装置２８に表示されたバックガイドモニタ画面を見ながら運転する場合とがある。このようなバック時に、メガネ型情報表示装置１のディスプレイ７にバックガイドモニタ画面を表示させることができるが、その際に、運転者が後方或いは表示装置２８のどちらを向いているかをセンサで検出し、図９に示すように、それに応じて表示の方法を変更することができる。
Further, when the vehicle is to be driven back, the driver may drive while looking directly at the back, or may drive while looking at the back guide monitor screen displayed on the
即ち、運転者が、後方を向いている場合には、図９（ａ）に示すように、ディスプレイ７に車両の後部を上にしてバックガイドモニタ画面が表示される。これに対し、運転者が前方（表示装置２８）を向いている場合には、図９（ｂ）に示すように、ディスプレイ７に車両の前部を上にしてバックガイドモニタ画面が表示され。図９（ａ）、（ｂ）では、車両の左前方に障害物が相対的に近付いている場合の表示例を示しており、いずれも、その方向を、運転者にとって直感的に判りやすく表示することができる。尚、この際には「左前方に注意して下さい。」といった音声出力も併せて行われる。
That is, when the driver is looking backward, as shown in FIG. 9A, the back guide monitor screen is displayed on the
このように本実施形態のメガネ型情報表示装置１によれば、次のような効果を得ることができる。本実施形態では、車両に乗車したユーザの座席位置を判別し、判別した座席位置に応じて、機能実行制御部２１により、ディスプレイ７に表示する情報を取捨選択するように構成した。従って、使用しているユーザが運転者である場合に、不要な情報については表示しない等、運転に対する集中を妨げるような表示動作を行わずに済ませることができる。
Thus, according to the glasses-type
また、本実施形態では、通信部１７により車載機１８等と通信を行い、ユーザが運転者であると判別された場合に、車載機１８から取得した運転支援情報を含む車両情報をディスプレイ７表示させるように構成した。これにより、運転者に対して、運転に必要な或いは運転に役に立つ情報を、提供することができる。
In the present embodiment, the
そして、併せて、本実施形態では、使用しているユーザが運転者である場合に、必要最低限の操作以外の操作を禁止する等、運転に対する集中を妨げるような操作を行わずに済ませることができる。この結果、ユーザの視野内に情報を表示するディスプレイ７を備えたメガネ型情報表示装置１にあって、車両内で使用する場合の、安全性を確保することができるという優れた効果を奏する。
In addition, in the present embodiment, when the user who is using the driver is a driver, it is not necessary to perform an operation that hinders concentration on driving such as prohibiting an operation other than the minimum necessary operation. Can do. As a result, the glasses-type
特に本実施形態では、カメラ８により撮影した車内画像に基づいて、ユーザが、運転席に乗車している運転者か、それ以外の座席の乗員かを判別するように構成した。これにより、メガネ型情報表示装置１が元々備えているカメラ８及び画像認識機能を利用して、座席位置を十分な確かさで判別することが可能となる。ユーザが運転者の場合、運転に対する集中を妨げるような表示及び操作に制限をかけることで、安全性を確保することができる。それ以外の乗員の場合には、運転支援の情報を提供することは不要であると共に、表示や操作に制限をかけた場合の利便性が損なわれることになる。従って、運転者かそれ以外の乗員かを判別することで、両者にとって有益な制御を行うことができる。
In particular, in the present embodiment, based on the in-vehicle image captured by the
更に本実施形態では、車両が走行中かどうかを判断し、走行中でないと判断された場合には、走行中であると判断された場合と比べて、表示に関する制限を緩和する、或いは、操作に関する制限を緩和するように構成した。表示や操作において安全上問題となるのは、車両の走行中であり、車両の停止時においては、制限を緩和しても安全性を確保できるので、走行中でないと判断された場合には制限を緩和することで、より利便性を高めることができる。 Further, in the present embodiment, it is determined whether the vehicle is traveling, and when it is determined that the vehicle is not traveling, the display-related restrictions are relaxed or the operation is compared with the case where it is determined that the vehicle is traveling. It was configured to relax restrictions on. The safety issue in the display and operation is when the vehicle is running, and when the vehicle is stopped, safety can be ensured even if the restrictions are relaxed. It is possible to improve convenience by mitigating.
尚、上記実施形態では、カメラ８の撮影画像に基づいて、ユーザの座席位置を判別するように構成したが、座席位置の判別の手法としては、ユーザが操作により自分の座席位置を入力するようにする等も可能である。また、上記実施形態では詳しく説明しなかったが、ナビゲーション画面をディスプレイ７に表示するようにしても良く、この場合、走行中は、例えば走行方向を矢印で示すだけといった、簡略化したナビゲーション画面を表示することが望ましい。その他、メガネ型情報表示装置のハードウエア構成及びソフトウエア構成、外観構造等についても様々な変更が可能であるなど、本発明は要旨を逸脱しない範囲内で適宜変更して実施し得るものである。
In the above embodiment, the seat position of the user is determined based on the image captured by the
図面中、１はメガネ型情報表示装置、２は本体部、７はディスプレイ、８はカメラ、１２はタッチパッド（操作部）、１５は各種センサ、１７は通信部、１８は車載機、１９はスマートフォン、２１は機能実行制御部（座席位置判別手段、表示制御手段。判断手段、操作制限手段）を示す。
In the drawings, 1 is a glasses-type information display device, 2 is a main body, 7 is a display, 8 is a camera, 12 is a touch pad (operation unit), 15 is various sensors, 17 is a communication unit, 18 is an in-vehicle device, 19 is A
Claims (9)
ユーザの座席位置を判別する座席位置判別手段（２１）と、
前記座席位置判別手段（２１）が判別した座席位置に応じて、前記ディスプレイ（７）に表示する情報を取捨選択する表示制御手段（２１）とを備えることを特徴とするメガネ型情報表示装置。 In a glasses-type information display device (1) that can be used by being mounted on the head of a user riding in a vehicle and that has a display (7) that displays information in the user's field of view.
A seat position determining means (21) for determining the seat position of the user;
A glasses-type information display device comprising: display control means (21) for selecting information to be displayed on the display (7) according to the seat position determined by the seat position determination means (21).
前記座席位置判別手段（２１）は、前記カメラ（８）により撮影した車内画像に基づいて、ユーザの座席位置を判別することを特徴とする請求項１又は２記載のメガネ型情報表示装置。 A camera (8) and an image recognition function for recognizing a captured image of the camera (8);
The eyeglass-type information display device according to claim 1 or 2, wherein the seat position determining means (21) determines a seat position of the user based on an in-vehicle image captured by the camera (8).
前記座席位置判別手段（２１）により、ユーザが運転席に乗車している運転者であると判別された際には、前記表示制御手段（２１）は、前記判断手段（２１）により走行中でないと判断された場合には、走行中であると判断された場合と比べて、表示に関する制限を緩和することを特徴とする請求項１から３のいずれか一項に記載のメガネ型情報表示装置。 A determination means (21) for determining whether the vehicle is running;
When the seat position determining means (21) determines that the user is a driver in the driver's seat, the display control means (21) is not traveling by the determining means (21). 4. The glasses-type information display device according to claim 1, wherein the display restriction is relaxed when it is determined that the vehicle is traveling. .
前記座席位置判別手段（２１）により、ユーザが運転席に乗車している運転者であると判別された際には、前記表示制御手段（２１）は、前記通信装置（１７）を介して前記車載機（１８）から取得した運転支援情報を含む車両情報を表示することを特徴とする請求項１から４のいずれか一項に記載のメガネ型情報表示装置。
A communication device (17) capable of communicating with the vehicle-mounted device (18) mounted on the vehicle;
When the seat position determining means (21) determines that the user is a driver in the driver's seat, the display control means (21) is connected via the communication device (17). 5. The eyeglass-type information display device according to claim 1, wherein vehicle information including driving support information acquired from the in-vehicle device is displayed.
ユーザの座席位置を判別する座席位置判別手段（２１）と、
前記座席位置判別手段（２１）が判別した座席位置に応じて、前記操作部（１２）の操作を制限する操作制限手段（２１）とを備えることを特徴とするメガネ型情報表示装置。 A display (7) that can be used by being mounted on the head of a user riding in a vehicle, and that displays information within the user's field of view, and an operation unit (12) that can be operated by the user. In the glasses-type information display device (1),
A seat position determining means (21) for determining the seat position of the user;
An eyeglass-type information display device comprising: an operation restriction unit (21) for restricting the operation of the operation unit (12) according to the seat position determined by the seat position determination unit (21).
前記座席位置判別手段（２１）は、前記カメラ（８）により撮影した車内画像に基づいて、ユーザの座席位置を判別することを特徴とする請求項６又は７記載のメガネ型情報表示装置。 A camera (8) and an image recognition function for recognizing a captured image of the camera (8);
The glasses-type information display device according to claim 6 or 7, wherein the seat position determining means (21) determines a seat position of the user based on an in-vehicle image taken by the camera (8).
前記座席位置判別手段（２１）により、ユーザが運転席に乗車している運転者であると判別された際には、前記操作制限手段（２１）は、前記判断手段（２１）により走行中でないと判断された場合には、走行中であると判断された場合と比べて、操作に関する制限を緩和することを特徴とする請求項６から８のいずれか一項に記載のメガネ型情報表示装置。 A determination means (21) for determining whether the vehicle is running;
When the seat position determining means (21) determines that the user is a driver in the driver's seat, the operation restricting means (21) is not traveling by the determining means (21). 9. The glasses-type information display device according to claim 6, wherein, when it is determined, the restriction on the operation is relaxed compared to the case where it is determined that the vehicle is traveling. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016003497A JP6686450B2 (en) | 2016-01-12 | 2016-01-12 | Glasses type information display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016003497A JP6686450B2 (en) | 2016-01-12 | 2016-01-12 | Glasses type information display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017125883A true JP2017125883A (en) | 2017-07-20 |
| JP6686450B2 JP6686450B2 (en) | 2020-04-22 |
Family
ID=59365108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016003497A Expired - Fee Related JP6686450B2 (en) | 2016-01-12 | 2016-01-12 | Glasses type information display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6686450B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019125188A (en) * | 2018-01-17 | 2019-07-25 | トヨタ自動車株式会社 | Display cooperation control device for vehicle |
| JP2020536799A (en) * | 2017-10-16 | 2020-12-17 | アウディ アクチェンゲゼルシャフトＡｕｄｉ Ａｇ | How to operate the safety system for the car seat system and the safety system for the car seat system |
| JP2022072331A (en) * | 2020-10-29 | 2022-05-17 | ソフトバンク株式会社 | Control apparatus, program, and control method |
| JP7567762B2 (en) | 2021-12-13 | 2024-10-16 | トヨタ自動車株式会社 | AR Glasses |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001333351A (en) * | 2000-05-24 | 2001-11-30 | Nissan Motor Co Ltd | Information display device |
| JP2008221959A (en) * | 2007-03-12 | 2008-09-25 | Equos Research Co Ltd | On-vehicle device |
| JP2014035289A (en) * | 2012-08-09 | 2014-02-24 | Nissan Motor Co Ltd | Vehicle travel support information display device |
| WO2015046669A1 (en) * | 2013-09-26 | 2015-04-02 | Lg Electronics Inc. | Head mounted display device and method of controlling the same |
| JP2015105072A (en) * | 2013-12-02 | 2015-06-08 | 本田技研工業株式会社 | Vehicular display system |
| WO2015145541A1 (en) * | 2014-03-24 | 2015-10-01 | 日立マクセル株式会社 | Video display device |
-
2016
- 2016-01-12 JP JP2016003497A patent/JP6686450B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001333351A (en) * | 2000-05-24 | 2001-11-30 | Nissan Motor Co Ltd | Information display device |
| JP2008221959A (en) * | 2007-03-12 | 2008-09-25 | Equos Research Co Ltd | On-vehicle device |
| JP2014035289A (en) * | 2012-08-09 | 2014-02-24 | Nissan Motor Co Ltd | Vehicle travel support information display device |
| WO2015046669A1 (en) * | 2013-09-26 | 2015-04-02 | Lg Electronics Inc. | Head mounted display device and method of controlling the same |
| JP2015105072A (en) * | 2013-12-02 | 2015-06-08 | 本田技研工業株式会社 | Vehicular display system |
| WO2015145541A1 (en) * | 2014-03-24 | 2015-10-01 | 日立マクセル株式会社 | Video display device |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020536799A (en) * | 2017-10-16 | 2020-12-17 | アウディ アクチェンゲゼルシャフトＡｕｄｉ Ａｇ | How to operate the safety system for the car seat system and the safety system for the car seat system |
| JP2019125188A (en) * | 2018-01-17 | 2019-07-25 | トヨタ自動車株式会社 | Display cooperation control device for vehicle |
| CN110053609A (en) * | 2018-01-17 | 2019-07-26 | 丰田自动车株式会社 | Vehicle display Cooperation controlling device |
| JP7043845B2 (en) | 2018-01-17 | 2022-03-30 | トヨタ自動車株式会社 | Display linkage control device for vehicles |
| CN110053609B (en) * | 2018-01-17 | 2022-04-05 | 丰田自动车株式会社 | Display cooperation control device for vehicle |
| JP2022072331A (en) * | 2020-10-29 | 2022-05-17 | ソフトバンク株式会社 | Control apparatus, program, and control method |
| JP7135052B2 (en) | 2020-10-29 | 2022-09-12 | ソフトバンク株式会社 | Control device, program, and control method |
| JP7567762B2 (en) | 2021-12-13 | 2024-10-16 | トヨタ自動車株式会社 | AR Glasses |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6686450B2 (en) | 2020-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2826689B1 (en) | Mobile terminal | |
| KR102311551B1 (en) | Method for using a communication terminal in a motor vehicle while autopilot is activated and motor vehicle | |
| US9645640B2 (en) | Device and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu | |
| US9753535B2 (en) | Visual line input apparatus | |
| US20140002357A1 (en) | Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis | |
| KR101867915B1 (en) | Method for executing vehicle function using wearable device and vehicle for carrying out the same | |
| JP6026011B2 (en) | Display control apparatus, information display method, and information display system | |
| JP6197814B2 (en) | Vehicle display device | |
| US20120013559A1 (en) | Multiple visual display device and vehicle-mounted navigation system | |
| JP6686450B2 (en) | Glasses type information display device | |
| JP4867463B2 (en) | Driving assistance device | |
| JP2009269551A (en) | Display for vehicle | |
| JP2018121287A (en) | Display control apparatus for vehicle, display system for vehicle, display control method for vehicle, and program | |
| JP2015128915A (en) | Rear seat occupant monitor system, and rear seat occupant monitor method | |
| KR101994438B1 (en) | Mobile terminal and control method thereof | |
| JPWO2020208804A1 (en) | Display control device, display control method, and display control program | |
| WO2017154208A1 (en) | Mobile terminal, operation control system for mobile terminal, and method for controlling mobile terminal | |
| JP2015210580A (en) | Display system and wearable device | |
| US9283893B2 (en) | Vision-controlled interaction for data spectacles | |
| JP6993068B2 (en) | Display system | |
| KR101525351B1 (en) | Display control system for vehicle interworking portable terminal | |
| JP6816475B2 (en) | Vehicle display device and display method | |
| WO2022168696A1 (en) | Display system for displaying gesture operation result | |
| JP2017061216A (en) | On-board imaging system, vehicle and imaging method | |
| KR101657947B1 (en) | Apparatus and method for controlling menu of a vehicle having audio video bridging system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180409 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190917 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200316 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6686450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |