JP5968277B2 - Information processing apparatus and information processing method - Google Patents

Information processing apparatus and information processing method Download PDF

Info

Publication number
JP5968277B2
JP5968277B2 JP2013158526A JP2013158526A JP5968277B2 JP 5968277 B2 JP5968277 B2 JP 5968277B2 JP 2013158526 A JP2013158526 A JP 2013158526A JP 2013158526 A JP2013158526 A JP 2013158526A JP 5968277 B2 JP5968277 B2 JP 5968277B2
Authority
JP
Japan
Prior art keywords
unit
information processing
notification
image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013158526A
Other languages
Japanese (ja)
Other versions
JP2015030276A (en
Inventor
享志 元田
享志 元田
昌弘 出口
昌弘 出口
下谷　光生
光生 下谷
清子 上野
清子 上野
宏平 田中
宏平 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013158526A priority Critical patent/JP5968277B2/en
Publication of JP2015030276A publication Critical patent/JP2015030276A/en
Application granted granted Critical
Publication of JP5968277B2 publication Critical patent/JP5968277B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、自車両内の座席、特に後部座席の状態を検出して通知する情報処理装置および情報処理方法に関する。   The present invention relates to an information processing apparatus and an information processing method for detecting and notifying the state of a seat in a host vehicle, particularly a rear seat.

従来、カメラで撮影した自車両の後部座席の画像を表示部に表示することによって、運転者が視野を大きく移動させることなく後部座席の状態を認知することができる技術が開示されている（例えば、特許文献１参照）。   2. Description of the Related Art Conventionally, a technique has been disclosed that allows a driver to recognize the state of a rear seat without causing the field of view to move greatly by displaying an image of the rear seat of the host vehicle captured by a camera on a display unit (for example, , See Patent Document 1).

また、後部座席方向を撮影して後部座席の着座者の異常を検知し、異常を検知した場合において、撮影した映像を表示部に表示するとともに、必要に応じて自車両を安全に停車できる施設を検索して誘導する技術が開示されている（例えば、特許文献２参照）。   In addition, a facility that can capture the direction of the rear seat to detect an abnormality of the occupant in the rear seat and display the captured image on the display unit when the abnormality is detected, and can safely stop the host vehicle if necessary Has been disclosed (see, for example, Patent Document 2).

特開２００３−１０４１３２号公報JP 2003-104132 A 特開２００６−３４７２３２号公報JP 2006-347232 A

特許文献１では、常に表示部に後部座席の画像を表示しており、いつ後部座席が異常状態となるのか分からないため、運転者は後部座席の異常状態を確実かつ早期に認知することができない。また、表示部に表示された画像から後部座席の異常状態を認知した場合において、当該異常状態を解消するための具体的な手段について言及していない。   In Patent Document 1, since the image of the rear seat is always displayed on the display unit and it is not known when the rear seat is in an abnormal state, the driver cannot reliably and early recognize the abnormal state of the rear seat. . Moreover, when the abnormal state of the rear seat is recognized from the image displayed on the display unit, no specific means for eliminating the abnormal state is mentioned.

また、特許文献２では、後部座席の着座者が異常状態となる前の状態について検知することができない。従って、ユーザー（例えば、運転者）は、後部座席の着座者の異常状態を確実かつ早期に認知することができるとはいえない。   Moreover, in patent document 2, it cannot detect about the state before the seated person of a backseat becomes an abnormal state. Therefore, it cannot be said that the user (for example, the driver) can recognize the abnormal state of the occupant of the rear seat reliably and early.

本発明は、これらの問題を解決するためになされたものであり、自車両内の座席の状態を確実かつ早期に通知してユーザーの認知性を向上させることが可能な情報処理装置および情報処理方法に関する。   The present invention has been made to solve these problems, and an information processing apparatus and information processing capable of improving the user's cognition by notifying the state of a seat in the host vehicle reliably and early Regarding the method.

上記の課題を解決するために、本発明による情報処理装置は、カメラによって撮影された自車両内における予め定められた領域の画像を入力する画像入力部と、画像入力部に入力された画像における予め定められた対象者または対象物の姿勢の変化を解析する画像解析部と、画像解析部によって解析された変化の度合いに応じた複数段階の通知を行う通知部とを備える。   In order to solve the above-described problems, an information processing apparatus according to the present invention includes an image input unit that inputs an image of a predetermined area in the host vehicle that is captured by a camera, and an image that is input to the image input unit. An image analysis unit that analyzes a change in posture of a predetermined target person or object, and a notification unit that performs notification in multiple stages according to the degree of change analyzed by the image analysis unit.

また、情報処理方法は、（ａ）カメラによって撮影された自車両内における予め定められた領域の画像を入力する工程と、（ｂ）工程（ａ）にて入力された画像における予め定められた対象者または対象物の姿勢の変化を解析する工程と、（ｃ）工程（ｂ）によって解析された変化の度合いに応じた複数段階の通知を行う工程とを備える。   In addition, the information processing method includes (a) a step of inputting an image of a predetermined area in the host vehicle taken by the camera, and (b) a predetermined step in the image input in step (a). A step of analyzing a change in the posture of the subject or the subject, and a step of (c) performing a notification in a plurality of stages according to the degree of change analyzed in the step (b).

本発明によると、情報処理装置は、カメラによって撮影された自車両内における予め定められた領域の画像を入力する画像入力部と、画像入力部に入力された画像における予め定められた対象者または対象物の姿勢の変化を解析する画像解析部と、画像解析部によって解析された変化の度合いに応じた複数段階の通知を行う通知部とを備えるため、自車両内の座席の状態を確実かつ早期に通知してユーザーの認知性を向上させることが可能となる。   According to the present invention, the information processing apparatus includes an image input unit that inputs an image of a predetermined area in the host vehicle that is captured by the camera, and a predetermined target person in the image input to the image input unit or Since the image analysis unit that analyzes the change in the posture of the object and the notification unit that performs notification in multiple stages according to the degree of change analyzed by the image analysis unit, the state of the seat in the host vehicle can be reliably and It is possible to improve the user's cognition by providing early notification.

また、情報処理方法は、（ａ）カメラによって撮影された自車両内における予め定められた領域の画像を入力する工程と、（ｂ）工程（ａ）にて入力された画像における予め定められた対象者または対象物の姿勢の変化を解析する工程と、（ｃ）工程（ｂ）によって解析された変化の度合いに応じた複数段階の通知を行う工程とを備えるため、自車両内の座席の状態を確実かつ早期に通知してユーザーの認知性を向上させることが可能となる。   In addition, the information processing method includes (a) a step of inputting an image of a predetermined area in the host vehicle taken by the camera, and (b) a predetermined step in the image input in step (a). A step of analyzing a change in posture of the subject or the object, and a step of (c) performing a notification in a plurality of stages according to the degree of change analyzed in step (b). It becomes possible to improve the user's cognition by notifying the state reliably and early.

本発明の実施の形態による情報処理装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the information processing apparatus by embodiment of this invention. 本発明の実施の形態による情報処理装置の全体的な動作の一例を示すフローチャートである。It is a flowchart which shows an example of the whole operation | movement of the information processing apparatus by embodiment of this invention. 本発明の実施の形態による情報処理装置１における初期設定の動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation | movement of the initial setting in the information processing apparatus 1 by embodiment of this invention. 本発明の実施の形態によるカメラで撮影した画像に対して注意ラインおよび警告ラインを設定した一例を示す図である。It is a figure which shows an example which set the attention line and the warning line with respect to the image image | photographed with the camera by embodiment of this invention. 本発明の実施の形態による情報処理装置における監視動作の一例を示すフローチャートである。It is a flowchart which shows an example of the monitoring operation | movement in the information processing apparatus by embodiment of this invention. 本発明の実施の形態によるメーターパネルにおける表示の一例を示す図である。It is a figure which shows an example of the display in the meter panel by embodiment of this invention. 本発明の実施の形態による表示部における表示の一例を示す図である。It is a figure which shows an example of the display in the display part by embodiment of this invention.

本発明の実施の形態について、図面に基づいて以下に説明する。   Embodiments of the present invention will be described below with reference to the drawings.

＜実施の形態＞
まず、本発明の実施の形態による情報処理装置の構成について説明する。なお、本実施の形態では、自車両内の後部座席の状態をユーザーである運転者が認知する場合について説明する。 <Embodiment>
First, the configuration of the information processing apparatus according to the embodiment of the present invention will be described. In the present embodiment, a case where the driver who is the user recognizes the state of the rear seat in the own vehicle will be described.

図１は、情報処理装置１の構成の一例を示す図である。   FIG. 1 is a diagram illustrating an example of the configuration of the information processing apparatus 1.

情報処理装置１は、操作入力部２と、自車両位置取得部３と、ナビゲーション部４と、記憶部５と、画像解析部６と、画像入力部７と、表示データ作成部８と、制御部９とを備えている。また、情報処理装置１には、操作部１０、カメラ１１、メーターパネル１２、表示部１３、およびリアシートエンターテインメントシステム１４が接続されている。   The information processing apparatus 1 includes an operation input unit 2, a host vehicle position acquisition unit 3, a navigation unit 4, a storage unit 5, an image analysis unit 6, an image input unit 7, a display data creation unit 8, and a control. Part 9. The information processing apparatus 1 is connected with an operation unit 10, a camera 11, a meter panel 12, a display unit 13, and a rear seat entertainment system 14.

操作入力部２は、操作部１０を介してユーザーが入力した種々の情報を受け付ける。ユーザーが入力する情報としては、例えば、初期設定に関する情報、ナビゲーション部４が有するナビゲーション機能の操作に関する情報、あるいはリアシートエンターテインメントシステム１４の操作に関する情報などが挙げられる。   The operation input unit 2 receives various information input by the user via the operation unit 10. Examples of information input by the user include information regarding initial settings, information regarding operation of a navigation function of the navigation unit 4, information regarding operation of the rear seat entertainment system 14, and the like.

自車両位置取得部３は、自車両の現在地の位置情報を取得する。自車両位置取得部３としては、例えば、ＧＰＳ（Global Positioning System）センサが挙げられる。   The own vehicle position acquisition unit 3 acquires position information of the current location of the own vehicle. As the own vehicle position acquisition part 3, a GPS (Global Positioning System) sensor is mentioned, for example.

ナビゲーション部４は、停止可能位置の検索を行い、自車両を停止可能位置へ誘導する。具体的には、ナビゲーション部４は、現在地の位置情報と、地図データに含まれる停止可能位置の情報とに基づいて、現在地から停止可能位置までの経路を探索して誘導する。ここで、停止可能位置とは、自車両が安全に停止することが可能な場所のことをいい、例えば、店の駐車場あるいはサービスエリアなどが挙げられる。   The navigation unit 4 searches for a stoppable position and guides the host vehicle to the stoppable position. Specifically, the navigation unit 4 searches for and guides a route from the current location to the stoppable position based on the current location information and the stoppable location information included in the map data. Here, the stoppable position refers to a place where the host vehicle can safely stop, for example, a parking lot of a store or a service area.

記憶部５は、地図データ、および操作部１０を介してユーザーが入力した初期設定に関する情報を記憶している。   The storage unit 5 stores map data and information regarding initial settings input by the user via the operation unit 10.

画像解析部６は、画像入力部７に入力された画像における予め定められた対象者の姿勢の変化を解析する。具体的な解析方法については後述する。   The image analysis unit 6 analyzes a change in the posture of a predetermined target person in the image input to the image input unit 7. A specific analysis method will be described later.

画像入力部７は、カメラ１１によって撮影された自車両内における予め定められた領域の画像を入力する。本実施の形態では、カメラ１１は自車両内の後部座席を撮影している。   The image input unit 7 inputs an image of a predetermined area in the host vehicle that is captured by the camera 11. In the present embodiment, the camera 11 captures a rear seat in the own vehicle.

表示データ作成部８は、画像解析部６にて解析された結果に基づいて、メーターパネル１２や表示部１３に表示するためのデータを作成する。具体的には、画像入力部７に入力された画像、あるいは地図データなどを表示データとして作成する。作成した表示データは、メーターパネル１２あるいは表示部１３に出力される。   The display data creation unit 8 creates data to be displayed on the meter panel 12 or the display unit 13 based on the result analyzed by the image analysis unit 6. Specifically, an image input to the image input unit 7 or map data is created as display data. The created display data is output to the meter panel 12 or the display unit 13.

メーターパネル１２および表示部１３は、表示データ作成部８にて作成された表示データに基づいて、ユーザーに対する通知を行う。すなわち、メーターパネル１２および表示部１３は、画像解析部６によって解析された変化の度合いに応じた複数段階の通知を行う通知部としての機能を有している。ここで、メーターパネルは、自車両のインストルメントパネル（instrument panel）部に設けられている。また、表示部１３としては、ナビゲーション装置のディスプレイや、ＤＡ（Display Audio）などがあり、自車両のフロント部分に設置される。   The meter panel 12 and the display unit 13 notify the user based on the display data created by the display data creation unit 8. That is, the meter panel 12 and the display unit 13 have a function as a notification unit that performs notification in a plurality of stages according to the degree of change analyzed by the image analysis unit 6. Here, the meter panel is provided in an instrument panel portion of the own vehicle. The display unit 13 includes a display of a navigation device, DA (Display Audio), and the like, and is installed in the front part of the host vehicle.

制御部９は、情報処理装置１の各構成要素を制御する。また、リアシートエンターテインメントシステム（Rear Seat Entertainment System）１４の制御を行うリアシートエンターテインメントシステム制御部としての機能を有している。ここで、リアシートエンターテインメントシステム１４とは、ヘッドレストディスプレイなどのリアディスプレイに映像を表示したり、スピーカーから音楽などの音声を出力したりすることが可能なシステムのことをいい、自車両内に設けられている。   The control unit 9 controls each component of the information processing apparatus 1. Moreover, it has a function as a rear seat entertainment system control part which controls the rear seat entertainment system (Rear Seat Entertainment System) 14. Here, the rear seat entertainment system 14 is a system capable of displaying images on a rear display such as a headrest display or outputting sound such as music from a speaker, and is provided in the own vehicle. ing.

次に、情報処理装置１の動作について説明する。   Next, the operation of the information processing apparatus 1 will be described.

図２は、情報処理装置１の全体的な動作の一例を示すフローチャートである。図２において、自車両のＡｃｃ電源（アクセサリー電源）をオン状態としたときを「開始」とし、Ａｃｃ電源をオフ状態としたときを「終了」とする。   FIG. 2 is a flowchart illustrating an example of the overall operation of the information processing apparatus 1. In FIG. 2, the time when the Acc power supply (accessory power supply) of the host vehicle is turned on is referred to as “start”, and the time when the Acc power supply is turned off is referred to as “end”.

ステップＳ１０１において、初期設定を行うか否かの判断を行う。具体的には、例えば、表示部１３に初期設定を行うか否かの選択画面を表示し、ユーザーが操作部１０を介して初期設定を行うか否かを選択する。ユーザーによる選択結果は操作入力部２を介して制御部９に入力され、制御部９は選択結果に基づいて初期設定を行うか否かの判断を行う。初期設定を行うと判断した場合はステップＳ１０２に移行する。一方、初期設定を行わないと判断した場合はステップＳ１０３に移行する。   In step S101, it is determined whether or not to perform initial setting. Specifically, for example, a screen for selecting whether or not to perform initial setting is displayed on the display unit 13, and the user selects whether or not to perform initial setting via the operation unit 10. The selection result by the user is input to the control unit 9 via the operation input unit 2, and the control unit 9 determines whether or not to perform initial setting based on the selection result. If it is determined that initial setting is to be performed, the process proceeds to step S102. On the other hand, when it is determined that the initial setting is not performed, the process proceeds to step S103.

ステップＳ１０２において、初期設定の処理を実行する。具体的な初期設定については、図３を用いて後述する。   In step S102, initial setting processing is executed. Specific initial settings will be described later with reference to FIG.

ステップＳ１０３において、監視動作の処理を実行する。具体的な監視動作については、図５を用いて後述する。   In step S103, a monitoring operation process is executed. A specific monitoring operation will be described later with reference to FIG.

図３は、情報処理装置１における初期設定の動作の一例を示すフローチャートである。また、図４は、カメラ１１で撮影した画像に対して注意ライン１５および警告ライン１６を設定した一例を示す図である。なお、図４では、自車両内の固定物と、それ以外の動く可能性がある子ども（後部座席に設置されたチャイルドシートに着座した子ども）とを示しており、子ども（以下、対象者という）の動きを監視しているものとする。   FIG. 3 is a flowchart illustrating an example of an initial setting operation in the information processing apparatus 1. FIG. 4 is a diagram illustrating an example in which a caution line 15 and a warning line 16 are set for an image captured by the camera 11. In addition, in FIG. 4, the fixed object in the own vehicle and the other child (child sitting on the child seat installed in the back seat) other than that may move are shown, and a child (henceforth a target person). It is assumed that the movement of

ステップＳ２０１において、画像入力部７は、カメラ１１が撮影した後部座席の画像を入力する。画像入力部７に入力された画像は、表示データ作成部８を介して表示部１３に表示される。   In step S <b> 201, the image input unit 7 inputs an image of the rear seat taken by the camera 11. The image input to the image input unit 7 is displayed on the display unit 13 via the display data creation unit 8.

ステップＳ２０２において、ユーザーは、操作部１０および操作入力部２を介して、表示部１３に表示された画像に対して注意ライン１５を設定する。具体的には、例えば表示部１３がタッチパネルで構成されている場合は、表示された画像上を指あるいはペンなどで任意になぞりながら設定する。設定した注意ライン１５は、記憶部５に記憶される。なお、図４では、注意ライン１５を破線で示しているが、説明の便宜上のものであってこれに限るものではない。すなわち、注意ライン１５をデータとして設定できるものであればよい。警告ライン１６についても同様である。   In step S <b> 202, the user sets a caution line 15 for the image displayed on the display unit 13 via the operation unit 10 and the operation input unit 2. Specifically, for example, when the display unit 13 is configured by a touch panel, settings are made while arbitrarily tracing the displayed image with a finger or a pen. The set attention line 15 is stored in the storage unit 5. In FIG. 4, the caution line 15 is indicated by a broken line, but is for convenience of explanation and is not limited thereto. That is, it is sufficient if the attention line 15 can be set as data. The same applies to the warning line 16.

注意ライン１５は、対象者の姿勢の変化の度合いを規定するためのラインであり、特に、対象者の状態がユーザーに対して注意を通知する必要がある状態となる箇所に設定する。例えば図４において、注意ライン１５は、チャイルドシートに沿った外周上と、チャイルドシートのバックルに沿った外周上とに設定されている。   The attention line 15 is a line for prescribing the degree of change in the posture of the subject person, and in particular, is set at a location where the subject state is in a state where it is necessary to notify the user of attention. For example, in FIG. 4, the attention line 15 is set on the outer periphery along the child seat and on the outer periphery along the buckle of the child seat.

ステップＳ２０３において、ユーザーは、操作部１０および操作入力部２を介して、表示部１３に表示された画像に対して警告ライン１６を設定する。警告ライン１６の設定方法は、注意ライン１５と同様である。設定した警告ライン１６は、記憶部５に記憶される。   In step S <b> 203, the user sets a warning line 16 for the image displayed on the display unit 13 via the operation unit 10 and the operation input unit 2. The method for setting the warning line 16 is the same as that for the caution line 15. The set warning line 16 is stored in the storage unit 5.

警告ライン１６は、対象者の姿勢の変化の度合いを規定するためのラインであり、特に、対象者の状態がユーザーに対して警告を通知する必要がある状態となる箇所に設定する。例えば図４において、警告ライン１６は、チャイルドシートに沿った外周上に設定された注意ライン１５よりも外側と、チャイルドシートのバックルに沿った外周上に設定された注意ライン１５よりも内側とに設定される。すなわち、注意ライン１５よりも警告ライン１６の方が、ユーザーがより注意を要する箇所に設定される。   The warning line 16 is a line for prescribing the degree of change in the posture of the subject person, and in particular, is set at a location where the subject person's state needs to notify the user of a warning. For example, in FIG. 4, the warning line 16 is set outside the caution line 15 set on the outer periphery along the child seat and inside the caution line 15 set on the outer periphery along the child seat buckle. The That is, the warning line 16 is set at a location where the user needs more attention than the attention line 15.

図５は、情報処理装置１における監視動作の一例を示すフローチャートである。また、図６は、メーターパネル１２における表示の一例を示す図である。また、図７は、表示部１３における表示の一例を示す図である。   FIG. 5 is a flowchart illustrating an example of a monitoring operation in the information processing apparatus 1. FIG. 6 is a diagram showing an example of display on the meter panel 12. FIG. 7 is a diagram illustrating an example of display on the display unit 13.

ステップＳ３０１において、画像入力部７は、カメラ１１が撮影した後部座席の画像を入力する。画像入力部７に入力された画像は、画像解析部６に出力される。   In step S <b> 301, the image input unit 7 inputs an image of the rear seat taken by the camera 11. The image input to the image input unit 7 is output to the image analysis unit 6.

ステップＳ３０２において、画像解析部６は、画像入力部７から入力された画像を解析して変化があるか否かを判断する。具体的には、注意ライン１５および警告ライン１６の周辺の色素レベルまたは輝度レベルの変化を解析する。より具体的には、カメラ１１から入力された画像のフレーム間の画素マッチングを行うことによって、色素レベルまたは輝度レベルの変化の度合いを解析する。なお、上記のフレーム間の画素マッチングは、連続するフレーム間の画素マッチングでもよく、注意ライン１５および警告ライン１６の設定時に用いた画像（フレーム）に対する画素マッチングであってもよい。例えば、自車両がトンネル内を走行中である場合は、色素レベルの変化を解析する方がより正確に対象者の動きを把握することができる。画像が変化していないと判断した場合はステップＳ３１６に移行する。また、画像が変化していると判断した場合において、「注意領域接近中」である場合はステップＳ３０３に移行し、「注意領域進入」である場合はステップＳ３０４に移行し、「警告領域接近中」である場合はステップＳ３０５に移行し、「警告領域進入」である場合はステップＳ３０６に移行する。   In step S <b> 302, the image analysis unit 6 analyzes the image input from the image input unit 7 and determines whether there is a change. Specifically, changes in the pigment level or the luminance level around the attention line 15 and the warning line 16 are analyzed. More specifically, the degree of change in the pigment level or the luminance level is analyzed by performing pixel matching between frames of the image input from the camera 11. Note that the pixel matching between frames described above may be pixel matching between consecutive frames, or may be pixel matching for an image (frame) used when setting the attention line 15 and the warning line 16. For example, when the host vehicle is traveling in a tunnel, the movement of the subject can be grasped more accurately by analyzing the change in the pigment level. If it is determined that the image has not changed, the process proceeds to step S316. Further, when it is determined that the image has changed, if “attention area approaching”, the process proceeds to step S303, and if “attention area entry”, the process proceeds to step S304. ", The process proceeds to step S305, and if" warning area entry ", the process proceeds to step S306.

ここで、画像解析部６による画像の解析について説明する。   Here, image analysis by the image analysis unit 6 will be described.

画像解析部６は、画像入力部７から入力された画像と、記憶部５に記憶された注意ライン１５および警告ライン１６とに基づいて対象者の姿勢の変化、すなわち「正常（変化なし）」、「注意領域接近中」、「注意領域進入」、「警告領域接近中」、「警告領域進入」の各々の状態を解析して検知する。   The image analysis unit 6 changes the posture of the subject based on the image input from the image input unit 7 and the attention line 15 and the warning line 16 stored in the storage unit 5, that is, “normal (no change)”. , "Awareness area approaching", "Awareness area approaching", "Warning area approaching" and "Warning area approaching" are analyzed and detected.

ここで、注意領域とは、注意ライン１５と警告ライン１６との間の領域のことをいう。また、警告領域とは、警告ライン１６の注意ライン１５とは反対側の領域のことをいう。   Here, the attention area refers to an area between the attention line 15 and the warning line 16. Further, the warning area refers to an area on the opposite side of the warning line 16 from the attention line 15.

「注意領域接近中」とは、対象者が注意領域に接近中の状態であることを示している。具体的には、画像解析部６は、注意ライン１５の警告ライン１６とは反対側の領域のみの色素レベルが変化したことを検知する。   “Attention area approaching” indicates that the subject is approaching the attention area. Specifically, the image analysis unit 6 detects that the dye level of only the region on the opposite side of the warning line 16 of the attention line 15 has changed.

「注意領域進入」とは、対象者が注意領域に進入している状態であることを示している。具体的には、画像解析部６は、注意ライン１５を跨いだ両側の領域の色素レベルが変化したことを検知する。このとき、警告ライン１６周辺領域の色素レベルは変化していない。   “Attention area entry” indicates that the subject is entering the attention area. Specifically, the image analysis unit 6 detects that the dye levels in the regions on both sides across the attention line 15 have changed. At this time, the dye level in the area around the warning line 16 has not changed.

「警告領域接近中」とは、対象者が警告ライン１６に接近中であることを示している。具体的には、画像解析部６は、対象者が注意ライン１５を跨ぎ、かつ警告ライン１６の注意ライン１５側の領域の色素レベルが変化したことを検知する。   “Warning area approaching” indicates that the subject is approaching the warning line 16. Specifically, the image analysis unit 6 detects that the subject has straddled the attention line 15 and the pigment level in the area on the warning line 15 side of the warning line 16 has changed.

「警告領域進入」とは、対象者が警告領域に進入している状態であることを示している。具体的には、画像解析部６は、対象者が注意ライン１５を跨ぎ、かつ警告ライン１６を跨いだ両側の領域の色素レベルが変化したことを検知する。例えば、図４において、子どもがチャイルドシートから離れていくような動作をし、かつ警告ライン１６の外側にまで移動した場合、あるいは、子どもがチャイルドシートのバックルに接触した場合は、警告領域に進入している状態であると検知する。   “Warning area entry” indicates that the target person is entering the warning area. Specifically, the image analysis unit 6 detects that the subject has crossed the attention line 15 and has changed the pigment level in the regions on both sides of the warning line 16. For example, in FIG. 4, when the child moves away from the child seat and moves to the outside of the warning line 16, or when the child contacts the buckle of the child seat, the child enters the warning area. It is detected that it is in a state.

図５に戻り、ステップＳ３０３において、メーターパネル１２および表示部１３は、対象者が注意領域に接近中である旨を通知する。   Returning to FIG. 5, in step S <b> 303, the meter panel 12 and the display unit 13 notify that the subject is approaching the attention area.

具体的には、制御部９は、画像解析部６にて対象者が注意領域に接近中であると判断した結果に基づいて、対象者が注意領域に接近中である旨を通知するよう表示データ作成部８を制御する。表示データ作成部８は、対象者が注意領域に接近中である旨の表示データをメーターパネル１２および表示部１３に出力する。   Specifically, the control unit 9 displays to notify that the subject is approaching the attention area based on the result of the image analysis unit 6 determining that the subject is approaching the attention area. The data creation unit 8 is controlled. The display data creation unit 8 outputs display data indicating that the subject is approaching the attention area to the meter panel 12 and the display unit 13.

メーターパネル１２は、表示データ作成部８から入力した表示データに基づいて、図６（Ｂ）に示すようなアイコンを表示する。なお、図６（Ｂ）では、アイコンが所定の色で点滅していることを示している。   The meter panel 12 displays icons as shown in FIG. 6B based on the display data input from the display data creation unit 8. FIG. 6B shows that the icon blinks in a predetermined color.

表示部１３は、表示データ作成部８から入力した表示データに基づいて、図７（Ｂ）に示すように、例えば注意を促すようなメッセージを表示する。なお、図７において、メッセージが表示されている領域以外の領域には地図などが表示されている。   Based on the display data input from the display data creation unit 8, the display unit 13 displays a message that calls attention, for example, as shown in FIG. 7B. In FIG. 7, a map or the like is displayed in an area other than the area where the message is displayed.

ステップＳ３０４において、メーターパネル１２および表示部１３は、対象者が注意領域に進入している旨を通知する。   In step S304, the meter panel 12 and the display unit 13 notify that the subject has entered the attention area.

具体的には、制御部９は、画像解析部６にて対象者が注意領域に進入していると判断した結果に基づいて、対象者が注意領域に進入している旨を通知するよう表示データ作成部８を制御する。表示データ作成部８は、対象者が注意領域に進入している旨の表示データをメーターパネル１２および表示部１３に出力する。   Specifically, the control unit 9 displays to notify that the target person has entered the attention area based on the result determined by the image analysis unit 6 that the target person has entered the attention area. The data creation unit 8 is controlled. The display data creating unit 8 outputs display data indicating that the subject person has entered the attention area to the meter panel 12 and the display unit 13.

メーターパネル１２は、表示データ作成部８から入力した表示データに基づいて、図６（Ｃ）に示すようなアイコンを表示する。なお、図６（Ｃ）では、アイコンが所定の色（図６（Ｂ）と同色）で点灯していることを示している。   The meter panel 12 displays icons as shown in FIG. 6C based on the display data input from the display data creation unit 8. Note that FIG. 6C shows that the icon is lit in a predetermined color (the same color as in FIG. 6B).

表示部１３は、表示データ作成部８から入力した表示データに基づいて、図７（Ｃ）に示すように、例えば図７（Ｂ）よりも強く注意を促すようなメッセージを表示する。なお、図７（Ｃ）に示すメッセージの表示領域は、図７（Ｂ）に示すメッセージの表示領域よりも広い。   Based on the display data input from the display data creation unit 8, the display unit 13 displays a message that calls attention more strongly than, for example, FIG. 7B, as shown in FIG. 7C. Note that the message display area shown in FIG. 7C is wider than the message display area shown in FIG.

ステップＳ３０５において、メーターパネル１２および表示部１３は、対象者が警告領域に接近中である旨を通知する。   In step S305, the meter panel 12 and the display unit 13 notify that the subject is approaching the warning area.

具体的には、制御部９は、画像解析部６にて対象者が警告領域に接近中であると判断した結果に基づいて、対象者が警告領域に接近中である旨を通知するよう表示データ作成部８を制御する。表示データ作成部８は、対象者が警告領域に接近中である旨の表示データをメーターパネル１２および表示部１３に出力する。   Specifically, the control unit 9 displays to notify that the subject is approaching the warning area based on the result of the image analysis unit 6 determining that the subject is approaching the warning area. The data creation unit 8 is controlled. The display data creation unit 8 outputs display data indicating that the subject is approaching the warning area to the meter panel 12 and the display unit 13.

メーターパネル１２は、表示データ作成部８から入力した表示データに基づいて、図６（Ｄ）に示すようなアイコンを表示する。なお、図６（Ｄ）では、アイコンが所定の色（図６（Ｂ），（Ｃ）とは異なる色）で点滅していることを示している。   The meter panel 12 displays an icon as shown in FIG. 6D based on the display data input from the display data creation unit 8. Note that FIG. 6D shows that the icon blinks in a predetermined color (a color different from FIGS. 6B and 6C).

表示部１３は、表示データ作成部８から入力した表示データに基づいて、図７（Ｄ）に示すように、警告する旨のメッセージを表示する。なお、図７（Ｄ）に示すメッセージの表示領域は、図７（Ｃ）に示すメッセージの表示領域よりも広い。   Based on the display data input from the display data creation unit 8, the display unit 13 displays a warning message as shown in FIG. Note that the message display area shown in FIG. 7D is wider than the message display area shown in FIG.

ステップＳ３０６において、メーターパネル１２および表示部１３は、対象者が警告領域に進入している旨を通知する。   In step S306, the meter panel 12 and the display unit 13 notify that the target person has entered the warning area.

具体的には、制御部９は、画像解析部６にて対象者が警告領域に進入していると判断した結果に基づいて、対象者が警告領域に進入している旨を通知するよう表示データ作成部８を制御する。表示データ作成部８は、対象者が警告領域に進入している旨の表示データをメーターパネル１２および表示部１３に出力する。   Specifically, the control unit 9 displays to notify that the target person has entered the warning area based on the result determined by the image analysis unit 6 that the target person has entered the warning area. The data creation unit 8 is controlled. The display data creation unit 8 outputs display data indicating that the subject person has entered the warning area to the meter panel 12 and the display unit 13.

メーターパネル１２は、表示データ作成部８から入力した表示データに基づいて、図６（Ｅ）に示すようなアイコンを表示する。なお、図６（Ｅ）では、アイコンが所定の色（図６（Ｄ）と同色）で点灯していることを示している。   The meter panel 12 displays an icon as shown in FIG. 6E based on the display data input from the display data creation unit 8. Note that FIG. 6E shows that the icon is lit in a predetermined color (the same color as that in FIG. 6D).

表示部１３は、表示データ作成部８から入力した表示データに基づいて、図７（Ｅ）に示すようなカメラ１１で撮影中の画像を表示する。なお、図７（Ｅ）に示す映像の表示領域は、図７（Ｄ）に示すメッセージの表示領域よりも広い。   The display unit 13 displays an image being shot by the camera 11 as shown in FIG. 7E based on the display data input from the display data creation unit 8. Note that the video display area shown in FIG. 7E is wider than the message display area shown in FIG.

上記より、ステップＳ３０３〜ステップＳ３０６において、メーターパネル１２および表示部１３は、注意ライン１５および警告ライン１６に対応する通知を行っている。   As described above, in step S303 to step S306, the meter panel 12 and the display unit 13 perform notification corresponding to the caution line 15 and the warning line 16.

ステップＳ３０７において、制御部９は、自車両が停止可能位置に存在するか否かの判断を行う。具体的には、制御部９は、自車両位置取得部３にて取得した自車両の現在地の位置情報と、記憶部５に記憶されている地図データとに基づいて、自車両が停止可能位置に存在するか否かの判断を行う。自車両が停止可能位置に存在していると判断した場合はステップＳ３１６に移行する。一方、自車両が停止可能位置に存在していないと判断した場合はステップＳ３０８に移行する。   In step S307, the control unit 9 determines whether or not the host vehicle is present at a stoppable position. Specifically, the control unit 9 determines the position where the host vehicle can stop based on the position information of the current location of the host vehicle acquired by the host vehicle position acquisition unit 3 and the map data stored in the storage unit 5. To determine whether it exists. If it is determined that the host vehicle is present at the stoppable position, the process proceeds to step S316. On the other hand, if it is determined that the host vehicle does not exist at the stoppable position, the process proceeds to step S308.

ステップＳ３０８において、制御部９は、リアシートエンターテインメントシステム１４を起動するよう制御する。リアシートエンターテインメントシステム１４は、リアディスプレイなどに映像を表示したり、スピーカーから音楽などの音声を出力したりする。   In step S308, the control unit 9 controls the rear seat entertainment system 14 to be activated. The rear seat entertainment system 14 displays an image on a rear display or the like, and outputs sound such as music from a speaker.

ステップＳ３０９において、ナビゲーション部４は、自車両を停止可能位置へ誘導する。具体的には、例えば、ナビゲーション部４は、自車両位置取得部３にて取得した自車両の現在地の位置情報と、記憶部５に記憶されている地図データとに基づいて、自車両の現在地から最も近い停止可能位置を検索し、当該検索した停止可能位置へ自車両を誘導する。停止可能位置への誘導は、図７（Ｅ）に示す画面における映像が表示されていない領域に表示する（例えば、図７（Ｅ）の画面右側の領域に表示する）。   In step S309, the navigation unit 4 guides the host vehicle to a stoppable position. Specifically, for example, the navigation unit 4 determines the current location of the host vehicle based on the location information of the current location of the host vehicle acquired by the host vehicle location acquisition unit 3 and the map data stored in the storage unit 5. The nearest stoppable position is searched for, and the host vehicle is guided to the searched stoppable position. The guidance to the stoppable position is displayed in an area where no video is displayed on the screen shown in FIG. 7E (for example, displayed in the area on the right side of the screen in FIG. 7E).

ステップＳ３１０において、制御部９は、リアシートエンターテインメントシステム１４が起動中であるか否かを判断する。リアシートエンターテインメントシステム１４が起動中であると判断した場合はステップＳ３１１に移行する。一方、リアシートエンターテインメントシステム１４が起動していない（停止中）であると判断した場合はステップＳ３１３に移行する。   In step S310, the control unit 9 determines whether or not the rear seat entertainment system 14 is being activated. If it is determined that the rear seat entertainment system 14 is being activated, the process proceeds to step S311. On the other hand, if it is determined that the rear seat entertainment system 14 is not activated (stopped), the process proceeds to step S313.

ステップＳ３１１において、制御部９は、ユーザーがリアシートエンターテインメントシステム１４の停止を実行したか否かを判断する。具体的には、例えば、ユーザーがリアシートエンターテインメントシステム１４を操作するリモコンの停止ボタンを選択したか否かを判断する。ユーザーがリアシートエンターテインメントシステム１４の停止を実行したと判断した場合はステップＳ３１２に移行する。一方、ユーザーがリアシートエンターテインメントシステム１４の停止を実行していないと判断した場合はステップＳ３１３に移行する。   In step S <b> 311, the control unit 9 determines whether or not the user has stopped the rear seat entertainment system 14. Specifically, for example, it is determined whether or not the user has selected a stop button on the remote controller for operating the rear seat entertainment system 14. If it is determined that the user has stopped the rear seat entertainment system 14, the process proceeds to step S312. On the other hand, if it is determined that the user has not stopped the rear seat entertainment system 14, the process proceeds to step S313.

ステップＳ３１２において、制御部９は、リアシートエンターテインメントシステム１４の動作を停止する。   In step S312, the control unit 9 stops the operation of the rear seat entertainment system 14.

ステップＳ３１３において、制御部９は、ナビゲーション部４が自車両を停止可能位置へ誘導中であるか否かの判断を行う。停止可能位置へ誘導中であると判断した場合はステップＳ３１４に移行する。一方、停止可能位置へ誘導中でないと判断した場合はステップＳ３１９に移行する。   In step S313, the control unit 9 determines whether or not the navigation unit 4 is guiding the host vehicle to a stoppable position. If it is determined that the vehicle is being guided to the stoppable position, the process proceeds to step S314. On the other hand, if it is determined that the vehicle is not being guided to the stoppable position, the process proceeds to step S319.

ステップＳ３１４において、制御部９は、ユーザーが停止可能位置への誘導の停止を実行したか否かを判断する。具体的には、例えば、ユーザーが操作部１０における停止可能位置への誘導を停止するボタンを選択したか否かを判断する。ユーザーが停止可能位置への誘導の停止を実行したと判断した場合はステップＳ３１５に移行する。一方、ユーザーが停止可能位置への誘導の停止を実行していないと判断した場合はステップＳ３１９に移行する。   In step S314, the control unit 9 determines whether or not the user has stopped guiding to the stoppable position. Specifically, for example, it is determined whether or not the user has selected a button for stopping guidance to a stoppable position on the operation unit 10. If it is determined that the user has stopped guiding to the stoppable position, the process proceeds to step S315. On the other hand, if it is determined that the user has not stopped the guidance to the stoppable position, the process proceeds to step S319.

ステップＳ３１５において、制御部９は、停止可能位置への誘導を停止するようナビゲーション部４を制御する。ナビゲーション部４は、停止可能位置への誘導を停止する。   In step S315, the control unit 9 controls the navigation unit 4 to stop the guidance to the stoppable position. The navigation unit 4 stops the guidance to the stoppable position.

ステップＳ３１６において、制御部９は、ステップＳ３０３、ステップＳ３０４、ステップＳ３０５、あるいはステップＳ３０６にて通知を行っていた場合、当該通知を解除する。   In step S316, the control part 9 cancels | releases the said notification, when notifying in step S303, step S304, step S305, or step S306.

具体的には、制御部９が表示データ作成部８を制御することによって、メーターパネル１２は図６（Ａ）に示すようなアイコン（点灯および点滅せず）を表示する。また、表示部１３は図７（Ａ）に示すようにメッセージを表示しない。   Specifically, when the control unit 9 controls the display data creation unit 8, the meter panel 12 displays an icon (not lit and blinking) as shown in FIG. Further, the display unit 13 does not display a message as shown in FIG.

ステップＳ３１７において、制御部９は、ステップＳ３０８にてリアシートエンターテインメントシステム１４を起動している場合、リアシートエンターテインメントシステム１４の動作を停止する。   In step S317, when the rear seat entertainment system 14 is activated in step S308, the control unit 9 stops the operation of the rear seat entertainment system 14.

ステップＳ３１８において、制御部９は、ステップＳ３０９にて自車両を停止可能位置へ誘導している場合、当該停止可能位置への誘導を停止するようナビゲーション部４を制御する。ナビゲーション部４は、停止可能位置への誘導を停止する。   In step S318, the control unit 9 controls the navigation unit 4 to stop the guidance to the stoppable position when the host vehicle is guided to the stoppable position in step S309. The navigation unit 4 stops the guidance to the stoppable position.

ステップＳ３１９において、制御部９は、動作終了状態であるか否かを判断する。ここで、動作終了状態とは、例えばＡｃｃ電源をオフ状態にすることをいう。動作終了状態であると判断した場合は終了する。一方、動作終了状態でない場合はステップＳ３０１に移行する。   In step S319, the control unit 9 determines whether or not the operation has been completed. Here, the operation end state refers to, for example, turning off the Acc power supply. If it is determined that the operation has been completed, the process ends. On the other hand, if the operation is not completed, the process proceeds to step S301.

以上のことから、本実施の形態によれば、カメラ１１が撮影した自車両内の後部座席の画像に対して、ユーザーが任意の箇所あるいは領域を指定して注意ライン１５および警告ライン１６を設定しているため、画像解析部６によって解析された対象者（図４の場合は子ども）の姿勢の変化の度合いに応じて複数段階の通知を行うことができる。従って、自車両内の後部座席の状態を確実かつ早期に通知することができ、ユーザー（例えば、運転者）の認知性を向上させることが可能となる。   From the above, according to the present embodiment, the user designates an arbitrary location or area and sets the warning line 15 and the warning line 16 with respect to the image of the rear seat in the own vehicle captured by the camera 11. Therefore, a plurality of stages of notifications can be made according to the degree of change in posture of the subject (the child in the case of FIG. 4) analyzed by the image analysis unit 6. Therefore, the state of the rear seat in the host vehicle can be notified reliably and early, and the user's (for example, driver) can be improved in recognition.

また、後部座席の状態の通知をメーターパネル１２および表示部１３にて行っているため、ユーザーが運転者である場合は少ない視野移動で後部座席の状態を把握することができる。   Moreover, since the notification of the state of the rear seat is performed on the meter panel 12 and the display unit 13, when the user is a driver, the state of the rear seat can be grasped with a small visual field movement.

また、対象者が警告領域に進入したとき、自車両はすぐに停止可能な場所に存在していない場合があるが、ナビゲーション部４によって停止可能位置を検索して誘導することによって、運転者は速やかに安全な場所で自車両を停車させることができる。このとき、リアシートエンターテインメントシステム１４を起動させることによって、対象者の注意をリアシートエンターテインメントシステム１４による映像あるいは音楽に向けることができる。   Further, when the target person enters the warning area, the host vehicle may not exist at a place where the subject vehicle can be stopped immediately, but by searching for a stoppable position by the navigation unit 4 and guiding the driver, You can quickly stop your vehicle in a safe place. At this time, by activating the rear seat entertainment system 14, the attention of the subject can be directed to the video or music by the rear seat entertainment system 14.

例えば、チャイルドシートがきちんと後部座席に設置されている場合は、当該チャイルドシートに着座した子どもの行動範囲は制限される。しかしながら、チャイルドシートがきちんと後部座席に設置されていない場合は、当該チャイルドシートに着座した子どもの行動範囲がきちんと設置されている場合よりも広くなる。従って、子どもが通常の行動範囲よりも広い範囲で行動した場合は、チャイルドシートの設置の不具合が疑われる。本実施の形態によれば、ユーザーに対して子どもの状態を複数段階で通知しているため、チャイルドシートの設置の不具合を早期に把握することができる。チャイルドシートの設置の不具合があった場合は、自車両を停止可能位置で停車させることができるとともに、停車可能位置への移動中にリアシートエンターテインメントシステム１４による映像あるいは音楽などを子どもに視聴させることによって、子どもが不用意な行動を起こすことを防ぐことができる。また、例えばチャイルドシートのバックルなど、ユーザーにとって子どもに触れて欲しくない物に対する子どもの行動を早期に把握することができる。   For example, when the child seat is properly installed in the rear seat, the action range of the child seated on the child seat is limited. However, when the child seat is not properly installed on the rear seat, the range of action of the child seated on the child seat is wider than when the child seat is properly installed. Therefore, if the child behaves in a wider range than the normal range of action, a child seat installation failure is suspected. According to the present embodiment, since the user's state is notified to the user in a plurality of stages, it is possible to grasp a malfunction of the child seat installation at an early stage. If there is a problem with the child seat installation, the vehicle can be stopped at the stoppable position, and the child can watch images or music by the rear seat entertainment system 14 while moving to the stoppable position. It can prevent children from taking careless behavior. In addition, it is possible to quickly grasp the behavior of the child with respect to an object that the user does not want to touch, such as a child seat buckle.

以上で説明した情報処理装置１は、車載用ナビゲーション装置、すなわちカーナビゲーション装置だけでなく、車両に搭載可能な、ＰＮＤ（Portable Navigation Device）および携帯通信端末（例えば、携帯電話、スマートフォン、およびタブレット端末など）、並びにサーバなどを適宜に組み合わせてシステムとして構築されるナビゲーション装置にも適用することができる。この場合、経路探索装置１の各機能あるいは各構成要素は、上記システムを構築する各機能に分散して配置される。   The information processing apparatus 1 described above is not only a vehicle-mounted navigation device, that is, a car navigation device, but also a PND (Portable Navigation Device) and a mobile communication terminal (for example, a mobile phone, a smartphone, and a tablet terminal) that can be mounted on a vehicle. Etc.), and a navigation apparatus constructed as a system by appropriately combining servers and the like. In this case, each function or each component of the route search device 1 is distributed and arranged in each function for constructing the system.

具体的には、情報処理装置１の一部の機能を携帯通信端末、ＰＮＤあるいはサーバに配置することができる。また、車載装置としてＤＡ（Display Audio）を用いた場合、ＤＡは表示および音声出力のみが可能なのでそれ以外の機能を携帯通信端末、ＰＮＤ、あるいはサーバに配置することができる。   Specifically, some functions of the information processing apparatus 1 can be arranged in a mobile communication terminal, a PND, or a server. Further, when DA (Display Audio) is used as an in-vehicle device, since DA can only display and output audio, other functions can be arranged in the mobile communication terminal, PND, or server.

なお、図１において、操作入力部２、ナビゲーション部４、画像解析部６、および表示データ作成部８の各々は、ソフトウェアに基づくＣＰＵ（Central Processing Unit）を用いたプログラム処理を実行することによって実現されるが、可能であれば、操作入力部２、ナビゲーション部４、画像解析部６、および表示データ作成部８の各々を、ハードウェア（例えば、電気信号に対して特定の演算あるいは処理を行うように構成された演算／処理回路等）として構成するようにしてもよい。また、上記の両者を混在させてもよい。   In FIG. 1, each of the operation input unit 2, the navigation unit 4, the image analysis unit 6, and the display data creation unit 8 is realized by executing program processing using a CPU (Central Processing Unit) based on software. However, if possible, each of the operation input unit 2, the navigation unit 4, the image analysis unit 6, and the display data creation unit 8 performs a specific calculation or processing on hardware (for example, an electrical signal). An arithmetic / processing circuit configured as described above may be configured. Further, both of the above may be mixed.

図１において、記憶部５は、データを記憶しておく機能を、例えばＨＤＤ（Hard Disk Drive）、ＤＶＤ（Digital Versatile Disk）、半導体メモリなどによって構成してもよい。   In FIG. 1, the storage unit 5 may have a function of storing data, for example, an HDD (Hard Disk Drive), a DVD (Digital Versatile Disk), a semiconductor memory, or the like.

本実施の形態では、ユーザーは運転者であるものとして説明したが、運転者に限らず他の同乗者（例えば、助手席の同乗者）であってもよい。   In the present embodiment, the user is described as being a driver. However, the user is not limited to the driver, but may be another passenger (for example, a passenger in the passenger seat).

また、監視の対象は対象者（人）であるものとして説明したが、対象物（物）であってもよい。例えば、監視の対象物を積荷とすることによって、積荷の荷崩れを早期に把握することができる。   Moreover, although the monitoring target has been described as being a subject (person), it may be a subject (thing). For example, by using the object to be monitored as a load, it is possible to quickly grasp the collapse of the load.

また、ユーザーに対する通知をメーターパネル１２および表示部１３にて行っているが、いずれか一方であってもよい。   Moreover, although notification with respect to a user is performed in the meter panel 12 and the display part 13, any one may be sufficient.

図１において、表示部１３がタッチパネルで構成されている場合は、操作部１０と表示部１３とを一体型として構成するようにしてもよい。   In FIG. 1, when the display part 13 is comprised with the touch panel, you may make it comprise the operation part 10 and the display part 13 as an integrated type.

ナビゲーション部４は、停止可能位置を検索して当該停止可能位置までの経路案内を行うことについて説明したが、ユーザーが操作部１０を介して入力した任意の目的地までの経路案内を行うといった、従来の経路検索・案内の機能も有している。   The navigation unit 4 has been described to search for a stoppable position and perform route guidance to the stoppable position. However, the navigation unit 4 performs route guidance to an arbitrary destination input by the user via the operation unit 10. It also has a conventional route search / guidance function.

記憶部５は、地図データを予め取得して記憶しておいてもよく、必要時に外部から地図データを取得するようにしてもよい。外部から地図データを取得する場合、情報処理装置１は外部との通信が可能な通信部を備える必要がある。   The storage unit 5 may acquire and store map data in advance, or may acquire map data from the outside when necessary. When acquiring map data from the outside, the information processing apparatus 1 needs to include a communication unit capable of communicating with the outside.

カメラ１１は、後部座席を撮影する場合は例えばヘッドレストに設置することができる。この場合、運転席側の後部座席から助手席側の後部座席へと撮影範囲を変更する際に、運転席のヘッドレストと助手席のヘッドレストとを交換すればよく、後部座席における撮影範囲を容易に変更することが可能となる。なお、カメラ１１は、ヘッドレストに限らず自車両内の他の箇所に設置するようにしてもよく、撮影範囲も後部座席以外であってもよい。また、カメラ１１が撮影する画像は、動画あるいは静止画のいずれであってもよい。   The camera 11 can be installed, for example, on the headrest when photographing the rear seat. In this case, when changing the shooting range from the rear seat on the driver's side to the rear seat on the passenger's side, the headrest on the driver's seat and the headrest on the passenger's seat can be exchanged, and the shooting range on the rear seat can be easily It becomes possible to change. The camera 11 is not limited to the headrest, and may be installed at other locations in the host vehicle, and the shooting range may be other than the rear seat. Further, the image captured by the camera 11 may be either a moving image or a still image.

メーターパネル１２は、液晶パネルで構成されていてもよい。この場合、メーターパネル１２は、図６に示すアイコンの表示に限らず、図４に示すような表示を行ってもよく、あるいは注意や警告に関するメッセージのみを表示するようにしてもよい。   The meter panel 12 may be composed of a liquid crystal panel. In this case, the meter panel 12 is not limited to displaying the icon shown in FIG. 6, and may display as shown in FIG. 4, or may display only a message relating to a caution or a warning.

図２のステップＳ１０１において、ユーザーが初期設定を行わない旨を選択する状況としては、Ａｃｃ電源がオン状態で情報処理装置１をオフ状態とした後に、再度、情報処理装置１をオン状態とした場合がある。一度設定した初期設定のままでよい場合は、再度初期設定を設定し直す必要がないからである。   In step S101 in FIG. 2, the situation in which the user selects not to perform the initial setting is that the information processing apparatus 1 is turned on again after the information processing apparatus 1 is turned off while the Acc power supply is on. There is a case. This is because it is not necessary to set the initial setting again when the initial setting once set is acceptable.

図３のステップＳ２０２およびステップＳ２０３において、画像上を指あるいはペンなどで任意になぞりながら注意ライン１５および警告ライン１６を設定すると説明したが、これに限るものではない。注意ライン１５および警告ライン１６を設定することができればいかなる手段であってもよい。   In step S202 and step S203 of FIG. 3, it has been described that the attention line 15 and the warning line 16 are set while arbitrarily tracing the image with a finger or a pen. However, the present invention is not limited to this. Any means may be used as long as the attention line 15 and the warning line 16 can be set.

図４では、注意ライン１５および警告ライン１６を、チャイルドシートの外周およびバックル部分に設定したが、これに限るものではなく、監視の対象者の状態が、ユーザーに対して注意を通知する必要がある状態となる箇所であればいかなる箇所であってもよい。例えば、ドアノブ、パワーウインドウの開閉ボタン、あるいは窓などに注意ライン１５および警告ライン１６を設定するようにしてもよい。また、注意ライン１５および警告ライン１６は、図４に示すような枠に限らず、直線、曲線、あるいはその組み合わせであってもよい。   In FIG. 4, the attention line 15 and the warning line 16 are set on the outer periphery and the buckle portion of the child seat. However, the present invention is not limited to this, and the state of the person to be monitored needs to notify the user of the attention. Any portion may be used as long as it is in a state. For example, the attention line 15 and the warning line 16 may be set on a door knob, a power window opening / closing button, or a window. Further, the caution line 15 and the warning line 16 are not limited to the frames as shown in FIG. 4, but may be straight lines, curved lines, or combinations thereof.

図５のステップＳ３０２において、画像解析部６による画像変化の検知について説明したが、注意領域および警告領域への接近や進入を検知することが可能であれば、他の検知方法であってもよい。   Although the detection of the image change by the image analysis unit 6 has been described in step S302 of FIG. 5, other detection methods may be used as long as it is possible to detect the approach and the approach to the attention area and the warning area. .

図５のステップＳ３０７において、自車両が停止可能位置に存在するか否かの判断は制御部９が行うものとして説明したが、これに限るものではない。例えば、ナビゲーション部４が、自車両が停止可能位置に存在するか否かの判断を行い、当該判断結果を制御部９に出力するようにしてもよい。   In step S307 in FIG. 5, it has been described that the control unit 9 determines whether or not the own vehicle exists at the stoppable position, but the present invention is not limited to this. For example, the navigation unit 4 may determine whether or not the host vehicle exists at a stoppable position and output the determination result to the control unit 9.

図５のステップＳ３０８において、自車両を停止可能位置へ誘導する際、表示部１３（図７（Ｅ））に誘導に関する表示を行うとともに、音声による誘導を行ってもよい。   In step S308 in FIG. 5, when guiding the host vehicle to the stoppable position, display related to guidance may be performed on the display unit 13 (FIG. 7E) and guidance by voice may be performed.

図７では、画像解析部６によって解析された対象者の変化の度合いに応じて、メッセージの表示領域に広さを変化させているが、これに限るものではない。例えば、メッセージの内容を変化させてもよく、メッセージの文字の大きさや色を変えてもよい。あるいは、これらの組み合わせであってもよい。   In FIG. 7, the size of the message display area is changed according to the degree of change of the subject analyzed by the image analysis unit 6, but the present invention is not limited to this. For example, the content of the message may be changed, and the size and color of the message text may be changed. Alternatively, a combination thereof may be used.

図７に示すような視覚メッセージに代えて、音声メッセージとしてもよい。この場合、音声メッセージを出力する音声出力部を備える必要がある。   Instead of the visual message as shown in FIG. 7, a voice message may be used. In this case, it is necessary to provide a voice output unit that outputs a voice message.

図５のステップＳ３１１において、ユーザーがリアシートエンターテインメントシステム１４を操作するリモコンは、リアシートエンターテインメントシステム１４の構成要素の１つとして含まれるものであってもよく、操作部１０がリアシートエンターテインメントシステム１４を操作するリモコンの機能を有していてもよい。   In step S311 of FIG. 5, the remote controller that allows the user to operate the rear seat entertainment system 14 may be included as one of the components of the rear seat entertainment system 14, and the operation unit 10 operates the rear seat entertainment system 14. It may have a remote control function.

図７（Ｅ）では、カメラ１１が撮影中の画像を表示しているが、これに限るものではない。例えば、図７（Ｂ）〜（Ｄ）と同様にメッセージを表示するようにしてもよい。   In FIG. 7E, the camera 11 displays an image being shot, but the present invention is not limited to this. For example, you may make it display a message similarly to FIG.7 (B)-(D).

本実施の形態では、カメラ１１が撮影した画像を用いてユーザーに対して複数段階の通知を行うことについて説明したが、対象者の動作状態が検知できればカメラ１１以外の手段を用いてもよい。例えば、本実施の形態において設定した警告ライン１６に代えて、自車両内の装備品を用いてもよい。具体的には、対象者が例えばパワーウインドウのスイッチを操作した場合に、ユーザーに対して警告の通知を行うようにしてもよい。なお、注意ライン１５の設定は本実施の形態と同様である。このような構成であっても、本実施の形態と同様の効果が得られる。   In the present embodiment, a case has been described in which a user is notified of a plurality of stages using an image captured by the camera 11, but means other than the camera 11 may be used as long as the operation state of the target person can be detected. For example, instead of the warning line 16 set in the present embodiment, equipment in the host vehicle may be used. Specifically, for example, when a target person operates a switch of a power window, a warning may be notified to the user. Note that the setting of the caution line 15 is the same as in the present embodiment. Even if it is such a structure, the effect similar to this Embodiment is acquired.

なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。   In the present invention, the embodiments can be appropriately modified and omitted within the scope of the invention.

１ 情報処理装置、２ 操作入力部、３ 自車両位置取得部、４ ナビゲーション部、５ 記憶部、６ 画像解析部、７ 画像入力部、８ 表示データ作成部、９ 制御部、１０ 操作部、１１ カメラ、１２ メーターパネル、１３ 表示部、１４ リアシートエンターテインメントシステム、１５ 注意ライン、１６ 警告ライン。   DESCRIPTION OF SYMBOLS 1 Information processing apparatus, 2 Operation input part, 3 Own vehicle position acquisition part, 4 Navigation part, 5 Storage part, 6 Image analysis part, 7 Image input part, 8 Display data creation part, 9 Control part, 10 Operation part, 11 Camera, 12 meter panel, 13 display, 14 rear seat entertainment system, 15 caution line, 16 warning line.

Claims (10)

カメラによって撮影された自車両内における予め定められた領域の画像を入力する画像入力部と、
前記画像入力部に入力された前記画像における予め定められた対象者または対象物の姿勢の変化を解析する画像解析部と、
前記画像解析部によって解析された前記変化の度合いに応じた複数段階の通知を行う通知部と、
を備える、情報処理装置。 An image input unit for inputting an image of a predetermined area in the host vehicle photographed by the camera;
An image analysis unit that analyzes a change in posture of a predetermined target person or object in the image input to the image input unit;
A notification unit that performs notification in a plurality of stages according to the degree of change analyzed by the image analysis unit;
An information processing apparatus comprising: 前記変化の度合いを規定するためのラインを入力する入力部をさらに備えることを特徴とする、請求項１に記載の情報処理装置。   The information processing apparatus according to claim 1, further comprising an input unit that inputs a line for defining the degree of change. 前記入力部に入力される前記ラインは、前記通知部における前記通知の前記段階に対応することを特徴とする、請求項２に記載の情報処理装置。   The information processing apparatus according to claim 2, wherein the line input to the input unit corresponds to the stage of the notification in the notification unit. 前記自車両を停止可能な位置に誘導するナビゲーション部をさらに備え、
前記ナビゲーション部は、前記通知部による前記通知に応じて、前記自車両を前記停止可能な位置に誘導することを特徴とする、請求項１ないし３のいずれかに記載の情報処理装置。 A navigation unit for guiding the vehicle to a position where the vehicle can be stopped;
4. The information processing apparatus according to claim 1, wherein the navigation unit guides the host vehicle to the stoppable position in response to the notification by the notification unit. 5. 前記自車両内に設けられたリアシートエンターテインメントシステムの制御を行うリアシートエンターテインメントシステム制御部をさらに備え、
前記リアシートエンターテインメントシステム制御部は、前記通知部による前記通知に応じて、前記リアシートエンターテインメントシステムを動作させるよう制御することを特徴とする、請求項１ないし４のいずれかに記載の情報処理装置。 A rear seat entertainment system control unit for controlling a rear seat entertainment system provided in the host vehicle,
5. The information processing apparatus according to claim 1, wherein the rear seat entertainment system control unit controls the rear seat entertainment system to operate in response to the notification by the notification unit. 前記通知部は、前記通知を視覚メッセージとして表示する表示部であることを特徴とする、請求項１ないし５のいずれかに記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the notification unit is a display unit that displays the notification as a visual message. 前記通知部は、前記通知を音声メッセージとして出力する音声出力部であることを特徴とする、請求項１ないし６のいずれかに記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the notification unit is a voice output unit that outputs the notification as a voice message. 前記カメラによって撮影される前記自車両内における予め定められた領域は、後部座席であることを特徴とする、請求項１ないし７のいずれかに記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the predetermined area in the host vehicle photographed by the camera is a rear seat. 前記画像解析部は、前記画像における予め定められた対象物を含む周囲の色素レベルの変化を解析することを特徴とする、請求項１ないし８のいずれかに記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the image analysis unit analyzes a change in a surrounding pigment level including a predetermined object in the image. （ａ）カメラによって撮影された自車両内における予め定められた領域の画像を入力する工程と、
（ｂ）前記工程（ａ）にて入力された前記画像における予め定められた対象者または対象物の姿勢の変化を解析する工程と、
（ｃ）前記工程（ｂ）によって解析された前記変化の度合いに応じた複数段階の通知を行う工程と、
を備える、情報処理方法。 (A) a step of inputting an image of a predetermined area in the host vehicle taken by the camera;
(B) analyzing a change in posture of a predetermined target person or object in the image input in the step (a);
(C) a step of performing notification in a plurality of stages according to the degree of change analyzed in the step (b);
An information processing method comprising:
JP2013158526A 2013-07-31 2013-07-31 Information processing apparatus and information processing method Expired - Fee Related JP5968277B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013158526A JP5968277B2 (en) 2013-07-31 2013-07-31 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013158526A JP5968277B2 (en) 2013-07-31 2013-07-31 Information processing apparatus and information processing method

Publications (2)

Publication Number Publication Date
JP2015030276A JP2015030276A (en) 2015-02-16
JP5968277B2 true JP5968277B2 (en) 2016-08-10

Family

ID=52516008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013158526A Expired - Fee Related JP5968277B2 (en) 2013-07-31 2013-07-31 Information processing apparatus and information processing method

Country Status (1)

Country Link
JP (1) JP5968277B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6389346B1 (en) * 2018-02-23 2018-09-12 オムロン株式会社 Information processing apparatus, information processing system, information processing method, and program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6286990A (en) * 1985-10-11 1987-04-21 Matsushita Electric Works Ltd Abnormality supervisory equipment
JP3941227B2 (en) * 1998-05-28 2007-07-04 松下電工株式会社 Abnormality monitoring device
JP2003104132A (en) * 2001-09-27 2003-04-09 Denso Corp Passenger monitor device
JP4140410B2 (en) * 2003-03-17 2008-08-27 住友電気工業株式会社 Vehicle display system and vehicle image display method
JP2006347232A (en) * 2005-06-13 2006-12-28 Xanavi Informatics Corp Navigation system
JP2007124526A (en) * 2005-10-31 2007-05-17 Hitachi Ltd Image monitoring recording device and system therefor
JP2008199515A (en) * 2007-02-15 2008-08-28 Fujifilm Corp Fellow passenger sitting posture detecting/determining apparatus and method
JP2009137484A (en) * 2007-12-07 2009-06-25 Omron Corp Supplementary seat device for child
JP2012061933A (en) * 2010-09-15 2012-03-29 Sanyo Electric Co Ltd Video/audio equipment
JP5786963B2 (en) * 2011-12-28 2015-09-30 日産自動車株式会社 Monitoring system

Also Published As

Publication number Publication date
JP2015030276A (en) 2015-02-16

Similar Documents

Publication Publication Date Title
US9796391B2 (en) Distracted driver prevention systems and methods
EP3165994B1 (en) Information processing device
US11383644B2 (en) Display system and method for a vehicle
US10466800B2 (en) Vehicle information processing device
JP5881596B2 (en) In-vehicle information device, communication terminal, warning sound output control device, and warning sound output control method
US9613459B2 (en) System and method for in-vehicle interaction
US8050858B2 (en) Multiple visual display device and vehicle-mounted navigation system
JP6073497B2 (en) Display control apparatus, information display method, and information display system
CN106506804B (en) Notification message reminding method and mobile terminal
US20150293745A1 (en) Text-reading device and text-reading method
JP6384322B2 (en) Vehicle display device
JP6851482B2 (en) Operation support device and operation support method
US20180046246A1 (en) Operation system
JP2014203317A (en) Portable communication device
JP6996969B2 (en) Driving support device and driving support method
JP2024506809A (en) Methods and devices for identifying dangerous acts, electronic devices, and storage media
JP5968277B2 (en) Information processing apparatus and information processing method
JP2016179723A (en) On-vehicle apparatus
JP2011126471A (en) On-vehicle equipment, warning method, and program
JP2019200125A (en) Route guidance control device and route guidance control method
JP6390380B2 (en) Display operation device
JP2014175688A (en) Portable terminal, display control method, and program
JP2017222302A (en) Vehicular display method and on-vehicle device
KR20110121932A (en) Apparatus and method displaying menu icon of navigation using proximity sensor
JP5040634B2 (en) Warning device, warning method and warning program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160705

R150 Certificate of patent or registration of utility model

Ref document number: 5968277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees