JP2017021745A - Information collection device, information collection server, and information collection system - Google Patents
Information collection device, information collection server, and information collection system Download PDFInfo
- Publication number
- JP2017021745A JP2017021745A JP2015141164A JP2015141164A JP2017021745A JP 2017021745 A JP2017021745 A JP 2017021745A JP 2015141164 A JP2015141164 A JP 2015141164A JP 2015141164 A JP2015141164 A JP 2015141164A JP 2017021745 A JP2017021745 A JP 2017021745A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- image
- passenger
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、情報収集装置、情報収集サーバ及び情報収集システムに関する。 The present invention relates to an information collection device, an information collection server, and an information collection system.
従来から、交差点に設置してあるカメラからの情報を収集して、交差点付近の状況を、当該交差点付近の自動車に送信する交通情報提供システムが検討されている（特許文献１）。 Conventionally, a traffic information providing system that collects information from cameras installed at an intersection and transmits a situation near the intersection to a car near the intersection has been studied (Patent Document 1).
特許文献１に開示されているような交通情報提供システムでは、カメラが設置されている交差点等の道路上の特定の場所の情報しか得ることができない。そのため、例えば、当該特定の場所以外の場所でなんらかの事象が発生しても、その情報を収集して、当該収集された情報に基いた情報提供を行うことができないという問題が一例として挙げられる。 In the traffic information providing system disclosed in Patent Document 1, only information on a specific place on a road such as an intersection where a camera is installed can be obtained. Therefore, for example, even if some event occurs in a place other than the specific place, there is a problem that the information cannot be collected and information cannot be provided based on the collected information.
本発明は、上述した点に鑑みてなされたものであり、移動体が移動する道路等の経路の不特定の場所で発生する事象に関する情報を収集し、当該情報を移動体に提供することを可能とする情報収集装置、情報収集サーバ及び情報収集システムを提供することを課題の１つとする。 The present invention has been made in view of the above-described points, and collects information related to an event that occurs in an unspecified place on a route such as a road on which the mobile body moves, and provides the mobile body with the information. It is an object to provide an information collection device, an information collection server, and an information collection system that can be used.
本願請求項１に記載の発明は、情報収集装置であって、移動体の搭乗者の状態を搭乗者状態情報として収集する搭乗者状態情報収集部と、前記搭乗者状態情報に基づいて、前記搭乗者の状態変化を検知し、状態変化検知情報を生成する状態変化検知部と、前記移動体の外部を撮影して撮影画像を生成する外部撮影部と、前記状態変化検知情報に応じて前記撮影画像を含む外部状況情報を生成して前記外部状況情報を、通信路を介して送信する外部状況情報送信部と、を含むことを特徴とする。 The invention according to claim 1 of the present application is an information collection device, and is based on a passenger state information collection unit that collects a passenger state of a moving object as passenger state information, and the passenger state information, A state change detection unit that detects a change in the state of a passenger and generates state change detection information, an external shooting unit that captures an image of the outside of the moving body and generates a shot image, and the state change detection information according to the state change detection information An external situation information transmitting unit that generates external situation information including a photographed image and transmits the external situation information via a communication path.
また、本願請求項７に記載の発明は、情報収集システムであって、移動体に設けられ、前記移動体の搭乗者の状態を搭乗者状態情報として収集する搭乗者状態情報収集部と、前記搭乗者状態情報に基づいて、前記搭乗者の状態変化を検知し、状態変化検知情報を生成する状態変化検知部と、前記移動体に設けられ前記移動体の外部を撮影して撮影画像を生成する外部撮影部と、前記状態変化検知情報に応じて前記撮影画像を含む外部状況情報を生成する外部状況情報生成部と、を含むことを特徴とする。 The invention according to claim 7 of the present application is an information collecting system, which is provided in a moving body and collects a passenger's state of the moving body as passenger state information; and Based on the passenger state information, a state change detection unit that detects a change in the state of the passenger and generates state change detection information, and generates a captured image by photographing the outside of the mobile body provided in the mobile body And an external situation information generation unit that generates external situation information including the photographed image according to the state change detection information.
また、本願請求項１０に記載の発明は、情報収集サーバであって、移動体に搭乗している搭乗者の状態変化の検知に応じて生成された前記移動体の外部の撮影画像を含む外部状況情報を、通信路を介して受信する外部状況情報受信部と、前記外部状況情報に含まれる前記撮影画像を解析し、前記外部状況情報の有用度を判定する判定部と、有用であると判定された外部状況情報を、通信路を介して配信する外部状況情報配信部と、を含むことを特徴とする。 The invention according to claim 10 of the present application is an information collection server, and includes an external image including a photographed image outside the moving body generated in response to detection of a change in the state of a passenger on the moving body. An external situation information receiving unit that receives situation information via a communication path, a determination unit that analyzes the captured image included in the external situation information and determines the usefulness of the external situation information, and useful And an external situation information distribution unit that distributes the determined external situation information via a communication path.
以下においては、本発明の好適な実施例について説明する。しかし、これらを適宜改変し、組み合わせてもよい。また、以下の説明及び添付図面において、実質的に同一又は等価な部分には同一の参照符を付して説明する。また、以下の説明において、画像とは動画及び静止画を含むものとして説明する。また、以下において、情報の送信または受信とは情報信号の送信または受信を含む表現である。 In the following, preferred embodiments of the present invention will be described. However, these may be appropriately modified and combined. In the following description and the accompanying drawings, substantially the same or equivalent parts will be described with the same reference numerals. In the following description, an image is described as including a moving image and a still image. In the following, information transmission or reception is an expression including transmission or reception of an information signal.
以下に、本発明の実施例１である情報収集システム１００について、添付の図面を参照して説明する。 Hereinafter, an information collection system 100 that is Embodiment 1 of the present invention will be described with reference to the accompanying drawings.
図１は、実施例１の情報収集システムの１００の全体構成図である。図１に示すように、情報収集システム１００は、移動体としての自動車Ｍに搭載された情報収集装置としての端末装置１０とサーバ５０とが、ネットワークＮＷを介して接続されて構成されている。なお、図１において、移動体の一例として自動車Ｍが示されているが、移動体は、自転車、バイク、飛行機、船舶、移動する人等、自動車以外の移動体であっても良い。 FIG. 1 is an overall configuration diagram of an information collection system 100 according to the first embodiment. As shown in FIG. 1, the information collection system 100 is configured by connecting a terminal device 10 as an information collection device mounted on an automobile M as a moving body and a server 50 via a network NW. In FIG. 1, the automobile M is shown as an example of the mobile body, but the mobile body may be a mobile body other than the automobile, such as a bicycle, a motorcycle, an airplane, a ship, or a moving person.
図２は、自動車Ｍへの端末装置１０の取付例を示す図である。図２では、取り付け例として、自動車Ｍの前席部分に取り付けられた端末装置１０を示す。 FIG. 2 is a diagram illustrating an example of attachment of the terminal device 10 to the automobile M. In FIG. 2, the terminal device 10 attached to the front seat portion of the automobile M is shown as an attachment example.
自動車Ｍの車外（周囲）の状況、すなわち自動車Ｍの外部（外界）を撮影する外部撮影部としての車外撮影カメラ１１は、例えば、ダッシュボードＤＢ上に配されている。車外撮影カメラ１１は、例えば、フロントガラスを介して自動車Ｍの前方の広い領域を撮影可能である広角カメラであり得る。 The outside camera 11 serving as an external photographing unit that photographs the outside (surrounding) situation of the automobile M, that is, the outside (outside) of the automobile M, is disposed on the dashboard DB, for example. The outside-camera shooting camera 11 can be a wide-angle camera capable of shooting a wide area in front of the automobile M through a windshield, for example.
なお、車外撮影カメラ１１は、車外の状況を撮影可能であればどこに設けられてもよい。例えば、車外撮影カメラ１１は、ルームミラーＲＭの裏、すなわちフロントガラスＦＧに対向する面に設けられていてもよい。また、車外撮影カメラ１１は、自動車Ｍの外側、例えばフロントバンパー等に設けられていてもよい。また、車外撮影カメラ１１は、車外の多方向を撮影可能なように複数設けられていてもよい。 The outside-camera camera 11 may be provided anywhere as long as the situation outside the vehicle can be photographed. For example, the outside camera 11 may be provided on the back of the room mirror RM, that is, on the surface facing the windshield FG. Further, the outside camera 11 may be provided outside the automobile M, for example, on a front bumper or the like. Further, a plurality of outside-camera cameras 11 may be provided so as to be able to take pictures in multiple directions outside the car.
搭乗者撮影部としての車内撮影カメラ１３は、搭乗者の状態情報である搭乗者状態情報としての搭乗者の動作等の状況を撮影するカメラである。車内撮影カメラ１３は、例えば、フロントガラスＦＧの上端または当該上端付近の天井部に設けられている。なお、車内撮影カメラ１３は、車内及び搭乗者の状況を撮影可能であれば、どこに設けられていてもよく、例えば、ダッシュボードＤＢ上またはルームミラーＲＭ等に設けられていてもよい。 The in-vehicle photographing camera 13 as a passenger photographing unit is a camera for photographing a situation such as a passenger's operation as passenger state information which is passenger state information. The in-vehicle shooting camera 13 is provided, for example, on the upper end of the windshield FG or on the ceiling near the upper end. The in-vehicle photographing camera 13 may be provided anywhere as long as it can photograph the situation in the vehicle and the passengers. For example, the in-vehicle photographing camera 13 may be provided on the dashboard DB or the room mirror RM.
搭乗者状態情報としての車内の音を受音するマイク１５は、例えば、ダッシュボードＤＢ上に配されている。マイク１５は、車内の音を受音可能であれば、ルームミラーＲＭまたはハンドル等、どこに設けられていてもよい。 The microphone 15 that receives the in-vehicle sound as the passenger state information is disposed on the dashboard DB, for example. The microphone 15 may be provided anywhere such as a room mirror RM or a handle as long as it can receive the sound in the vehicle.
なお、車内撮影カメラ１３及びマイク１５を、搭乗者状態情報を収集する搭乗者状態情報収集部とする。 The in-vehicle camera 13 and the microphone 15 serve as a passenger state information collection unit that collects passenger state information.
ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信するＧＰＳ受信機１７は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＰＳ受信機１７は、ＧＰＳ信号が受信できればどこに配されていてもよい。 A GPS receiver 17 that receives a signal (GPS signal) from a GPS (Global Positioning System) satellite is arranged on a dashboard DB, for example. The GPS receiver 17 may be disposed anywhere as long as it can receive GPS signals.
外部等から受信した情報を表示すなわち告知する告知手段としてのディスプレイ１９は、例えば、ダッシュボードＤＢ上に配されている。ディスプレイ１９は、搭乗者から視認できる場所に配されていればよい。例えば、ディスプレイ１９は、ダッシュボードＤＢ内のセンターコンソールＣＣに取り付けられていてもよい。 A display 19 as a notification means for displaying, that is, notifying, information received from the outside or the like is arranged on the dashboard DB, for example. The display 19 should just be distribute | arranged to the place which can be visually recognized from a passenger. For example, the display 19 may be attached to the center console CC in the dashboard DB.
本体２１は、車外撮影カメラ１１、車内撮影カメラ１３、マイク１５、ＧＰＳ受信機１７及びディスプレイ１９に接続されており、これらを制御する制御部（図３参照）を含む。本体２１は、例えば、ダッシュボードＤＢ内センターコンソールＣＣ部分に搭載されている。 The main body 21 is connected to the outside camera 11, the inside camera 13, the microphone 15, the GPS receiver 17, and the display 19, and includes a control unit (see FIG. 3) that controls these. The main body 21 is mounted on the center console CC portion in the dashboard DB, for example.
図３に、端末装置１０の制御部２３及びサーバ５０内の機能ブロック図を示す。まず、制御部２３について説明する。 In FIG. 3, the functional block diagram in the control part 23 of the terminal device 10 and the server 50 is shown. First, the control unit 23 will be described.
状態変化検知部としての搭乗者監視部２５は、車内撮影カメラ１３及びマイク１５の情報を受信可能である。搭乗者監視部２５は、車内撮影カメラ１３及びマイク１５から送信される画像または音声入力に基づいて、自動車Ｍに搭乗している搭乗者の状態、すなわち客室内を監視し、搭乗者の状態の変化を検知したか、例えば異常・異変が起きたか否かを判定する。搭乗者監視部２５は、搭乗者の状態の変化を検知したと判定すると、画像抽出部２７、自位置特定部２９及び情報送信部３１に状態変化検知情報を送信する。 The passenger monitoring unit 25 as a state change detection unit can receive information from the in-vehicle shooting camera 13 and the microphone 15. The occupant monitoring unit 25 monitors the state of the occupant in the car M, that is, the cabin, based on the image or audio input transmitted from the in-vehicle shooting camera 13 and the microphone 15, and determines the state of the occupant. It is determined whether a change has been detected, for example, whether an abnormality / abnormality has occurred. When the passenger monitoring unit 25 determines that a change in the state of the passenger has been detected, the passenger monitoring unit 25 transmits the state change detection information to the image extraction unit 27, the self-location specifying unit 29, and the information transmission unit 31.
画像抽出部２７は、車外撮影カメラ１１に接続されており、車外撮影カメラ１１が撮影した画像を受信する。画像抽出部２７は、搭乗者監視部２５からの状態変化検知情報に基づいて、車外撮影カメラ１１から受信した画像の一部を抽出して抽出画像を生成する。画像抽出部２７は、抽出画像を生成すると、当該抽出画像を、状態変化を検知した際の画像、すなわち、状態変化を検知した際に移動体の外部で発生している事象を撮影した事象画像として、情報送信部３１に送信する。 The image extraction unit 27 is connected to the outside camera 11 and receives an image taken by the outside camera 11. The image extraction unit 27 extracts a part of the image received from the outside camera 11 based on the state change detection information from the passenger monitoring unit 25 and generates an extraction image. When the image extraction unit 27 generates the extracted image, the image extracted when the state change is detected, that is, the event image obtained by capturing an event occurring outside the moving body when the state change is detected. As shown in FIG.
なお、車外撮影カメラ１１が常時撮影をしておらず、搭乗者監視部２５が状態変化検知情報を車外撮影カメラ１１に送信し、車外撮影カメラ１１が当該情報の受信に応じて撮影を行ってもよい。例えば、状態変化検知情報を受信した際に撮影を行うか、または状態変化検知情報を受信してから一定時間撮影を行うこととしてもよい。この場合、撮影された画像は画像抽出部によってさらにその一部が抽出されても良いし、画像抽出部を介さずに情報送信部３１に事象画像として送信されてもよい。 Note that the outside camera 11 does not always shoot, the passenger monitoring unit 25 transmits state change detection information to the outside camera 11, and the outside camera 11 takes a picture in response to the reception of the information. Also good. For example, shooting may be performed when state change detection information is received, or shooting may be performed for a certain period of time after receiving state change detection information. In this case, a part of the captured image may be further extracted by the image extraction unit, or may be transmitted as an event image to the information transmission unit 31 without going through the image extraction unit.
自位置特定部２９は、ＧＰＳ受信機１７に接続されており、端末装置１０が搭載されている自動車Ｍの現在位置を示す位置特定情報を出力可能である。自位置特定部２９は、搭乗者監視部２５から状態変化検知情報を受信すると、状態変化検知情報を受信した時刻における自動車Ｍの位置をＧＰＳ受信機１７からのＧＰＳ信号によって特定し、当該位置の情報である位置特定情報を情報送信部３１に送信する。また、自位置特定部２９は、必要に応じて情報受信部３３等の他の部分に、位置特定情報を送信可能である
なお、自位置特定部２９は、ジャイロ装置（図示せず）からの自動車Ｍの姿勢情報または自動車Ｍの車速パルスにから得られた車速情報に基づいて自動車Ｍの位置を特定してもよい。また、自位置特定部２９は、地図情報を保持するかまたは外部から取得可能であってもよい。すなわち、ＧＰＳ受信機１７からのＧＰＳ情報、ジャイロ装置からの自動車Ｍの姿勢情報及び自動車Ｍの車速情報のうちの少なくとも１つと当該地図情報を組み合わせて、自動車Ｍの位置を特定可能であってもよい。
The own position specifying unit 29 is connected to the GPS receiver 17 and can output position specifying information indicating the current position of the automobile M on which the terminal device 10 is mounted. When receiving the state change detection information from the passenger monitoring unit 25, the own position specifying unit 29 specifies the position of the automobile M at the time when the state change detection information is received by the GPS signal from the GPS receiver 17, and The position specifying information that is information is transmitted to the information transmitting unit 31. The own position specifying unit 29 can transmit the position specifying information to other parts such as the information receiving unit 33 as necessary. The own position specifying unit 29 receives a gyro device (not shown). The position of the automobile M may be specified based on the attitude information of the automobile M or the vehicle speed information obtained from the vehicle speed pulse of the automobile M. In addition, the local position specifying unit 29 may hold map information or obtain it from the outside. That is, the position of the vehicle M can be specified by combining the map information with at least one of the GPS information from the GPS receiver 17, the attitude information of the vehicle M from the gyro device, and the vehicle speed information of the vehicle M. Good.
外部状況情報生成部または外部状況情報送信部としての情報送信部３１は、ネットワークＮＷ（図１参照）を介してサーバ５０へ情報信号を送信可能な送信機（図示せず）に接続されている。 The information transmission unit 31 as an external situation information generation unit or an external situation information transmission unit is connected to a transmitter (not shown) capable of transmitting an information signal to the server 50 via a network NW (see FIG. 1). .
情報送信部３１は、搭乗者監視部２５から状態変化検知情報を受信すると、外部状況情報としての情報コンテンツを生成する。情報送信部３１は、画像抽出部２７もしくは車外撮影カメラ１１から事象画像を受信し、かつ自位置特定部２９からの位置特定情報を受信する。そして、これらの受信情報に基づいて、状態変化検知情報の受信時刻（例えば、事象画像の撮影時刻）の情報、事象画像及び位置特定情報を含む、外部状況情報としての情報コンテンツを生成する。すなわち、情報送信部３１は、状態変化検知情報に応じて情報コンテンツを生成する。 The information transmission part 31 will produce | generate the information content as external condition information, if state change detection information is received from the passenger monitoring part 25. FIG. The information transmission unit 31 receives an event image from the image extraction unit 27 or the outside camera 11 and receives position specifying information from the own position specifying unit 29. Then, based on these pieces of received information, information content as external situation information including information on the reception time of the state change detection information (for example, the shooting time of the event image), the event image, and the position specifying information is generated. That is, the information transmission part 31 produces | generates information content according to state change detection information.
情報送信部３１は、情報コンテンツを生成すると、当該情報コンテンツをサーバ５０に送信する。なお、搭乗者監視部２５から直接的に状態変化検知情報を受信せずとも、事象画像の受信または位置特定情報の受信をもって、搭乗者監視部２５から情報送信部３１に状態変化検知情報がもたらされたとすることとしてもよい。 When the information transmission unit 31 generates the information content, the information transmission unit 31 transmits the information content to the server 50. Even if the state change detection information is not received directly from the occupant monitoring unit 25, the state change detection information is sent from the occupant monitoring unit 25 to the information transmission unit 31 upon receipt of the event image or the position specifying information. It may be assumed that it was done.
情報受信部３３は、ネットワークＮＷを介してサーバ５０等の外部から情報を受信可能な受信機（図示せず）に接続されている。情報受信部３３は、サーバ５０から情報を受信すると、当該情報に基づいてディスプレイ１９に表示を行い、当該情報に基づく情報を搭乗者に告知することが可能である。 The information receiving unit 33 is connected to a receiver (not shown) that can receive information from the outside such as the server 50 via the network NW. When receiving the information from the server 50, the information receiving unit 33 displays the information on the display 19 based on the information, and can notify the passenger of the information based on the information.
次に、サーバ５０について説明する。外部状況情報受信部としての情報受信部５１は、ネットワークＮＷを介して情報送信部３１から情報コンテンツを受信可能である。情報受信部５１は、情報コンテンツを受信するとそれをコンテンツ選別部５３に送信する。なお、図示していないが、情報受信部５１は、他の自動車Ｍに各々搭載されている複数の端末装置１０から、情報コンテンツを受信する。 Next, the server 50 will be described. An information receiving unit 51 as an external situation information receiving unit can receive information content from the information transmitting unit 31 via the network NW. When receiving the information content, the information receiving unit 51 transmits it to the content selection unit 53. Although not shown, the information receiving unit 51 receives information content from a plurality of terminal devices 10 respectively mounted on other automobiles M.
選別部または判定部としてのコンテンツ選別部５３は、情報コンテンツを受信し、その中から自動車Ｍに送信すべき情報コンテンツを選別する機能部である。コンテンツ選別部５３は、情報コンテンツの中から自動車Ｍの移動経路の選択に資する等の観点から当該情報コンテンツを有用または有意なコンテンツか否か判定するコンテンツ有用度判定部５５を含む。 The content selection unit 53 as a selection unit or a determination unit is a functional unit that receives information content and selects information content to be transmitted to the automobile M from the information content. The content selection unit 53 includes a content usefulness determination unit 55 that determines whether the information content is useful or significant content from the viewpoint of contributing to the selection of the travel route of the automobile M from the information content.
コンテンツ有用度判定部５５は、例えば、複数の情報コンテンツが受信されて蓄積された際に、当該蓄積された情報コンテンツうち、互いに同一または近傍の位置を示す位置特定情報を有する情報コンテンツ（以後、近傍コンテンツとも称する）が多数（または所定数以上）あるか否かを判定する。コンテンツ有用度判定部５５は、近傍コンテンツが所定数以上ある場合、当該近傍コンテンツ群が有用もしくは有意であると判定して、これらを選別して代表コンテンツ選択部５７に送信する。 For example, when a plurality of information contents are received and stored, the content usefulness determination unit 55 includes information contents (hereinafter referred to as information contents) having position specifying information indicating the same or nearby positions among the stored information contents. It is determined whether there are a large number (or a predetermined number or more). The content usefulness determination unit 55 determines that the neighboring content group is useful or significant when there are a predetermined number or more of the neighboring content, selects them, and transmits them to the representative content selection unit 57.
なお、近傍コンテンツは、情報コンテンツうち、互いに同一または近傍の位置を示す位置特定情報を有し、かつ同時間帯（例えば、撮影時刻が前後３０分以内）に撮影された事象画像を有する情報コンテンツとしてもよい。 Note that the near content is information content having position specifying information indicating positions that are the same or in the vicinity of the information content, and having event images photographed in the same time zone (for example, within 30 minutes before and after the photographing time). It is good.
コンテンツ選別部５３は、近傍コンテンツ群の中から最も有用もしくは有意な、または良質な事象画像を保持する情報コンテンツを、代表コンテンツとして選別する代表コンテンツ選択部５７を含む。代表コンテンツ選択部５７は、例えば、近傍コンテンツ群が保持する事象画像を解析し、最も鮮明な事象画像を保持する情報コンテンツを代表コンテンツとして選別してもよい。また、近傍コンテンツ群のうち最近時に撮影された事象画像を保持する情報コンテンツを代表コンテンツとして選択してもよい。 The content selection unit 53 includes a representative content selection unit 57 that selects, as representative content, information content that holds the most useful, significant, or high-quality event image from the neighboring content group. For example, the representative content selection unit 57 may analyze an event image held by the nearby content group and select information content holding the clearest event image as the representative content. Further, information content that holds an event image that was taken recently may be selected as the representative content from among the nearby content group.
代表コンテンツ選択部５７は、代表コンテンツを選択すると、それを情報送信部５９に送信する。 When the representative content selection unit 57 selects the representative content, the representative content selection unit 57 transmits it to the information transmission unit 59.
外部状況情報配信部としての情報送信部５９は、ネットワークＮＷを介して端末装置１０に情報信号を送信可能である。情報送信部５９は、代表コンテンツ選択部５７から代表コンテンツを受信すると、それを端末装置１０に送信する。 An information transmission unit 59 as an external situation information distribution unit can transmit an information signal to the terminal device 10 via the network NW. Upon receiving the representative content from the representative content selection unit 57, the information transmission unit 59 transmits it to the terminal device 10.
上述のように、端末装置１０の情報受信部３３は、サーバ５０から情報を受信すると、当該情報に基づいてディスプレイ１９に表示を行わせ、告知をすることが可能である。この表示は、例えば、地図上に自動車Ｍの位置と情報コンテンツに含まれる位置特定情報、すなわち事象が発生した位置を表示し、かつ情報コンテンツに含まれる事象画像を表示することで行われる。 As described above, when receiving the information from the server 50, the information receiving unit 33 of the terminal device 10 can display the information on the display 19 based on the information and make a notification. This display is performed, for example, by displaying the position of the automobile M and the position specifying information included in the information content, that is, the position where the event has occurred, and the event image included in the information content on the map.
ここで、情報受信部３３は、代表コンテンツを受信した後に、代表コンテンツの有する位置特定情報及び事象画像の撮影時刻に基づいて、ディスプレイ１９に当該代表コンテンツに基づく情報を表示するかの判定をすることとしてもよい。 Here, after receiving the representative content, the information receiving unit 33 determines whether to display information based on the representative content on the display 19 based on the position specifying information of the representative content and the shooting time of the event image. It is good as well.
この判定は、例えば、端末装置１０を搭載している自動車Ｍの現在位置と当該代表コンテンツの有する位置特定情報によって示される位置とが所定の距離内にあるか否かで行われてもよい。 This determination may be made, for example, based on whether or not the current position of the automobile M on which the terminal device 10 is mounted and the position indicated by the position specifying information of the representative content are within a predetermined distance.
また、自動車Ｍにナビゲーションシステムが搭載されている場合には、ナビゲーションシステムに設定されている経路が、当該代表コンテンツの位置特定情報によって示される位置を通過するかまたはその近傍を通過するかによって判定されてもよい。
［各部の動作ルーチン］
以下に、上述した各部の動作ルーチンについて説明する。なお、以下に説明する動作ルーチンのうち、端末装置１０の制御部２３内の各部の動作ルーチンは、例えば、自動車Ｍのエンジン、モータ等の原動機の始動時に開始され、原動機の停止まで繰り返し実行される。また、端末装置１０の個別のスイッチが設けられており、当該スイッチのオン時に動作ルーチンが開始され、当該スイッチがオフ時まで繰り返し実行されることとしてもよい。
Further, when the navigation system is mounted on the automobile M, the determination is made based on whether the route set in the navigation system passes through the position indicated by the position specifying information of the representative content or the vicinity thereof. May be.
[Operation routine of each part]
The operation routine of each unit described above will be described below. Of the operation routines described below, the operation routines of the respective units in the control unit 23 of the terminal device 10 are started at the start of a prime mover such as an engine and a motor of the automobile M, and are repeatedly executed until the prime mover is stopped. The Moreover, the individual switch of the terminal device 10 is provided, an operation routine may be started when the switch is turned on, and the switch may be repeatedly executed until the switch is turned off.
図４に、搭乗者監視部２５の動作ルーチンの一例を示す。まず、搭乗者監視部２５は、搭乗者に状態変化、例えば異変が発生しているか否かを判定する（ステップＳ１）。この判定においては、例えば、操縦者または搭乗者の注視状態の変化に応じて、具体的には当該注視状態の変化が発生しているか否かに基づいて、状態変化が発生しているか否かを判定してもよい。注視状態の変化とは、例えば、注視をしていない状態から注視している状態への変化、すなわち注視度の変化、または注視している方向の変化等を含む。 FIG. 4 shows an example of an operation routine of the passenger monitoring unit 25. First, the passenger monitoring unit 25 determines whether or not a state change, for example, an abnormal state has occurred in the passenger (step S1). In this determination, for example, whether or not a state change has occurred according to a change in the gaze state of the pilot or the passenger, specifically based on whether or not the change in the gaze state has occurred. May be determined. The change in the gaze state includes, for example, a change from a state where the user is not gazing to a state where the user is gazing, that is, a change in the gaze degree, a change in the direction of the gaze, or the like.
例えば、操縦者が一方向を一定時間以上注視したことを車内撮影カメラ１３から送信される画像を用いた視線解析等で検知した際に、状態変化が発生した（検知された）と判定することとしてもよい。 For example, it is determined that a change in state has been detected (detected) when a gaze analysis using an image transmitted from the in-vehicle camera 13 detects that the driver has watched one direction for a certain time or more. It is good.
また、操縦者を含む搭乗者の多数が一方向を一定時間以上注視したことを検知した際に、状態変化が発生したと判定することとしてもよい。なお、視線解析をせずとも、操縦者を含む搭乗者の顔の方向が一方向を一定時間以上向いた際に、操縦者または搭乗者が当該一方向を注視したと判定することとしてもよい。 In addition, it may be determined that a state change has occurred when it is detected that a large number of passengers including the pilot have watched one direction for a certain period of time. In addition, it may be determined that the driver or the passenger gazes at the one direction when the direction of the face of the passenger including the driver faces one direction for a certain time or longer without performing the line-of-sight analysis. .
また、操縦者の注視方向（位置）または視線方向の移動が閾値を超えた移動量であることを検知した際に、または注視方向（位置）又は視線方向が閾値を超えた速度で移動した際に状態変化が発生したと判定してもよい。 Also, when it is detected that the movement of the driver's gaze direction (position) or gaze direction exceeds the threshold, or when the gaze direction (position) or gaze direction moves at a speed that exceeds the threshold It may be determined that a state change has occurred.
また、マイク１５から送信される音声を音声認識し、「事故」、「工事」、「大変」、「なんだろう？」等の特定のキーワードが認識された際に、異変が起きたと判定することとしてもよい。なお、状態変化検知情報には、状態変化発生時の操縦者または搭乗者が注視した方向の情報である注視方向情報が含まれていてもよい。また、状態変化検知情報には音声認識の結果が含まれていてもよい。 In addition, the voice transmitted from the microphone 15 is recognized as a voice, and it is determined that an abnormality has occurred when a specific keyword such as “accident”, “construction”, “hard”, “what?” Is recognized. It is good as well. Note that the state change detection information may include gaze direction information that is information on the direction in which the driver or the passenger gazes at the time of the state change. Further, the state change detection information may include the result of voice recognition.
ステップＳ１において、状態変化が発生していると判定すると（ステップＳ１：ＹＥＳ）、搭乗者監視部２５は状態変化検知情報を画像抽出部２７、自位置特定部２９及び情報送信部３１に送信し（ステップＳ２）、動作ルーチンが終了する。ステップＳ１において、状態変化が発生していないと判定すると（ステップＳ１：ＮＯ）、その後動作ルーチンが終了する。 If it is determined in step S1 that a state change has occurred (step S1: YES), the passenger monitoring unit 25 transmits the state change detection information to the image extraction unit 27, the self-position specifying unit 29, and the information transmission unit 31. (Step S2), the operation routine ends. If it is determined in step S1 that no state change has occurred (step S1: NO), then the operation routine ends.
図５に画像抽出部２７の動作ルーチンの一例を示す。まず、画像抽出部２７は、搭乗者監視部２５から状態変化検知情報が到来したかを判定する（ステップＳ１）。ステップＳ１において、状態変化検知情報が到来していないと判定すると（ステップＳ１：ＮＯ）、その後動作ルーチンは終了する。 FIG. 5 shows an example of an operation routine of the image extraction unit 27. First, the image extraction unit 27 determines whether or not state change detection information has arrived from the passenger monitoring unit 25 (step S1). If it is determined in step S1 that state change detection information has not arrived (step S1: NO), then the operation routine ends.
ステップＳ１において、状態変化検知情報が到来したと判定すると、画像抽出部２７は、車外撮影カメラ１１の画像を抽出して抽出画像を生成する（ステップＳ２）。この抽出画像の生成は、車外撮影カメラ１１の画像から、状態変化検知情報を受信した時刻の静止画を抽出することで行われてもよい。 If it is determined in step S1 that the state change detection information has arrived, the image extraction unit 27 extracts the image of the outside camera 11 and generates an extracted image (step S2). The generation of the extracted image may be performed by extracting a still image at the time when the state change detection information is received from the image of the outside camera 11.
また、車外撮影カメラ１１の画像から、状態変化検知情報を受信した時刻の前後の１または複数の静止画または当該時刻の前後所定の時間範囲の動画を抽出することで行われてもよい。また、上述のように状態変化検知情報に搭乗者の注視方向情報が含まれている場合には、当該注視方向情報に基づいて状態変化検知情報を受信した時刻に基づいて抽出された静止画または動画から、その一部領域をさらに切り出す（トリミングする）こととしてもよい。この際、画像抽出部は、画像切出部として機能する。 Further, it may be performed by extracting one or a plurality of still images before and after the time when the state change detection information is received or a moving image in a predetermined time range before and after the time from the image taken by the camera 11 outside the vehicle. In addition, when the state change detection information includes the gaze direction information of the passenger as described above, the still image extracted based on the time when the state change detection information is received based on the gaze direction information or The partial area may be further cut out (trimmed) from the moving image. At this time, the image extraction unit functions as an image cutout unit.
この場合、状態変化検知情報を受信した時刻に基づいて抽出された画像または動画から、注視方向情報に基づいて、搭乗者の注視方向と一致する領域部分を切り出して抽出することとしてもよい。 In this case, a region portion that matches the gaze direction of the occupant may be cut out and extracted from the image or video extracted based on the time when the state change detection information is received, based on the gaze direction information.
ステップＳ２の終了後、画像抽出部２７は、抽出画像を、状態変化を検知した際の画像、すなわち、状態変化を検知した際に移動体の外部で発生している事象を撮影した事象画像として、情報送信部３１に送信し（ステップＳ３）、その後動作ルーチンが終了する。 After the end of step S2, the image extraction unit 27 uses the extracted image as an image when a change in state is detected, that is, as an event image obtained by photographing an event occurring outside the moving body when the change in state is detected. Then, the information is transmitted to the information transmitting unit 31 (step S3), and then the operation routine ends.
なお、上述のように、車外撮影カメラが常時撮影をしておらず搭乗者監視部２５が状態変化検知情報を車外撮影カメラ１１に送信し、車外撮影カメラ１１が当該情報の受信に応じて撮影を行ってもよい。例えば、状態変化検知情報を受信した際に撮影を行うか、または状態変化検知情報を受信してから一定時間撮影を行うこととしてもよい。 Note that, as described above, the outside camera is not always shooting, and the passenger monitoring unit 25 transmits the state change detection information to the outside camera 11, and the outside camera 11 captures the information in response to the reception of the information. May be performed. For example, shooting may be performed when state change detection information is received, or shooting may be performed for a certain period of time after receiving state change detection information.
この場合、撮影された画像は、画像抽出部２７によってさらにその一部が時間的に抽出されて情報送信部３１に事象画像として送信されてもよい。また、当該撮影された画像は画像切出部として機能する画像抽出部２７によって当該画像の一部領域が切り出されて情報送信部３１に事象画像として送信されてもよい。なお、当該撮影された画像は、画像抽出部２７を介さずに情報送信部３１に事象画像として直接送信されてもよい。 In this case, a part of the captured image may be further temporally extracted by the image extraction unit 27 and transmitted to the information transmission unit 31 as an event image. In addition, the captured image may be transmitted as an event image to the information transmitting unit 31 by cutting out a partial region of the image by the image extracting unit 27 functioning as an image cutting unit. The captured image may be directly transmitted as an event image to the information transmission unit 31 without going through the image extraction unit 27.
図６に、自位置特定部２９の動作ルーチンの一例を示す。まず自位置特定部２９は、搭乗者監視部２５から状態変化検知情報が到来したかを判定する（ステップＳ１）。ステップＳ１において、状態変化検知情報が到来していないと判定すると（ステップＳ１：ＮＯ）、その後動作ルーチンは終了する。
ステップＳ１において、状態変化検知情報が到来したと判定すると、自位置特定部２９は、端末装置１０が搭載されている自動車Ｍの位置を特定する位置特定情報を生成する（ステップＳ２）。この位置特定情報は、ＧＰＳ受信機１７からのＧＰＳ信号によって特定された位置の情報であってもよい。なお、自位置特定部２９は、ジャイロ装置（図示せず）からの自動車Ｍの姿勢情報または自動車Ｍの車速パルスに基づく車速情報自動車Ｍの位置を特定する位置特定情報を生成してもよい。
FIG. 6 shows an example of an operation routine of the own position specifying unit 29. First, the own position specifying unit 29 determines whether or not the state change detection information has arrived from the passenger monitoring unit 25 (step S1). If it is determined in step S1 that state change detection information has not arrived (step S1: NO), then the operation routine ends.
When it is determined in step S1 that the state change detection information has arrived, the own position specifying unit 29 generates position specifying information for specifying the position of the automobile M on which the terminal device 10 is mounted (step S2). This position specifying information may be information on a position specified by a GPS signal from the GPS receiver 17. The own position specifying unit 29 may generate position specifying information for specifying the position of the vehicle M based on the attitude information of the automobile M from the gyro device (not shown) or the vehicle speed pulse of the automobile M.
また、自位置特定部２９は、地図情報を保持するかまたは外部から取得可能であってもよい。すなわち、自位置特定部２９は、ＧＰＳ受信機１７からのＧＰＳ信号、ジャイロ装置からの自動車Ｍの姿勢情報及び自動車Ｍの車速情報のうちの少なくとも１つと当該地図情報を組み合わせて、自動車Ｍの位置を特定する位置特定情報を生成してもよい。 In addition, the local position specifying unit 29 may hold map information or obtain it from the outside. That is, the local position specifying unit 29 combines the map information with at least one of the GPS signal from the GPS receiver 17, the attitude information of the automobile M from the gyro device, and the vehicle speed information of the automobile M, and the position of the automobile M The position specifying information for specifying may be generated.
ステップＳ２の終了後、自位置特定部２９は、生成した位置特定情報を情報送信部３１に送信し（ステップＳ３）、その後動作ルーチンは終了する。 After the end of step S2, the own position specifying unit 29 transmits the generated position specifying information to the information transmitting unit 31 (step S3), and then the operation routine ends.
情報送信部３１に送信された事象画像及び位置特定情報は、これらを含む情報コンテンツとして情報送信部３１によってサーバ５０の情報受信部５１に送信される。すなわち、情報送信部３１において、事象画像及び位置特定情報を含む情報コンテンツが生成され、サーバ５０の情報受信部５１に送信される。情報受信部５１は、情報コンテンツを受信すると、これをコンテンツ選別部５３に送信する。 The event image and the position specifying information transmitted to the information transmission unit 31 are transmitted to the information reception unit 51 of the server 50 by the information transmission unit 31 as information content including them. That is, in the information transmission unit 31, information content including the event image and the position specifying information is generated and transmitted to the information reception unit 51 of the server 50. When the information receiving unit 51 receives the information content, the information receiving unit 51 transmits the information content to the content selection unit 53.
図７に、コンテンツ有用度判定部５５及び代表コンテンツ選択部５７からなるコンテンツ選別部５３の動作ルーチンの一例を示す。この例では、コンテンツ選別部５３は、情報コンテンツが有意または有用であることを判定するために、一定範囲内の位置で撮影された事象画像を含む情報コンテンツが一定数以上到来したか否かを判定する。なお、上述のように、情報受信部５１は、複数の自動車Ｍに各々搭載されている複数の端末装置１０から、情報コンテンツを受信している。 FIG. 7 shows an example of an operation routine of the content selection unit 53 including the content usefulness determination unit 55 and the representative content selection unit 57. In this example, in order to determine whether the information content is significant or useful, the content selection unit 53 determines whether or not a certain number of pieces of information content including event images photographed at positions within a certain range have arrived. judge. As described above, the information receiving unit 51 receives information content from a plurality of terminal devices 10 respectively mounted on a plurality of automobiles M.
まず、コンテンツ選別部５３は、情報受信部５１から互いに同一または近傍の位置を示す位置特定情報を有する情報コンテンツ（以下、近傍コンテンツとも称する）が所定数以上到来したか否かを判定する（ステップＳ１）。ステップＳ１において、近傍コンテンツが所定数以上到来していないと判定すると（ステップＳ１：ＮＯ）、動作ルーチンはその後終了する。 First, the content selection unit 53 determines whether or not a predetermined number or more of information contents having position specifying information indicating the same or nearby positions from the information receiving unit 51 (hereinafter also referred to as neighboring contents) have arrived (step). S1). When it is determined in step S1 that the predetermined number of nearby contents have not arrived (step S1: NO), the operation routine is thereafter terminated.
ステップＳ１において、近傍コンテンツが所定数以上到来していると判定すると（ステップＳ１：ＹＥＳ）、コンテンツ選別部５３は、当該近傍コンテンツの中から１つの情報コンテンツを代表コンテンツとして選別する（ステップＳ２）。 If it is determined in step S1 that there are a predetermined number of nearby contents (step S1: YES), the content selection unit 53 selects one information content as the representative content from the nearby contents (step S2). .
この代表コンテンツの選択は、例えば、近傍コンテンツの各々が保持する事象画像を解析し、最も鮮明な事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとして選別してもよい。また、近傍コンテンツ各々が保持する事象画像のうち最近時に撮影された事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとして選別してもよい。 For example, the representative content may be selected by analyzing an event image held by each of the neighboring contents, selecting the clearest event image as a representative image, and selecting information content holding the representative image as the representative content. Further, among the event images held by each of the nearby contents, the event image taken recently may be selected as the representative image, and the information content holding the representative image may be selected as the representative content.
なお、情報コンテンツに事象画像の撮影時の自動車Ｍの車速パルスまたはそれに基づく車速の情報が含まれていてもよく、その場合には最も鮮明な事象画像の選別に当該車速パルスまたは車速の情報が用いられてもよい。例えば、事象画像の撮影時の車速パルスを解析し、最も低速で撮影された事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとしてもよい。 The information content may include the vehicle speed pulse of the automobile M at the time of shooting the event image or the vehicle speed information based on the pulse, and in that case, the vehicle speed pulse or the vehicle speed information is used to select the clearest event image. May be used. For example, a vehicle speed pulse at the time of event image capturing may be analyzed, the event image captured at the slowest speed may be used as a representative image, and information content holding the representative image may be used as the representative content.
また、情報コンテンツに、搭乗者監視部２５からの状態変化検知情報の送信時（すなわち、事象画像の撮影時）の自動車Ｍの搭乗者が注視している方向（位置）または視線方向の情報が含まれていてもよい。この場合、例えば、自動車Ｍが事象画像の撮影時に走行していた道路上の、どの車線を走行（どの車線に停止）していたかを事象画像から判定し、代表画像を判定することとしてもよい。 In addition, information content includes information on a direction (position) or a line-of-sight direction in which the passenger of the automobile M is gazing at the time of transmission of the state change detection information from the passenger monitoring unit 25 (that is, when an event image is captured). It may be included. In this case, for example, it may be determined from the event image which lane the vehicle M was traveling on when the event image was captured (which lane was stopped) from the event image, and the representative image may be determined. .
例えば、状態変化検知情報の送信時に搭乗者が自動車Ｍの左方向を注視していた場合には、最も左の車線で撮影された事象画像を代表画像としてもよい。また、搭乗者が自動車Ｍの右方向を注視していた場合には、最も右の車線で撮影された事象画像を代表画像としてもよい。 For example, when the passenger is gazing at the left direction of the automobile M at the time of transmitting the state change detection information, the event image captured in the leftmost lane may be used as the representative image. Further, when the passenger is gazing at the right direction of the automobile M, the event image captured in the rightmost lane may be used as the representative image.
ステップＳ２が終了すると、コンテンツ選別部５３は、代表画像を含む情報コンテンツである代表コンテンツを情報送信部５９に送信して（ステップＳ３）、その後動作ルーチンは終了する。情報送信部５９は、コンテンツ選別部５３から情報コンテンツを受信すると、それを端末装置１０の情報受信部３３に送信する。 When step S2 ends, the content selection unit 53 transmits representative content, which is information content including a representative image, to the information transmission unit 59 (step S3), and then the operation routine ends. Upon receiving the information content from the content selection unit 53, the information transmission unit 59 transmits it to the information reception unit 33 of the terminal device 10.
図８に、情報受信部３３の動作ルーチンの一例を示す。まず、情報受信部３３は、サーバから情報コンテンツが到来したかを判定する（ステップＳ１）。情報コンテンツが到来していないと判定した場合（ステップＳ１：ＮＯ）、その後動作ルーチンは終了する。 FIG. 8 shows an example of an operation routine of the information receiving unit 33. First, the information receiving unit 33 determines whether information content has arrived from the server (step S1). If it is determined that the information content has not arrived (step S1: NO), then the operation routine ends.
ステップＳ１において、サーバから情報コンテンツが到来したと判定すると（ステップＳ１：ＹＥＳ）、情報受信部３３は、到来した情報コンテンツが、端末装置１０が搭載されている自動車Ｍの搭乗者にとって有用か否かを判定する（ステップＳ２）。 If it is determined in step S1 that the information content has arrived from the server (step S1: YES), the information receiving unit 33 determines whether the received information content is useful for the passenger of the automobile M on which the terminal device 10 is mounted. Is determined (step S2).
この判定において、例えば、到来した情報コンテンツが有する位置特定情報によって示される位置が、自動車Ｍの現在位置の近傍である（所定の距離内にある）場合に、当該情報コンテンツが有用であると判定してもよい。 In this determination, for example, when the position indicated by the position specifying information included in the arrived information content is near the current position of the automobile M (within a predetermined distance), it is determined that the information content is useful. May be.
また、例えば、自動車Ｍに搭載されているナビゲーションシステムにおいて経路が設定されている場合、当該経路に基づいて到来した情報コンテンツが有用か否かを判定してもよい。すなわち、例えば、到来した情報コンテンツが保持する位置特定情報によって示される位置が、当該設定されている経路上にあるかまたは当該経路の近傍にあることをして、当該情報コンテンツが有用であると判定することにしてもよい。 For example, when a route is set in the navigation system mounted on the automobile M, it may be determined whether or not the information content that has arrived based on the route is useful. That is, for example, if the position indicated by the position specifying information held by the arrived information content is on the set route or in the vicinity of the route, the information content is useful. It may be determined.
ステップＳ２において、到来した情報コンテンツが有用であると判定すると（ステップＳ２：ＹＥＳ）、情報受信部は、ディスプレイ１９に情報コンテンツに基づく情報を表示する（ステップＳ３）。この表示は、例えば、単に情報コンテンツが保持する事象画像及び位置特定情報を表示するものであってもよい。また、これに加えて、位置特定情報に基づいて地図上に事象画像が撮影された位置を表示することとしても良い。 If it is determined in step S2 that the arrived information content is useful (step S2: YES), the information receiving unit displays information based on the information content on the display 19 (step S3). For example, this display may simply display an event image and position specifying information held by the information content. In addition to this, the position where the event image was taken may be displayed on the map based on the position specifying information.
ステップＳ２において、到来した情報コンテンツが有用ではないと判定すると（ステップＳ２：ＮＯ）、その後動作ルーチンは終了する。また、ステップＳ３が終了すると、その後動作ルーチンは終了する。 If it is determined in step S2 that the information content that has arrived is not useful (step S2: NO), then the operation routine ends. When step S3 ends, the operation routine ends thereafter.
上述の情報システム１００、端末装置１０及びサーバ５０によれば、移動体の移動経路上の不特定の位置、例えば、狭い道や交通量の少ない道等、情報収集装置の未設置の経路を含む場所において発生した事象に関する画像を含む情報を収集することが可能である。さらには、当該収集した情報を、他の移動体に配信することが可能である。 According to the information system 100, the terminal device 10, and the server 50 described above, an unspecified position on the moving route of the moving object, for example, a route where an information collecting device is not installed, such as a narrow road or a road with a small amount of traffic, is included. It is possible to collect information including images about events that occurred at the location. Furthermore, the collected information can be distributed to other mobile objects.
また、情報システム１００、端末装置１０及びサーバ５０によれば、移動体の搭乗者に異変等の状態変化に基づいて当該状態変化時に撮影された画像を含む情報を生成し、かつ当該画像を含む情報を解析して有用または有意な情報を選別して配信することで、必要な情報のみを効率よく配信することが可能である。 Further, according to the information system 100, the terminal device 10, and the server 50, information including an image captured at the time of the state change is generated based on the state change such as an abnormality for the moving body passenger, and the image includes the image. By analyzing information and selecting and distributing useful or significant information, it is possible to efficiently distribute only necessary information.
以下に、本発明の実施例２のシステム２００について、図面を参照しつつ説明する。なお、実施例２のシステム２００は、コンテンツ選別部５３の動作ルーチンが異なる以外は、実施例１のシステム１００と同一の構成を有している。そのため、コンテンツ選別部５３の動作ルーチン以外の説明は省略する。 Hereinafter, a system 200 according to a second embodiment of the present invention will be described with reference to the drawings. The system 200 of the second embodiment has the same configuration as the system 100 of the first embodiment except that the operation routine of the content selection unit 53 is different. Therefore, descriptions other than the operation routine of the content selection unit 53 are omitted.
実施例２では、システム２００のコンテンツ選別部５３が、端末装置１０から送信された情報コンテンツ内の事象画像を画像分析して、当該事象画像が何の事象を撮影したものかを解析し、個々の情報コンテンツの有意性または有用性を判定する場合を例に説明する。すなわち、コンテンツ選別部５３が、事象画像の撮影時にどのような事象が発生しているかを解析して、有意性または有用性を判定する場合を例に説明する。 In the second embodiment, the content selection unit 53 of the system 200 performs an image analysis on the event image in the information content transmitted from the terminal device 10, analyzes what event the event image captured, and individually The case where the significance or usefulness of the information content is determined will be described as an example. That is, a case will be described as an example where the content selection unit 53 analyzes what kind of event is occurring at the time of capturing an event image and determines significance or usefulness.
図９に、実施例２のシステム２００のコンテンツ選別部５３の動作ルーチンの一例を示す。まず、コンテンツ選別部５３は、端末装置１０から情報コンテンツが到来したかを判定する（ステップＳ１）。ステップＳ１において、情報コンテンツが到来していないと判定すると（ステップＳ１：ＮＯ）、動作ルーチンはその後終了する。なお、上述のように、情報コンテンツは、複数の自動車Ｍに各々搭載されている複数の端末装置１０から到来する。 FIG. 9 shows an example of an operation routine of the content selection unit 53 of the system 200 according to the second embodiment. First, the content selection unit 53 determines whether information content has arrived from the terminal device 10 (step S1). If it is determined in step S1 that no information content has arrived (step S1: NO), the operation routine is thereafter terminated. As described above, the information content comes from a plurality of terminal devices 10 respectively mounted on a plurality of automobiles M.
ステップＳ１において、情報コンテンツが到来していると判定すると（ステップＳ１：ＹＥＳ）、コンテンツ選別部５３は、当該到来した情報コンテンツが有用または有意であるか否かを判定する（ステップＳ２）。 If it is determined in step S1 that the information content has arrived (step S1: YES), the content selection unit 53 determines whether the arrived information content is useful or significant (step S2).
この判定は、例えば、情報コンテンツの各々に含まれる事象画像が何を撮影したものか、すなわちどのような事象が発生しているのかを解析することで行われる。例えば、事象画像が、「事故」、「工事現場」、「渋滞」、「人だかり」、「催事（イベント）」等、有用な画像であるとの画像であると解析された場合に、当該事象画像が含まれる情報コンテンツが有用または有意であると判定されてもよい。 This determination is performed, for example, by analyzing what an event image included in each information content is captured, that is, what kind of event is occurring. For example, when an event image is analyzed as a useful image such as “accident”, “construction site”, “traffic jam”, “people crowd”, “event”, the event Information content including images may be determined to be useful or significant.
具体的には、例えば、事象画像を画像解析し、多数の自動車が一定時間移動していないと解析された場合には渋滞と判定する。また、「工事」の文字が認識されたり、工事現場に見られる黄色と黒の斜線模様が認識された場合には「工事現場」と判定する。また、例えば、人が多数認識された場合には「人だかり」または「催事（イベント）」と判定される
ステップＳ２において、情報コンテンツが有用または有意ではないと判定された場合には（ステップＳ２：ＮＯ）、ルーチンはその後終了する。
Specifically, for example, the event image is image-analyzed, and when it is analyzed that a large number of automobiles have not moved for a certain time, it is determined that there is a traffic jam. Further, when the character “construction” is recognized or the yellow and black diagonal pattern seen at the construction site is recognized, it is determined as “construction site”. Further, for example, when a large number of people are recognized, it is determined as “people crowd” or “event (event)”. In step S2, when it is determined that the information content is not useful or significant (step S2: NO), the routine is then terminated.
ステップＳ２において、到来した情報コンテンツが有用または有意であると判定された場合には（ステップＳ２：ＹＥＳ）処理はステップＳ３に進む。ステップＳ３において、コンテンツ選別部５３は、当該有用または有意と判定された情報コンテンツが保持する事象画像と同時間帯（例えば、撮影時刻が前後３０分以内）及び同位置（または近傍位置）で撮影された事象画像を含む他の情報コンテンツが到来しているか否かを判定する（ステップＳ３）。 If it is determined in step S2 that the incoming information content is useful or significant (step S2: YES), the process proceeds to step S3. In step S3, the content selection unit 53 captures the same time zone (for example, within 30 minutes before and after the shooting time) and the same position (or nearby position) as the event image held by the information content determined to be useful or significant. It is determined whether other information content including the event image thus received has arrived (step S3).
ステップＳ３において、同時間帯及び同位置で撮影された事象画像を含む他の情報コンテンツが到来していると判定した場合には（ステップＳ３：ＹＥＳ）、コンテンツ選別部５３は、当該情報コンテンツの中から１つの情報コンテンツを代表コンテンツとして選択する（ステップＳ４）。 In step S3, when it is determined that other information content including an event image photographed at the same time zone and the same position has arrived (step S3: YES), the content selection unit 53 determines the information content. One information content is selected as the representative content (step S4).
実施例１において説明したように、この代表コンテンツの選択は、例えば、情報コンテンツの各々が保持する事象画像を解析し、最も鮮明な事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとして選別してもよい。また、情報コンテンツの保持する事象画像のうち最近時に撮影された事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとして選別してもよい。 As described in the first embodiment, the representative content is selected by, for example, analyzing the event image held by each of the information contents, setting the clearest event image as the representative image, and selecting the information content holding the representative image. It may be selected as representative content. Further, among the event images held by the information content, the event image taken recently may be selected as the representative image, and the information content holding the representative image may be selected as the representative content.
なお、情報コンテンツに事象画像の撮影時の自動車Ｍの車速パルスまたは車速の情報が含まれていてもよく、その場合には最も鮮明な事象画像の選別に当該車速パルスまたは車速の情報が用いられてもよい。例えば、事象画像の撮影時の車速パルスを解析し、最も低速で撮影された事象画像を代表画像とし、当該代表画像を保持する情報コンテンツを代表コンテンツとしてもよい。 Note that the information content may include vehicle speed pulse or vehicle speed information of the automobile M at the time of shooting the event image. In this case, the vehicle speed pulse or vehicle speed information is used to select the clearest event image. May be. For example, a vehicle speed pulse at the time of event image capturing may be analyzed, the event image captured at the slowest speed may be used as a representative image, and information content holding the representative image may be used as the representative content.
また、情報コンテンツに、搭乗者監視部２５からの状態変化検知情報の送信時（すなわち、事象画像の撮影時）の自動車Ｍの搭乗者が注視している方向（位置）または視線方向の情報が含まれていてもよい。この場合、例えば、事象画像から自動車Ｍがどの車線を走行（どの車線に停止）しているかを判定し、代表画像を判定することとしてもよい。 In addition, information content includes information on a direction (position) or a line-of-sight direction in which the passenger of the automobile M is gazing at the time of transmission of the state change detection information from the passenger monitoring unit 25 (that is, when an event image is captured). It may be included. In this case, for example, it is possible to determine which lane the vehicle M is traveling (stops in which lane) from the event image and determine the representative image.
例えば、状態変化検知情報の送信時に搭乗者が自動車Ｍの左方向を注視していた場合には、最も左の車線で撮影された事象画像を代表画像としてもよい。また、搭乗者が自動車Ｍの左方向を注視していた場合には、最も右の車線で撮影された事象画像を代表画像としてもよい。 For example, when the passenger is gazing at the left direction of the automobile M at the time of transmitting the state change detection information, the event image captured in the leftmost lane may be used as the representative image. Further, when the passenger is gazing at the left direction of the automobile M, the event image captured in the rightmost lane may be used as the representative image.
ステップＳ４の終了後、及びステップＳ３において、同時間帯及び同位置で撮影された事象画像を含む他の情報コンテンツが到来していないと判定した場合には（ステップＳ３：ＮＯ）、コンテンツ選別部５３は、代表画像を含む情報コンテンツをそのまま端末装置１０に送信する（ステップＳ５）。 When it is determined that other information content including an event image photographed at the same time zone and the same position has not arrived after the end of step S4 and in step S3 (step S3: NO), a content selection unit 53 transmits the information content including the representative image to the terminal device 10 as it is (step S5).
なお、ステップＳ３において同時間帯及び同位置で撮影された事象画像を含む他の情報コンテンツが到来していない判定した場合には、ステップＳ２において有用または有意と判定された情報コンテンツを端末装置１０に送信する。ステップＳ５の終了後、動作ルーチンは終了する。 If it is determined in step S3 that no other information content including event images photographed in the same time zone and the same position has arrived, the information content determined to be useful or significant in step S2 is used as the terminal device 10. Send to. After step S5 ends, the operation routine ends.
なお、この場合、サーバ５０から端末装置１０に送信される情報コンテンツは、ステップＳ２において行われた事象画像の解析結果を追加したものでもよい。すなわち、当該送信される情報コンテンツに、当該事象画像に映されている事象（例えば、「事故」、「工事現場」、「渋滞」「人だかり」または「催事（イベント）」等）の情報を含ませることとしてもよい。 In this case, the information content transmitted from the server 50 to the terminal device 10 may be obtained by adding the analysis result of the event image performed in step S2. In other words, the information content to be transmitted includes information on the event (for example, “accident”, “construction site”, “traffic jam”, “people crowd” or “event”) reflected in the event image. It is also possible to make it.
このような事象に関する情報が情報コンテンツに含まれて端末装置１０に送信される場合、情報受信部は、当該事象に関する情報に基づいてディスプレイ１９に当該情報コンテンツに基づく情報を表示させるか否かを判定してもよい。例えば、端末装置１０を用いるユーザが、「事故」の情報のみを要求している場合には、「事故」に関する情報コンテンツに基づく情報のみをディスプレイ１９に表示させてもよい。 When information related to such an event is included in the information content and transmitted to the terminal device 10, the information receiving unit determines whether or not to display information based on the information content on the display 19 based on the information related to the event. You may judge. For example, when the user using the terminal device 10 requests only information on “accident”, only information based on information content related to “accident” may be displayed on the display 19.
また、自動車Ｍにナビゲーションシステムが搭載されている場合、ナビゲーションシステムに対して当該事象に関する情報を提供し、当該ナビゲーションシステムに経路変更を促すこととしてもよい。例えば、情報コンテンツに基づいて、ナビゲーションシステムの設定経路上に事故が発生しているとの情報を提供し、当該事故を避けるように設定経路を変更するように促すこととしてもよい。 Further, when a navigation system is mounted on the automobile M, information related to the event may be provided to the navigation system to prompt the navigation system to change the route. For example, information indicating that an accident has occurred on the set route of the navigation system may be provided based on the information content, and the user may be prompted to change the set route so as to avoid the accident.
また、例えば、情報コンテンツに基づいて、ナビゲーションシステムの設定経路の近傍において、例えば花火のような「イベント（催事）」が催されているとの情報を提供し、当該設定経路を当該「イベント（催事）」が行われている場所を通過するような変更を促すこととしてもよい。なお、「イベント（催事）」による混雑及び渋滞等を見込んで、当該「イベント（催事）」が行われている場所を回避するような設定経路の変更を促すこととしてもよい。 For example, based on the information content, information indicating that an “event (event)” such as fireworks is held in the vicinity of the set route of the navigation system is provided, and the set route is set to the “event ( It is also possible to encourage a change that passes through the place where the “event” is being held. Note that it is also possible to prompt the user to change the set route so as to avoid the place where the “event (event)” is performed in anticipation of congestion and traffic jam due to the “event (event)”.
上述の情報システム２００、端末装置１０及びサーバ５０によれば、移動体の移動経路上の不特定の位置、例えば、狭い道や交通量の少ない道等、情報収集装置の未設置の経路を含む場所において発生した事象に関する画像を含む情報を収集することが可能である。さらには、当該収集した情報を、他の移動体に配信することが可能である。 According to the information system 200, the terminal device 10, and the server 50 described above, an unspecified position on the moving route of the moving body, for example, a route where an information collecting device is not installed, such as a narrow road or a road with a small traffic volume, is included. It is possible to collect information including images about events that occurred at the location. Furthermore, the collected information can be distributed to other mobile objects.
また、情報システム２００、端末装置１０及びサーバ５０によれば、移動体の搭乗者に異変等の状態変化に基づいて当該状態変化時に撮影された画像を含む情報を生成し、かつ当該画像を含む情報を解析して有用または有意な情報を選別して配信することで、必要な情報のみを効率よく配信することが可能である。 In addition, according to the information system 200, the terminal device 10, and the server 50, information including an image taken at the time of the state change is generated based on the state change such as a change in the passenger of the moving body, and the image includes the image. By analyzing information and selecting and distributing useful or significant information, it is possible to efficiently distribute only necessary information.
また、情報システム２００、端末装置１０及びサーバ５０によれば、移動体において撮影されて送信された事象に関する画像を解析し、どのような事象が発生しているかに関する情報を含む情報を配信可能である。これにより、発生している事象に関する詳細な情報を、自動車等の他の移動体に配信可能である。 Further, according to the information system 200, the terminal device 10, and the server 50, it is possible to analyze an image related to an event photographed and transmitted by a moving body and distribute information including information regarding what kind of event is occurring. is there. As a result, detailed information relating to the event that has occurred can be distributed to other mobile objects such as automobiles.
以下に、実施例３のシステム３００について図１０を参照して説明する。図１０に示すように、システム３００においては、実施例１及び２において、端末装置１０側に設けられていた搭乗者監視部２５及び画像抽出部２７が搭乗者監視部２５Ｓ及び画像抽出部２７Ｓとして、サーバ５０側に設けられている。すなわち、端末装置１０側での処理をサーバ側に負担させるいわゆるクラウド構成になっている。 Hereinafter, a system 300 according to the third embodiment will be described with reference to FIG. As shown in FIG. 10, in the system 300, in the first and second embodiments, the passenger monitoring unit 25 and the image extraction unit 27 provided on the terminal device 10 side are used as the passenger monitoring unit 25S and the image extraction unit 27S. , Provided on the server 50 side. That is, it has a so-called cloud configuration in which processing on the terminal device 10 side is borne on the server side.
システム３００において、車外撮影カメラ１１、車内撮影カメラ１３及びマイク１５の画像及び音声、並びに自位置特定部２９からの位置特定情報は、情報送信部３１によってネットワークＮＷを介してサーバ５０に常時送信されている。送信された画像及び音声は、サーバ５０の情報受信部５１に受信される。なお、上記画像及び音声並びに位置特定情報は、複数の自動車Ｍに各々搭載されている複数の端末装置１０から到来する。 In the system 300, the images and sounds of the outside camera 11, the inside camera 13, and the microphone 15, and the position specifying information from the own position specifying unit 29 are constantly transmitted to the server 50 by the information transmitting unit 31 via the network NW. ing. The transmitted image and sound are received by the information receiving unit 51 of the server 50. In addition, the said image, an audio | voice, and position specific information come from the some terminal device 10 each mounted in the some motor vehicle M, respectively.
受信された画像及び音声は、車内撮影カメラ１３及びマイク１５の画像及び音声が搭乗者監視部２５Ｓへ、車外撮影カメラ１１の画像及び自位置特定部２９からの位置特定情報が画像抽出部２７Ｓにそれぞれ送信される。この送信において、上記画像及び音声並びに位置特定情報は、送信元の自動車Ｍ毎に識別できる態様で送信されてもよい。 As for the received image and sound, the image and sound of the in-vehicle shooting camera 13 and the microphone 15 are sent to the passenger monitoring unit 25S, and the image of the outside shooting camera 11 and the position specifying information from the own position specifying unit 29 are sent to the image extracting unit 27S. Each is sent. In this transmission, the image, the sound, and the position specifying information may be transmitted in such a manner that each image can be identified for each automobile M.
システム３００において、搭乗者監視部２５Ｓは、例えば、図４に示す実施例１の搭乗者監視部２５と同様の動作ルーチンを実行して、搭乗者の状態を監視する。また、画像抽出部２７Ｓは、例えば、図５に示す実施例１の画像抽出部２７と同様の動作ルーチンを実行する。なお、画像抽出部２７Ｓは、図５のステップＳ３において、抽出した事象画像と共に、事象画像の撮影時刻及び位置特定情報をコンテンツ選別部５３に送信する。 In the system 300, the occupant monitoring unit 25S, for example, executes the same operation routine as the occupant monitoring unit 25 of the first embodiment shown in FIG. 4 to monitor the state of the occupant. The image extraction unit 27S executes an operation routine similar to that of the image extraction unit 27 of the first embodiment illustrated in FIG. Note that the image extraction unit 27S transmits the shooting time and position specifying information of the event image together with the extracted event image to the content selection unit 53 in step S3 of FIG.
コンテンツ選別部５３は、例えば、上記実施例１または２と同様の動作ルーチン（例えば、図７または図９に示す動作ルーチン）を実行し、端末装置１０に送信すべき情報コンテンツを選別する。その後、当該選別された情報コンテンツが情報送信部５９から送信される。 For example, the content selection unit 53 executes an operation routine similar to that in the first or second embodiment (for example, the operation routine shown in FIG. 7 or FIG. 9) to select information content to be transmitted to the terminal device 10. Thereafter, the selected information content is transmitted from the information transmission unit 59.
当該送信された情報コンテンツは、情報受信部３３によって受信される。情報受信部３３は、例えば、上記実施例１または２と同様の動作ルーチン（例えば、図８に示す動作ルーチン）を実行する。情報受信部３３は、実施例１または２に記載の態様と同様の態様で、必要に応じてディスプレイ１９に情報を表示する。 The transmitted information content is received by the information receiving unit 33. The information receiving unit 33 executes, for example, an operation routine similar to that in the first or second embodiment (for example, the operation routine shown in FIG. 8). The information receiving unit 33 displays information on the display 19 as necessary in the same manner as described in the first or second embodiment.
実施例３のシステム３００によれば、上記実施例１または２の利点に加えて、端末装置１０の処理負担を低減し、端末装置１０の消費電力を減少させることが可能である。また、端末装置１０を小型化することも可能である。 According to the system 300 of the third embodiment, in addition to the advantages of the first or second embodiment, it is possible to reduce the processing load on the terminal device 10 and reduce the power consumption of the terminal device 10. Further, the terminal device 10 can be downsized.
上述の実施例においては、車外撮影カメラ１１について広角カメラを一例に挙げたが、他の様々なカメラも使用可能である。例えば、角度調整可能な載置台に設けられ、撮影方向を変更可能なカメラを用いてもよい。この場合には、搭乗者監視部２５によって送信された状態変化検知情報内の注視方向情報に基づいて、車外撮影カメラ１１の撮影方向を注視方向に変更して撮影を行い、当該撮影された画像の一部または全部を事象画像としてもよい。 In the above-described embodiment, the wide-angle camera is taken as an example of the outside camera 11, but various other cameras can also be used. For example, a camera that is provided on a mounting table that can adjust the angle and that can change the shooting direction may be used. In this case, based on the gaze direction information in the state change detection information transmitted by the occupant monitoring unit 25, the shooting direction of the outside camera 11 is changed to the gaze direction, and shooting is performed. A part or all of these may be used as event images.
また、上述の実施例においては、搭乗者監視部２５は、搭乗者状態情報収集部としての車内撮影カメラ１３の画像及びマイク１５の音声から車内の搭乗者に状態変化が発生したことを判定することとしたが、これ以外の情報を用いて判定を行ってもよい。 Moreover, in the above-mentioned Example, the passenger monitoring part 25 determines that the state change generate | occur | produced in the passenger in the vehicle from the image of the in-vehicle camera 13 as the passenger state information collecting part and the sound of the microphone 15. However, the determination may be made using other information.
例えば、搭乗者状態情報収集部として、搭乗者の生体情報（バイタルサイン）を検出する生体センサを設け、当該生体センサからの情報（例えば心拍数または血圧の変化）に基づいて、車内の搭乗者に状態変化が発生したことを判定し、状態変化検知情報を送信してもよい。この生体センサは、例えば、搭乗者に装着してもよいし、ハンドル、シート及びシートベルトに設けてもよい。 For example, a biometric sensor that detects the biometric information (vital sign) of the occupant is provided as the occupant status information collection unit, and the occupant in the vehicle is based on information from the biometric sensor (for example, changes in heart rate or blood pressure). It may be determined that a state change has occurred and state change detection information may be transmitted. For example, the biosensor may be attached to a passenger, or may be provided on a handle, a seat, and a seat belt.
また、搭乗者状態情報収集部として、自動車Ｍに対する操縦操作に関する情報を収集する手段を備えても良い。この場合、搭乗者監視部２５は、急加速、急ブレーキ、急ハンドル等の操作を検知して、これらに基づいて状態変化検知情報を送信してもよい。 In addition, as the passenger state information collection unit, a unit that collects information related to a steering operation on the automobile M may be provided. In this case, the passenger monitoring unit 25 may detect operations such as sudden acceleration, sudden braking, and sudden steering, and may transmit state change detection information based on these operations.
また、不要な状態変化の検知を低減するために、例えば、シフトレバーがバック位置に移動された際には、当該状況を考慮して状態変化を検知してもよい。例えば、シフトレバーがバック位置に移動した際には、自動車Ｍの後方への注視は、状態変化として検知しなくともよい。 Further, in order to reduce detection of an unnecessary state change, for example, when the shift lever is moved to the back position, the state change may be detected in consideration of the situation. For example, when the shift lever moves to the back position, the gaze behind the automobile M may not be detected as a state change.
また、上述の実施例においては、端末装置１０が告知手段としてディスプレイ１９を有するとしたが、告知手段としてスピーカを含んでいてもよい。この場合、ディスプレイ１９による表示及びスピーカによる音声によって情報コンテンツに基づく告知が行われてもよい。 In the above-described embodiment, the terminal device 10 has the display 19 as the notification unit. However, the notification unit may include a speaker. In this case, notification based on the information content may be performed by display on the display 19 and sound by a speaker.
また、音声のみによって情報コンテンツに基づく告知が行われてもよい。音声のみによる告知の場合、情報コンテンツに含まれる位置特定情報、すなわち事象の発生位置、事象の発生時刻及び事象の内容が音声告知されてもよい。 Moreover, the notification based on the information content may be performed only by voice. In the case of notification only by sound, the position specifying information included in the information content, that is, the occurrence position of the event, the occurrence time of the event, and the content of the event may be notified by sound.
また、上述の実施例においては、コンテンツ選別部５３が、当該近傍コンテンツの中から１つの情報コンテンツを代表コンテンツとして選別するとしたが、複数の情報コンテンツが代表コンテンツとして選別されてもよい。この場合、例えば、含まれる事象画像が鮮明な順に複数の情報コンテンツが代表コンテンツとして選別されてもよい。 In the above-described embodiment, the content selection unit 53 selects one information content as the representative content from the neighboring content. However, a plurality of information contents may be selected as the representative content. In this case, for example, a plurality of information contents may be selected as representative contents in the order in which the included event images are clear.
また、上述の実施例においては、端末装置１０が情報受信部３３及びティスプレイ１９を有することとしたが、端末装置１０は、情報受信部３３及びディスプレイ１９を含まなくともよい。すなわち、端末装置１０がサーバ５０へ情報を送信するのみの情報収集装置であってもよい。 In the above-described embodiment, the terminal device 10 includes the information receiving unit 33 and the display 19, but the terminal device 10 may not include the information receiving unit 33 and the display 19. In other words, the terminal device 10 may be an information collection device that only transmits information to the server 50.
また、上述の実施例においては、代表コンテンツを全ての移動体Ｍに送信する場合を例に説明したが、代表コンテンツを一部の自動車Ｍに送信することとしてもよい。例えば、個々の自動車Ｍの位置情報をサーバ５０が保有しており、代表コンテンツが含んでいる位置特定情報が示す位置の近傍、すなわち位置特定情報が示す位置から一定距離内に位置する自動車Ｍのみに送信することとしてもよい。 In the above-described embodiment, the case where the representative content is transmitted to all the mobile bodies M has been described as an example. However, the representative content may be transmitted to a part of the cars M. For example, the server 50 holds the position information of each automobile M, and only the automobile M located within a certain distance from the position indicated by the position specifying information included in the representative content, that is, the position indicated by the position specifying information. It is good also as transmitting to.
また、上述の実施例において、情報コンテンツは自動車Ｍの位置情報を示す位置特定情報を含むとしたが、位置特定情報は含まれなくともよい。この場合、サーバ５０が、自動車Ｍからの無線通信が移動体通信網のいずれの基地局を介しているか等の情報から自動車Ｍの位置を特定することとしてもよい。また、情報コンテンツに含まれる事象画像から、当該事象画像の位置が特定されてもよい。 In the above-described embodiment, the information content includes the position specifying information indicating the position information of the automobile M. However, the position specifying information may not be included. In this case, the server 50 may identify the position of the automobile M from information such as which base station of the mobile communication network is used for wireless communication from the automobile M. Further, the position of the event image may be specified from the event image included in the information content.
また、代表コンテンツが含んでいる位置特定情報が示す位置に向かった場合の、当該位置特定情報が示す位置への到達時間が、一定時間内である位置に存在している自動車Ｍのみに代表コンテンツを送信することとしてもよい。 In addition, when the vehicle heads for the position indicated by the position specifying information included in the representative content, the representative content is only given to the automobile M that exists at a position where the arrival time to the position indicated by the position specifying information is within a predetermined time. May be transmitted.
また、サーバ５０からの情報コンテンツは、例えば、スマートフォン、タブレット、ＰＤＡ及びパーソナルコンピュータ等の端末装置１０以外の機器によって受信可能であっても良い。 The information content from the server 50 may be receivable by devices other than the terminal device 10 such as a smartphone, a tablet, a PDA, and a personal computer.
また、上記実施例においては、端末装置１０を移動体の一例としての自動車Ｍに搭載した場合を例に説明したが、移動体は自動車に限られない。例えば、端末装置１０が搭載される移動体は、船舶、飛行機、バイク、自転車等であってもよい。 Moreover, in the said Example, although the case where the terminal device 10 was mounted in the motor vehicle M as an example of a mobile body was demonstrated to the example, a mobile body is not restricted to a motor vehicle. For example, the mobile body on which the terminal device 10 is mounted may be a ship, an airplane, a motorcycle, a bicycle, or the like.
なお、徒歩で移動する人が端末装置１０を保持して移動し、端末装置１０が情報コンテンツをサーバ５０に送信することとしてもよい。この際、端末装置１０の搭乗者撮影手段としての車内カメラは、移動する本人を撮影するカメラとなる。 In addition, it is good also as the person who moves on foot hold | maintains the terminal device 10, moves, and the terminal device 10 transmits information content to the server 50. FIG. At this time, the in-vehicle camera as the passenger photographing means of the terminal device 10 is a camera that photographs the moving person.
例えば、端末装置１０をスマートフォンまたはタブレットで実現することとしてもよい。その場合には、スマートフォンまたはタブレットの内側カメラが実施例１乃至３において説明した車内撮影カメラに対応し、外側カメラが実施例１乃至３において説明した車外撮影カメラに対応することとしてもよい。 For example, the terminal device 10 may be realized by a smartphone or a tablet. In that case, the inner camera of the smartphone or tablet may correspond to the in-vehicle shooting camera described in the first to third embodiments, and the outer camera may correspond to the outer shooting camera described in the first to third embodiments.
また、上記実施例においては、端末装置１０とサーバ５０の構成を図３及び図１０に例示して説明したが、端末装置１０とサーバ５０の構成はこの例に限られない。例えば、搭乗者監視部２５，２５Ｓ、画像抽出部２７，２７Ｓ、コンテンツ選別部５３は端末装置１０及びサーバ５０のどちらに配されていてもよい。 Moreover, in the said Example, although the structure of the terminal device 10 and the server 50 was illustrated and demonstrated to FIG.3 and FIG.10, the structure of the terminal device 10 and the server 50 is not restricted to this example. For example, the passenger monitoring units 25 and 25S, the image extraction units 27 and 27S, and the content selection unit 53 may be arranged in either the terminal device 10 or the server 50.
上述した実施例における種々の構成、ルーチン等は例示に過ぎず、用途等に応じて適宜選択することができる。 The various configurations, routines, and the like in the above-described embodiments are merely examples, and can be selected as appropriate according to the application.
１００、２００、３００ 情報収集システム
１０ 端末装置
１１ 車外撮影カメラ
１３ 車内撮影カメラ
１５ マイク
１７ ＧＰＳ受信機
１９ ディスプレイ
２１ 本体
２３ 制御部
２５、２５Ｓ 搭乗者監視部
２７、２７Ｓ 画像抽出部
２９ 自位置特定部
３１ 情報送信部
３３ 情報受信部
５０ サーバ
５１ 情報受信部
５３ コンテンツ選別部
５５ コンテンツ有用度判定部
５７ 代表コンテンツ選択部
５９ 情報送信部
100, 200, 300 Information collecting system 10 Terminal device 11 Outside camera 13 Inside camera 15 Microphone 17 GPS receiver 19 Display 21 Main body 23 Control unit 25, 25S Passenger monitoring unit 27, 27S Image extraction unit 29 Self-location specifying unit 31 Information transmission unit 33 Information reception unit 50 Server 51 Information reception unit 53 Content selection unit 55 Content usefulness determination unit 57 Representative content selection unit 59 Information transmission unit
Claims (11)
前記搭乗者状態情報に基づいて、前記搭乗者の状態変化を検知し、状態変化検知情報を生成する状態変化検知部と、
前記移動体の外部を撮影して撮影画像を生成する外部撮影部と、
前記状態変化検知情報に応じて前記撮影画像を含む外部状況情報を生成して前記外部状況情報を、通信路を介して送信する外部状況情報送信部と、
を含むことを特徴とする情報収集装置。 A passenger state information collecting unit that collects the state of the passenger of the mobile object as passenger state information;
Based on the passenger state information, a state change detection unit that detects a state change of the passenger and generates state change detection information;
An external photographing unit for photographing the outside of the moving body and generating a photographed image;
An external situation information transmitting unit that generates external situation information including the captured image according to the state change detection information and transmits the external situation information via a communication path;
An information collecting device comprising:
前記搭乗者状態情報に基づいて、前記搭乗者の状態変化を検知し、状態変化検知情報を生成する状態変化検知部と、
前記移動体に設けられ、前記移動体の外部を撮影して撮影画像を生成する外部撮影部と、
前記状態変化検知情報に応じて前記撮影画像を含む外部状況情報を生成する外部状況情報生成部と、
を含むことを特徴とする情報収集システム。 A passenger state information collecting unit that is provided in the mobile body and collects the passenger state of the mobile body as passenger state information;
Based on the passenger state information, a state change detection unit that detects a state change of the passenger and generates state change detection information;
An external photographing unit that is provided in the moving body and shoots the outside of the moving body to generate a photographed image;
An external situation information generating unit that generates external situation information including the captured image according to the state change detection information;
An information collecting system characterized by including:
前記外部状況情報に含まれる前記撮影画像を解析し、前記外部状況情報の有用度を判定する判定部と、
有用であると判定された外部状況情報を、通信路を介して配信する外部状況情報配信部と、
を含むことを特徴とする情報収集サーバ。 An external situation information receiving unit that receives external situation information including a photographed image outside the movable body generated in response to detection of a change in the state of a passenger on the movable body, via a communication path;
A determination unit that analyzes the captured image included in the external situation information and determines the usefulness of the external situation information;
An external status information distribution unit that distributes external status information determined to be useful via a communication path;
An information collecting server characterized by including:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015141164A JP2017021745A (en) | 2015-07-15 | 2015-07-15 | Information collection device, information collection server, and information collection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015141164A JP2017021745A (en) | 2015-07-15 | 2015-07-15 | Information collection device, information collection server, and information collection system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020030223A Division JP2020109675A (en) | 2020-02-26 | 2020-02-26 | Information collecting device, information collecting server, and information collecting system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017021745A true JP2017021745A (en) | 2017-01-26 |
Family
ID=57889868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015141164A Pending JP2017021745A (en) | 2015-07-15 | 2015-07-15 | Information collection device, information collection server, and information collection system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017021745A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018235409A1 (en) * | 2017-06-22 | 2018-12-27 | 三菱電機株式会社 | Risk information collection device |
| JP2019079381A (en) * | 2017-10-26 | 2019-05-23 | トヨタ自動車株式会社 | Machine learning system and traffic information providing system |
| JP2020522783A (en) * | 2017-05-31 | 2020-07-30 | カーメラ，インコーポレイテッド | Vehicle system with imaging equipment for high definition near real time map generation |
| JP2020154374A (en) * | 2019-03-18 | 2020-09-24 | 株式会社Ｓｕｂａｒｕ | Vehicle hazardous condition identification device, vehicle hazardous condition identification method, and program |
| JP2020154375A (en) * | 2019-03-18 | 2020-09-24 | 株式会社Ｓｕｂａｒｕ | Vehicle hazardous condition identification device, vehicle hazardous condition identification method, and program |
| JP2020178309A (en) * | 2019-04-22 | 2020-10-29 | 東京瓦斯株式会社 | Monitoring system, monitoring method, and monitoring program |
| WO2021024798A1 (en) * | 2019-08-06 | 2021-02-11 | パナソニックＩｐマネジメント株式会社 | Travel assistance method, road captured image collection method, and roadside device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008234044A (en) * | 2007-03-16 | 2008-10-02 | Pioneer Electronic Corp | Information processing method, in-vehicle device, and information distribution device |
| JP2013255168A (en) * | 2012-06-08 | 2013-12-19 | Toyota Infotechnology Center Co Ltd | Imaging apparatus and imaging method |
-
2015
- 2015-07-15 JP JP2015141164A patent/JP2017021745A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008234044A (en) * | 2007-03-16 | 2008-10-02 | Pioneer Electronic Corp | Information processing method, in-vehicle device, and information distribution device |
| JP2013255168A (en) * | 2012-06-08 | 2013-12-19 | Toyota Infotechnology Center Co Ltd | Imaging apparatus and imaging method |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7199627B2 (en) | 2017-05-31 | 2023-01-06 | ウーブン プラネット ノース アメリカ，インコーポレイティド | A vehicle system equipped with imaging equipment for high-definition near-real-time map generation |
| JP2020522783A (en) * | 2017-05-31 | 2020-07-30 | カーメラ，インコーポレイテッド | Vehicle system with imaging equipment for high definition near real time map generation |
| US11802968B2 (en) | 2017-05-31 | 2023-10-31 | Woven By Toyota, U.S., Inc. | System of vehicles equipped with imaging equipment for high-definition near real-time map generation |
| JP6448880B1 (en) * | 2017-06-22 | 2019-01-09 | 三菱電機株式会社 | Danger information collection device |
| WO2018235409A1 (en) * | 2017-06-22 | 2018-12-27 | 三菱電機株式会社 | Risk information collection device |
| JP2019079381A (en) * | 2017-10-26 | 2019-05-23 | トヨタ自動車株式会社 | Machine learning system and traffic information providing system |
| JP7333702B2 (en) | 2019-03-18 | 2023-08-25 | 株式会社Subaru | VEHICLE DANGEROUS SITUATION DETERMINATION DEVICE, VEHICLE DANGEROUS SITUATION DETERMINATION METHOD, AND PROGRAM |
| JP2020154375A (en) * | 2019-03-18 | 2020-09-24 | 株式会社Ｓｕｂａｒｕ | Vehicle hazardous condition identification device, vehicle hazardous condition identification method, and program |
| JP2020154374A (en) * | 2019-03-18 | 2020-09-24 | 株式会社Ｓｕｂａｒｕ | Vehicle hazardous condition identification device, vehicle hazardous condition identification method, and program |
| JP7376996B2 (en) | 2019-03-18 | 2023-11-09 | 株式会社Subaru | Vehicle dangerous situation determination device, vehicle dangerous situation determination method, and program |
| JP2020178309A (en) * | 2019-04-22 | 2020-10-29 | 東京瓦斯株式会社 | Monitoring system, monitoring method, and monitoring program |
| JP7269785B2 (en) | 2019-04-22 | 2023-05-09 | 東京瓦斯株式会社 | Monitoring system, monitoring method and monitoring program |
| WO2021024798A1 (en) * | 2019-08-06 | 2021-02-11 | パナソニックＩｐマネジメント株式会社 | Travel assistance method, road captured image collection method, and roadside device |
| JP2021026554A (en) * | 2019-08-06 | 2021-02-22 | パナソニックＩｐマネジメント株式会社 | Travel support method, road photographing image collection method, and road side device |
| CN114175123A (en) * | 2019-08-06 | 2022-03-11 | 松下知识产权经营株式会社 | Driving support method, road photographed image collection method, and roadside device |
| CN114175123B (en) * | 2019-08-06 | 2024-01-12 | 松下知识产权经营株式会社 | Driving support method, road photographic image collection method, and road side device |
| JP7445882B2 (en) | 2019-08-06 | 2024-03-08 | パナソニックＩｐマネジメント株式会社 | Driving support method, road photographic image collection method, and roadside device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017021745A (en) | Information collection device, information collection server, and information collection system | |
| US11074769B2 (en) | Safety for vehicle users | |
| US10424176B2 (en) | AMBER alert monitoring and support | |
| US10207716B2 (en) | Integrated vehicle monitoring system | |
| CN111332309B (en) | Driver monitoring system and method of operating the same | |
| US20160090039A1 (en) | Method and system of communicating vehicle information | |
| JP5018613B2 (en) | Road communicator and accident monitoring system | |
| US11176826B2 (en) | Information providing system, server, onboard device, storage medium, and information providing method | |
| CN111319628A (en) | Method and system for evaluating false threat detection | |
| DE102008016226A1 (en) | Automated emergency call via voice | |
| JP2008114649A (en) | Horn controller | |
| US11151775B2 (en) | Image processing apparatus, display system, computer readable recoring medium, and image processing method | |
| JP2023145578A (en) | Information collection device, information collection server and information collection system | |
| JP2020080542A (en) | Image providing system for vehicle, server system, and image providing method for vehicle | |
| JP2022184919A (en) | Display controller and display control method | |
| JP7099338B2 (en) | Servers, server control methods, server control programs, vehicles, vehicle control methods, and vehicle control programs | |
| WO2016030934A1 (en) | Information-processing device, control method, program, and storage medium | |
| US10867516B2 (en) | Surrounding area monitoring apparatus and surrounding area monitoring method | |
| CN111161551A (en) | Apparatus, system and method for detecting, alerting and responding to emergency vehicles | |
| JP2020020987A (en) | In-car system | |
| JP7376996B2 (en) | Vehicle dangerous situation determination device, vehicle dangerous situation determination method, and program | |
| JP2017182418A (en) | Driving assisting device and driving support system | |
| JP2020003933A (en) | Emergency vehicle notification device, and method for controlling emergency vehicle notification device | |
| CN111669542B (en) | Vehicle management system | |
| US20210197668A1 (en) | Information providing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180608 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191203 |