JP2023012733A - Content generator, method for generating content, program, and recording medium - Google Patents

Content generator, method for generating content, program, and recording medium Download PDF

Info

Publication number
JP2023012733A
JP2023012733A JP2021116380A JP2021116380A JP2023012733A JP 2023012733 A JP2023012733 A JP 2023012733A JP 2021116380 A JP2021116380 A JP 2021116380A JP 2021116380 A JP2021116380 A JP 2021116380A JP 2023012733 A JP2023012733 A JP 2023012733A
Authority
JP
Japan
Prior art keywords
information
content
vehicle
image
driving situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021116380A
Other languages
Japanese (ja)
Inventor
高志 飯澤
Takashi Iizawa
敬太 倉持
Keita Kuramochi
敦博 山中
Atsuhiro Yamanaka
英記 永田
Hideki Nagata
一聡 田中
Kazutoshi Tanaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2021116380A priority Critical patent/JP2023012733A/en
Publication of JP2023012733A publication Critical patent/JP2023012733A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

To provide a content output device that can output a content with the viewpoint of a passenger taken into consideration as a content for guiding the passenger.SOLUTION: A content generator includes an information acquisition unit and a content generation unit. The information acquisition unit acquires an image obtained by imaging regions around a vehicle and driving situation information as information related to the driving situation of the vehicle, from the vehicle. The content generation unit generates a guidance content as a content used to provide a guidance according to the driving situation information on the basis of the image when the image includes an object with a feature.SELECTED DRAWING: Figure 4

Description

本発明は、案内用コンテンツの出力において利用可能な技術に関する。 The present invention relates to a technique that can be used in outputting guidance content.

ユーザに対して案内を行うための案内用コンテンツとして、現在位置の周辺のランドマーク、及び、現在位置から目的地までの経路等のコンテンツを出力するための技術が従来知られている。 Techniques for outputting content such as landmarks around the current position and a route from the current position to the destination are conventionally known as guidance content for providing guidance to the user.

具体的には、例えば、特許文献1には、車両の運転者に対して目的地までの誘導経路を案内するナビゲーション装置において、当該運転者の過誤により当該誘導経路からの逸脱が発生した交差点と同一のまたは類似する交差点がある場合に、当該交差点についての案内を強調する技術が開示されている。 Specifically, for example, Patent Literature 1 discloses a navigation device that guides a vehicle driver to a guide route to a destination, and describes an intersection where the driver deviates from the guide route due to an error by the driver. A technique is disclosed for emphasizing guidance for an identical or similar intersection when the intersection is present.

特許第4424961号公報Japanese Patent No. 4424961

ここで、上記の案内用コンテンツとして、現在位置の周辺のランドマークに係るコンテンツを車両の運転時に出力する場合には、当該車両の搭乗者からの当該ランドマークの見え方を考慮することなく当該コンテンツが出力されてしまう、という問題点が生じ得る。 Here, when outputting content related to landmarks in the vicinity of the current position as the guidance content while the vehicle is driving, it is possible to output the content related to the landmarks in the vicinity of the current position without considering how the landmarks are seen by the passengers of the vehicle. A problem may arise that the content is output.

しかし、特許文献1には、上記の案内用コンテンツの出力に係る問題点を解消可能な手法について特に開示等されていない。そのため、特許文献1に開示された構成によれば、前述の問題点に応じた課題が依然として存在している。 However, Patent Literature 1 does not particularly disclose a method capable of solving the above-described problems related to the output of guidance content. Therefore, according to the configuration disclosed in Patent Document 1, there still exists a problem corresponding to the above-described problem.

本発明は、上記の課題を解決するためになされたものであり、車両の搭乗者に対して案内を行うためのコンテンツとして、当該搭乗者の視点を考慮したコンテンツを出力することが可能なコンテンツ生成装置を提供することを主な目的とする。 The present invention has been made to solve the above problems, and is capable of outputting content that takes into consideration the viewpoint of the passenger as content for providing guidance to the passenger of the vehicle. The main object is to provide a generator.

請求項に記載の発明は、コンテンツ生成装置であって、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部と、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部と、を備える。 A claimed invention is a content generation device comprising: an information acquisition unit that acquires an image of the surroundings of the vehicle taken from a vehicle; and driving situation information that is information related to the driving situation of the vehicle; a content generation unit configured to generate guidance content, which is content used to provide guidance according to the driving situation information, based on the image when the image includes a characteristic subject. .

また、請求項に記載の発明は、コンテンツ生成方法であって、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得し、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成する。 Further, the claimed invention is a content generation method, in which an image of the surroundings of the vehicle is captured from a vehicle, and driving situation information, which is information related to the driving situation of the vehicle, is acquired, and the image is generated. includes a characteristic subject, based on the image, content for guidance, which is content used for providing guidance according to the driving situation information, is generated.

また、請求項に記載の発明は、コンピュータを備えるコンテンツ生成装置により実行されるプログラムであって、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部、及び、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部として前記コンピュータを機能させる。 Further, the invention described in the claims is a program executed by a content generation device provided with a computer, comprising an image of the surroundings of the vehicle captured from a vehicle and driving situation information that is information related to the driving situation of the vehicle and an information acquisition unit that acquires and, when the image includes a characteristic subject, guidance content that is content used for performing guidance according to the driving situation information based on the image The computer functions as a content generation unit that generates content.

実施例に係る音声出力システムの構成例を示す図。1 is a diagram showing a configuration example of an audio output system according to an embodiment; FIG. 音声出力装置の概略構成を示すブロック図。1 is a block diagram showing a schematic configuration of an audio output device; FIG. サーバ装置の概略構成の一例を示す図。The figure which shows an example of schematic structure of a server apparatus. サーバ装置において行われる処理を説明するためのフローチャート。4 is a flowchart for explaining processing performed in the server device; サーバ装置において行われる処理の変形例を説明するための図。FIG. 5 is a diagram for explaining a modification of processing performed in the server device;

本発明の1つの好適な実施形態では、コンテンツ生成装置は、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部と、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部と、を備える。 In one preferred embodiment of the present invention, the content generation device includes an information acquisition unit that acquires an image of the surroundings of the vehicle taken from the vehicle and driving situation information that is information related to the driving situation of the vehicle. and a content generation unit that generates guidance content, which is content used for providing guidance according to the driving situation information, based on the image when the image includes a characteristic subject. Prepare.

上記のコンテンツ生成装置は、情報取得部と、コンテンツ生成部と、を備える。情報取得部は、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する。コンテンツ生成部は、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成する。これにより、車両の搭乗者に対して案内を行うためのコンテンツとして、当該搭乗者の視点を考慮したコンテンツを出力することができる。 The content generation device described above includes an information acquisition unit and a content generation unit. The information acquisition unit acquires an image of the surroundings of the vehicle taken from the vehicle and driving situation information, which is information related to the driving situation of the vehicle. The content generation unit generates guidance content, which is content used for providing guidance according to the driving situation information, based on the image when the image includes a characteristic subject. As a result, it is possible to output content that takes into account the viewpoint of the passenger as content for providing guidance to the passenger of the vehicle.

上記のコンテンツ生成装置の一態様では、前記運転状況情報には、前記画像が撮影された際の前記車両の位置に係る情報である位置情報、前記画像が撮影された際の時刻に係る情報である時刻情報、及び、前記画像が撮影された際の撮影方向に係る情報である撮影方向情報のうちの少なくとも1つが含まれている。 In one aspect of the content generation device, the driving situation information includes position information, which is information about the position of the vehicle when the image was captured, and information about the time when the image was captured. At least one of certain time information and shooting direction information, which is information relating to the shooting direction when the image was shot, is included.

上記のコンテンツ生成装置の一態様では、前記撮影方向情報には、前記車両に設けられた車外カメラの向きに対応する方向を示す情報、前記車両の方位を示す情報、及び、前記車外カメラの画角内の方向を示す情報のうちの少なくとも1つが含まれている。 In one aspect of the above-described content generation device, the photographing direction information includes information indicating a direction corresponding to an orientation of an exterior camera provided in the vehicle, information indicating an orientation of the vehicle, and an image of the exterior camera. At least one of the information indicating the direction within the corner is included.

上記のコンテンツ生成装置の一態様では、前記コンテンツ生成部は、前記運転状況情報に含まれる前記位置情報及び前記撮影方向情報に基づき、前記画像が他の画像の撮影状況と同様の撮影状況で撮影されたことを検知した場合に、前記案内用コンテンツを生成するための処理を行う代わりに、前記案内用コンテンツとして生成済のコンテンツを取得するための処理を行う。 In one aspect of the above content generation device, the content generation unit captures the image under the same shooting conditions as other images based on the position information and the shooting direction information included in the driving situation information. When it is detected, instead of performing the processing for generating the content for guidance, the processing for acquiring the generated content as the content for guidance is performed.

上記のコンテンツ生成装置の一態様では、前記コンテンツ生成部は、前記案内用コンテンツとして生成した生成済のコンテンツと、前記生成済のコンテンツの生成時に用いた前記運転状況情報と、前記画像と、を関連付けた情報である生成済コンテンツ情報を記憶部に記憶させる。 In one aspect of the above-described content generation device, the content generation unit generates the generated content generated as the guide content, the driving situation information used when generating the generated content, and the image. Generated content information, which is associated information, is stored in the storage unit.

本発明の他の実施形態では、コンテンツ出力方法は、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得し、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成する。これにより、車両の搭乗者に対して案内を行うためのコンテンツとして、当該搭乗者の視点を考慮したコンテンツを出力することができる。 In another embodiment of the present invention, a content output method acquires an image of the surroundings of the vehicle taken from a vehicle and driving situation information that is information related to the driving situation of the vehicle, content for guidance, which is content used for providing guidance according to the driving situation information, is generated based on the image when the subject is included. As a result, it is possible to output content that takes into account the viewpoint of the passenger as content for providing guidance to the passenger of the vehicle.

本発明のさらに他の実施形態では、コンピュータを備えるコンテンツ生成装置により実行されるプログラムは、車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部、及び、前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部として前記コンピュータを機能させる。このプログラムをコンピュータで実行することにより、上記のコンテンツ生成装置を実現することができる。このプログラムは記憶媒体に記憶して使用することができる。 In still another embodiment of the present invention, a program executed by a content generation device provided with a computer includes an image of the surroundings of the vehicle taken from the vehicle, driving situation information that is information related to the driving situation of the vehicle, and an information acquisition unit that acquires guidance content that is content used to provide guidance according to the driving situation information based on the image when the image includes a characteristic subject. The computer is caused to function as a content generation unit to generate. By executing this program on a computer, the above content generation device can be realized. This program can be stored in a storage medium and used.

以下、図面を参照して本発明の好適な実施例について説明する。 Preferred embodiments of the present invention will be described below with reference to the drawings.

[システム構成]
(全体構成)
図1は、実施例に係る音声出力システムの構成例を示す図である。本実施例に係る音声出力システム1は、音声出力装置100と、サーバ装置200とを有する。音声出力装置100は、車両Veに搭載される。サーバ装置200は、複数の車両Veに搭載された複数の音声出力装置100と通信する。
[System configuration]
(overall structure)
FIG. 1 is a diagram illustrating a configuration example of an audio output system according to an embodiment. A voice output system 1 according to this embodiment includes a voice output device 100 and a server device 200 . The audio output device 100 is mounted on the vehicle Ve. The server device 200 communicates with a plurality of audio output devices 100 mounted on a plurality of vehicles Ve.

音声出力装置100は、基本的に車両Veの搭乗者であるユーザに対して、経路探索処理や経路案内処理などを行う。例えば、音声出力装置100は、ユーザにより目的地等が入力されると、車両Veの位置情報や指定された目的地に関する情報などを含むアップロード信号S1をサーバ装置200に送信する。サーバ装置200は、地図データを参照して目的地までの経路を算出し、目的地までの経路を示す制御信号S2を音声出力装置100へ送信する。音声出力装置100は、受信した制御信号S2に基づいて、音声出力によりユーザに対する経路案内を行う。 The voice output device 100 basically performs route search processing, route guidance processing, and the like for the user who is a passenger of the vehicle Ve. For example, when a destination or the like is input by the user, the voice output device 100 transmits an upload signal S1 including position information of the vehicle Ve and information on the designated destination to the server device 200 . Server device 200 calculates the route to the destination by referring to the map data, and transmits control signal S2 indicating the route to the destination to audio output device 100 . The voice output device 100 provides route guidance to the user by voice output based on the received control signal S2.

また、音声出力装置100は、ユーザとの対話により各種の情報をユーザに提供する。例えば、音声出力装置100は、ユーザが情報要求を行うと、その情報要求の内容又は種類を示す情報、及び、車両Veの走行状態に関する情報などを含むアップロード信号S1をサーバ装置200に供給する。サーバ装置200は、ユーザが要求する情報を取得、生成し、制御信号S2として音声出力装置100へ送信する。音声出力装置100は、受信した情報を、音声出力によりユーザに提供する。 In addition, the voice output device 100 provides various information to the user through interaction with the user. For example, when a user makes an information request, the audio output device 100 supplies the server device 200 with an upload signal S1 including information indicating the content or type of the information request and information about the running state of the vehicle Ve. The server device 200 acquires and generates information requested by the user, and transmits it to the audio output device 100 as a control signal S2. The audio output device 100 provides the received information to the user by audio output.

(音声出力装置)
音声出力装置100は、車両Veと共に移動し、案内経路に沿って車両Veが走行するように、音声を主とした経路案内を行う。なお、「音声を主とした経路案内」は、案内経路に沿って車両Veを運転するために必要な情報をユーザが少なくとも音声のみから把握可能な経路案内を指し、音声出力装置100が現在位置周辺の地図などを補助的に表示することを除外するものではない。本実施例では、音声出力装置100は、少なくとも、案内が必要な経路上の地点(「案内地点」とも呼ぶ。)など、運転に係る様々な情報を音声により出力する。ここで、案内地点は、例えば車両Veの右左折を伴う交差点、その他、案内経路に沿って車両Veが走行するために重要な通過地点が該当する。音声出力装置100は、例えば、車両Veから次の案内地点までの距離、当該案内地点での進行方向などの案内地点に関する音声案内を行う。以後では、案内経路に対する案内に関する音声を「経路音声案内」とも呼ぶ。
(Voice output device)
The voice output device 100 moves together with the vehicle Ve and performs route guidance mainly by voice so that the vehicle Ve travels along the guidance route. It should be noted that "route guidance based mainly on voice" refers to route guidance in which the user can grasp information necessary for driving the vehicle Ve along the guidance route at least from only voice, and the voice output device 100 indicates the current position. It does not exclude the auxiliary display of a surrounding map or the like. In this embodiment, the voice output device 100 outputs at least various information related to driving, such as points on the route that require guidance (also referred to as “guidance points”), by voice. Here, the guidance point corresponds to, for example, an intersection at which the vehicle Ve turns right or left, or other passing points important for the vehicle Ve to travel along the guidance route. The voice output device 100 provides voice guidance regarding guidance points such as, for example, the distance from the vehicle Ve to the next guidance point and the traveling direction at the guidance point. Hereinafter, the voice regarding the guidance for the guidance route is also referred to as "route voice guidance".

音声出力装置100は、例えば車両Veのフロントガラスの上部、又は、ダッシュボード上などに取り付けられる。なお、音声出力装置100は、車両Veに組み込まれてもよい。 The audio output device 100 is attached, for example, above the windshield of the vehicle Ve or on the dashboard. Note that the audio output device 100 may be incorporated in the vehicle Ve.

図2は、音声出力装置100の概略構成を示すブロック図である。音声出力装置100は、主に、通信部111と、記憶部112と、入力部113と、制御部114と、センサ群115と、表示部116と、マイク117と、スピーカ118と、車外カメラ119と、車内カメラ120と、を有する。音声出力装置100内の各要素は、バスライン110を介して相互に接続されている。 FIG. 2 is a block diagram showing a schematic configuration of the audio output device 100. As shown in FIG. The audio output device 100 mainly includes a communication unit 111, a storage unit 112, an input unit 113, a control unit 114, a sensor group 115, a display unit 116, a microphone 117, a speaker 118, and an exterior camera 119. and an in-vehicle camera 120 . Each element in the audio output device 100 is interconnected via a bus line 110 .

通信部111は、制御部114の制御に基づき、サーバ装置200とのデータ通信を行う。通信部111は、例えば、後述する地図DB(DataBase)4を更新するための地図データをサーバ装置200から受信してもよい。 The communication unit 111 performs data communication with the server device 200 under the control of the control unit 114 . The communication unit 111 may receive, for example, map data for updating a map DB (DataBase) 4 to be described later from the server device 200 .

記憶部112は、RAM(Random Access Memory)、ROM(Read Only Memory)、不揮発性メモリ(ハードディスクドライブ、フラッシュメモリなどを含む)などの各種のメモリにより構成される。記憶部112には、音声出力装置100が所定の処理を実行するためのプログラムが記憶される。上述のプログラムは、経路案内を音声により行うためのアプリケーションプログラム、音楽を再生するためのアプリケーションプログラム、音楽以外のコンテンツ(テレビ等)を出力するためのアプリケーションプログラムなどを含んでもよい。また、記憶部112は、制御部114の作業メモリとしても使用される。なお、音声出力装置100が実行するプログラムは、記憶部112以外の記憶媒体に記憶されてもよい。 The storage unit 112 is composed of various memories such as RAM (Random Access Memory), ROM (Read Only Memory), non-volatile memory (including hard disk drive, flash memory, etc.). The storage unit 112 stores a program for the audio output device 100 to execute predetermined processing. The above programs may include an application program for providing route guidance by voice, an application program for playing back music, an application program for outputting content other than music (such as television), and the like. Storage unit 112 is also used as a working memory for control unit 114 . Note that the program executed by the audio output device 100 may be stored in a storage medium other than the storage unit 112 .

また、記憶部112は、地図データベース(以下、データベースを「DB」と記す。)4を記憶する。地図DB4には、経路案内に必要な種々のデータが記録されている。地図DB4は、例えば、道路網をノードとリンクの組合せにより表した道路データ、及び、目的地、立寄地、又はランドマークの候補となる施設を示す施設データなどを記憶している。地図DB4は、制御部114の制御に基づき、通信部111が地図管理サーバから受信する地図情報に基づき更新されてもよい。 The storage unit 112 also stores a map database (hereinafter the database is referred to as “DB”) 4 . Various data required for route guidance are recorded in the map DB 4 . The map DB 4 stores, for example, road data representing a road network by a combination of nodes and links, and facility data indicating facilities that are candidates for destinations, stop-off points, or landmarks. The map DB 4 may be updated based on the map information received by the communication section 111 from the map management server under the control of the control section 114 .

入力部113は、ユーザが操作するためのボタン、タッチパネル、リモートコントローラ等である。表示部116は、制御部114の制御に基づき表示を行うディスプレイ等である。マイク117は、車両Veの車内の音声、特に運転手の発話などを集音する。スピーカ118は、運転手などに対して、経路案内のための音声を出力する。 The input unit 113 is a button, touch panel, remote controller, or the like for user operation. The display unit 116 is a display or the like that displays based on the control of the control unit 114 . The microphone 117 collects sounds inside the vehicle Ve, particularly the driver's utterances. A speaker 118 outputs audio for route guidance to the driver or the like.

センサ群115は、外界センサ121と、内界センサ122とを含む。外界センサ121は、例えば、ライダ、レーダ、超音波センサ、赤外線センサ、ソナーなどの車両Veの周辺環境を認識するための1又は複数のセンサである。内界センサ122は、車両Veの測位を行うセンサであり、例えば、GNSS(Global Navigation Satellite System)受信機、ジャイロセンサ、IMU(Inertial Measurement Unit)、車速センサ、又はこれらの組合せである。なお、センサ群115は、制御部114がセンサ群115の出力から車両Veの位置を直接的に又は間接的に(即ち推定処理を行うことによって)導出可能なセンサを有していればよい。 Sensor group 115 includes external sensor 121 and internal sensor 122 . The external sensor 121 is, for example, one or more sensors for recognizing the surrounding environment of the vehicle Ve, such as a lidar, radar, ultrasonic sensor, infrared sensor, and sonar. The internal sensor 122 is a sensor that performs positioning of the vehicle Ve, and is, for example, a GNSS (Global Navigation Satellite System) receiver, a gyro sensor, an IMU (Inertial Measurement Unit), a vehicle speed sensor, or a combination thereof. It should be noted that the sensor group 115 may have a sensor that allows the control unit 114 to directly or indirectly derive the position of the vehicle Ve from the output of the sensor group 115 (that is, by performing estimation processing).

車外カメラ119は、車両Veの外部を撮影するカメラである。車外カメラ119は、車両の前方を撮影するフロントカメラのみでもよく、フロントカメラに加えて車両の後方を撮影するリアカメラを含んでもよく、車両Veの全周囲を撮影可能な全方位カメラであってもよい。一方、車内カメラ120は、車両Veの車内の様子を撮影するカメラであり、少なくとも運転席周辺を撮影可能な位置に設けられる。 The vehicle exterior camera 119 is a camera that captures the exterior of the vehicle Ve. The exterior camera 119 may be only a front camera that captures the front of the vehicle, or may include a rear camera that captures the rear of the vehicle in addition to the front camera. good too. On the other hand, the in-vehicle camera 120 is a camera for photographing the interior of the vehicle Ve, and is provided at a position capable of photographing at least the vicinity of the driver's seat.

制御部114は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)などを含み、音声出力装置100の全体を制御する。例えば、制御部114は、センサ群115の1又は複数のセンサの出力に基づき、車両Veの位置(進行方向の向きも含む)を推定する。また、制御部114は、入力部113又はマイク117により目的地が指定された場合に、当該目的地までの経路である案内経路を示す経路情報を生成し、当該経路情報と推定した車両Veの位置情報と地図DB4とに基づき、経路案内を行う。この場合、制御部114は、経路音声案内をスピーカ118から出力させる。また、制御部114は、表示部116を制御することで、再生中の音楽の情報、映像コンテンツ、又は現在位置周辺の地図などの表示を行う。 The control unit 114 includes a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and controls the entire audio output device 100 . For example, the control unit 114 estimates the position (including the traveling direction) of the vehicle Ve based on the outputs of one or more sensors in the sensor group 115 . Further, when a destination is specified by the input unit 113 or the microphone 117, the control unit 114 generates route information indicating a guidance route to the destination, Based on the positional information and the map DB 4, route guidance is provided. In this case, the control unit 114 causes the speaker 118 to output route voice guidance. Further, the control unit 114 controls the display unit 116 to display information about the music being played, video content, a map of the vicinity of the current position, or the like.

なお、制御部114が実行する処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、制御部114が実行する処理は、例えばFPGA(field-programmable gate array)又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、制御部114が本実施例において実行するプログラムを実現してもよい。このように、制御部114は、プロセッサ以外のハードウェアにより実現されてもよい。 Note that the processing executed by the control unit 114 is not limited to being realized by software based on a program, and may be realized by any combination of hardware, firmware, and software. Also, the processing executed by the control unit 114 may be implemented using a user-programmable integrated circuit such as an FPGA (field-programmable gate array) or a microcomputer. In this case, this integrated circuit may be used to implement the program executed by the control unit 114 in this embodiment. Thus, the control unit 114 may be realized by hardware other than the processor.

図2に示す音声出力装置100の構成は一例であり、図2に示す構成に対して種々の変更がなされてもよい。例えば、地図DB4を記憶部12が記憶する代わりに、制御部114が通信部111を介して経路案内に必要な情報をサーバ装置200から受信してもよい。他の例では、音声出力装置100は、スピーカ118を備える代わりに、音声出力装置100とは別体に構成された音声出力部と電気的に又は公知の通信手段によって接続することで、当該音声出力部から音声を出力させてもよい。この場合、音声出力部は、車両Veに備えられたスピーカであってもよい。さらに別の例では、音声出力装置100は、表示部116を備えなくともよい。この場合、音声出力装置100は、表示に関する制御を全く行わなくともよく、有線又は無線により、車両Ve等に備えられた表示部と電気的に接続することで、当該表示部に所定の表示を実行させてもよい。同様に、音声出力装置100は、センサ群115を備える代わりに、車両Veに備え付けられたセンサが出力する情報を、車両VeからCAN(Controller Area Network)などの通信プロトコルに基づき取得してもよい。 The configuration of the audio output device 100 shown in FIG. 2 is an example, and various modifications may be made to the configuration shown in FIG. For example, instead of storing the map DB 4 in the storage unit 12 , the control unit 114 may receive information necessary for route guidance from the server device 200 via the communication unit 111 . In another example, instead of including the speaker 118, the audio output device 100 is electrically connected to an audio output unit configured separately from the audio output device 100, or by a known communication means, so as to output the audio. Audio may be output from the output unit. In this case, the audio output unit may be a speaker provided in the vehicle Ve. In still another example, the audio output device 100 does not have to include the display section 116 . In this case, the audio output device 100 does not need to perform display-related control at all. may be executed. Similarly, instead of including the sensor group 115, the audio output device 100 may acquire information output by sensors installed in the vehicle Ve based on a communication protocol such as CAN (Controller Area Network) from the vehicle Ve. .

(サーバ装置)
サーバ装置200は、音声出力装置100から受信する目的地等を含むアップロード信号S1に基づき、車両Veが走行すべき案内経路を示す経路情報を生成する。そして、サーバ装置200は、その後に音声出力装置100が送信するアップロード信号S1が示すユーザの情報要求及び車両Veの走行状態に基づき、ユーザの情報要求に対する情報出力に関する制御信号S2を生成する。そして、サーバ装置200は、生成した制御信号S2を、音声出力装置100に送信する。
(Server device)
The server device 200 generates route information indicating a guidance route that the vehicle Ve should travel based on the upload signal S1 including the destination and the like received from the voice output device 100 . The server device 200 then generates a control signal S2 relating to information output in response to the user's information request based on the user's information request indicated by the upload signal S1 transmitted by the audio output device 100 and the running state of the vehicle Ve. The server device 200 then transmits the generated control signal S<b>2 to the audio output device 100 .

さらに、サーバ装置200は、車両Veのユーザに対する情報提供やユーザとの対話を行うためのコンテンツを生成し、音声出力装置100に送信する。ユーザに対する情報提供は、主として車両Veが所定の運転状況になったこと、または、当該車両Veから当該車両Veの周辺を撮影した画像(当該車両Veの周辺の画像)に特徴的な被写体が含まれていることをトリガとしてサーバ装置200側から開始するプッシュ型の情報提供である。また、ユーザとの対話は、基本的にユーザからの質問や問いかけから開始するプル型の対話である。但し、ユーザとの対話は、プッシュ型のコンテンツ提供から開始する場合もある。 Further, the server device 200 generates content for providing information to the user of the vehicle Ve and for interacting with the user, and transmits the content to the audio output device 100 . The information provided to the user is mainly that the vehicle Ve has entered a predetermined driving situation, or that an image of the surroundings of the vehicle Ve taken from the vehicle Ve (an image of the surroundings of the vehicle Ve) includes a characteristic subject. This is a push-type information provision that is started from the server device 200 side triggered by the presence of the information. Also, the dialog with the user is basically a pull-type dialog that starts with a question or inquiry from the user. However, interaction with the user may start with push-type content provision.

図3は、サーバ装置200の概略構成の一例を示す図である。サーバ装置200は、主に、通信部211と、記憶部212と、制御部214とを有する。サーバ装置200内の各要素は、バスライン210を介して相互に接続されている。 FIG. 3 is a diagram showing an example of a schematic configuration of the server device 200. As shown in FIG. The server device 200 mainly has a communication section 211 , a storage section 212 and a control section 214 . Each element in the server device 200 is interconnected via a bus line 210 .

通信部211は、制御部214の制御に基づき、音声出力装置100などの外部装置とのデータ通信を行う。記憶部212は、RAM、ROM、不揮発性メモリ(ハードディスクドライブ、フラッシュメモリなどを含む)などの各種のメモリにより構成される。記憶部212は、サーバ装置200が所定の処理を実行するためのプログラムが記憶される。また、記憶部212は、地図DB4を含んでいる。 The communication unit 211 performs data communication with an external device such as the audio output device 100 under the control of the control unit 214 . The storage unit 212 is composed of various types of memory such as RAM, ROM, nonvolatile memory (including hard disk drive, flash memory, etc.). Storage unit 212 stores a program for server device 200 to execute a predetermined process. Moreover, the memory|storage part 212 contains map DB4.

制御部214は、CPU、GPUなどを含み、サーバ装置200の全体を制御する。また、制御部214は、記憶部212に記憶されたプログラムを実行することで、音声出力装置100とともに動作し、ユーザに対する経路案内処理や情報提供処理などを実行する。例えば、制御部214は、音声出力装置100から通信部211を介して受信するアップロード信号S1に基づき、案内経路を示す経路情報、又は、ユーザの情報要求に対する情報出力に関する制御信号S2を生成する。そして、制御部214は、生成した制御信号S2を、通信部211により音声出力装置100に送信する The control unit 214 includes a CPU, a GPU, etc., and controls the entire server device 200 . Further, the control unit 214 operates together with the audio output device 100 by executing a program stored in the storage unit 212, and executes route guidance processing, information provision processing, and the like for the user. For example, based on the upload signal S1 received from the audio output device 100 via the communication unit 211, the control unit 214 generates route information indicating a guidance route or a control signal S2 relating to information output in response to a user's information request. Then, the control unit 214 transmits the generated control signal S2 to the audio output device 100 through the communication unit 211.

[プッシュ型のコンテンツ提供]
次に、プッシュ型のコンテンツ提供について説明する。プッシュ型のコンテンツ提供とは、音声出力装置100が、車両Veの周辺の画像と、車両Veの運転状況と、に基づき、ユーザに対してその運転状況に応じたコンテンツを音声出力することをいう。具体的に、音声出力装置100は、車外カメラ119により撮影された車両Veの周辺の画像と、車両Veの運転状況を示す運転状況情報と、を取得し、サーバ装置200へ送信する。サーバ装置200は、車両Veに搭載された音声出力装置100から受信した画像に特徴的な被写体が含まれる場合、当該画像に基づき、音声出力装置100から受信した運転状況情報に応じた案内を行うためのスクリプトを生成して音声出力装置100へ送信する。音声出力装置100は、サーバ装置200から受信した出力用コンテンツを音声出力する。こうして、車両Veの周辺の画像と、当該車両Veの運転状況と、に対応するコンテンツがユーザに対して音声出力される。
[Push-type content provision]
Next, push-type content provision will be described. The provision of push-type content means that the audio output device 100 outputs audio content corresponding to the driving situation to the user based on the image around the vehicle Ve and the driving situation of the vehicle Ve. . Specifically, the audio output device 100 acquires an image of the surroundings of the vehicle Ve captured by the exterior camera 119 and driving situation information indicating the driving situation of the vehicle Ve, and transmits the acquired information to the server device 200 . When the image received from the voice output device 100 mounted on the vehicle Ve includes a characteristic subject, the server device 200 provides guidance according to the driving situation information received from the voice output device 100 based on the image. A script is generated and transmitted to the audio output device 100 . The audio output device 100 audio-outputs the content for output received from the server device 200 . In this way, the content corresponding to the image around the vehicle Ve and the driving situation of the vehicle Ve is output to the user by voice.

車両Veの周辺の画像は、静止画像または動画像のいずれであってもよい。また、車両Veの周辺の画像は、当該車両Veの搭乗者からの指示に応じて撮影された画像であってもよく、または、当該車両Veの運転中に自動的に(当該搭乗者からの指示によらずに)撮影された画像であってもよい。 The image around the vehicle Ve may be either a still image or a moving image. In addition, the image of the surroundings of the vehicle Ve may be an image taken in response to an instruction from the passenger of the vehicle Ve, or an image automatically captured by the passenger during driving of the vehicle Ve. It may also be an image that has been taken (without instructions).

運転状況情報には、車両Veの周辺の画像が撮影された際の当該車両Veの位置に係る情報である位置情報、当該画像が撮影された際の時刻に係る情報である時刻情報、及び、当該画像が撮影された際の撮影方向に係る情報である撮影方向情報のうちの少なくとも1つが含まれている。なお、運転状況情報には、例えば、車両Veの位置の周辺の交通情報(速度規制並びに渋滞情報等を含む)及び目的地等のような、音声出力装置100の各部の機能に基づいて取得可能な少なくとも1つの情報がさらに含まれていてもよい。また、運転状況情報には、マイク117により得られた音声(ユーザの発話を除く)、及び、車内カメラ120により撮影された画像のうちのいずれかがさらに含まれていてもよい。また、運転状況情報には、通信部111を通じてサーバ装置200から受信した情報がさらに含まれていてもよい。 The driving situation information includes position information, which is information related to the position of the vehicle Ve when the image around the vehicle Ve was captured, time information, which is information related to the time when the image was captured, and At least one of shooting direction information, which is information relating to the shooting direction when the image was shot, is included. The driving status information can be acquired based on the functions of each part of the voice output device 100, such as traffic information (including speed regulation and traffic congestion information) around the position of the vehicle Ve and the destination. at least one piece of information may be further included. In addition, the driving situation information may further include either the voice (excluding the user's speech) obtained by the microphone 117 or the image captured by the in-vehicle camera 120 . Also, the driving status information may further include information received from the server device 200 through the communication unit 111 .

撮影方向情報には、例えば、車両Veの進行方向、当該車両Veの横方向、及び、当該車両Veの後ろ方向等のような、車外カメラ119の向きに対応する方向を示す情報を含めることができる。また、撮影方向情報には、車両Veの方位を示す情報を含めることができる。また、撮影方向情報には、車両Veの正面、当該車両Veの右前方、当該車両Veの左前方等のような、車外カメラ119の画角内の方向を示す情報を含めることができる。 The shooting direction information may include information indicating the direction corresponding to the orientation of the exterior camera 119, such as the traveling direction of the vehicle Ve, the lateral direction of the vehicle Ve, and the rearward direction of the vehicle Ve. can. The shooting direction information can also include information indicating the direction of the vehicle Ve. The shooting direction information can also include information indicating the direction within the angle of view of the exterior camera 119, such as the front of the vehicle Ve, the front right of the vehicle Ve, the front left of the vehicle Ve, and the like.

[案内用コンテンツの生成方法の具体例]
本実施例においては、例えば、東京タワー、富士山、及び、桜並木等のようなランドマークを、車両Veの周辺の画像に含まれる特徴的な被写体として設定することができる。サーバ装置200の制御部214は、音声出力装置100から送信された画像を分析し、その画像に含まれる特徴的な被写体を検出する。例えば、制御部214は、AI(Artificial Intelligence)を用いた物体認識を行い、画像に含まれる特徴的な物体を特徴的な被写体として抽出することができる。
[Concrete example of method for generating guidance contents]
In this embodiment, for example, landmarks such as Tokyo Tower, Mt. Fuji, and rows of cherry trees can be set as characteristic subjects included in the image around the vehicle Ve. The control unit 214 of the server device 200 analyzes the image transmitted from the audio output device 100 and detects a characteristic subject included in the image. For example, the control unit 214 can perform object recognition using AI (Artificial Intelligence) and extract a characteristic object included in the image as a characteristic subject.

なお、制御部214は、画像の分析結果に加えて、運転状況情報を用いて特徴的な被写体を特定してもよい。例えば、制御部214は、画像の分析によりその画像にタワーが映っていることを検出し、かつ、運転状況情報に含まれる位置情報に基づき車両Veが東京タワーの近くにいると判定した場合、そのタワーを東京タワーと特定することができる。また、制御部214は、画像の分析によりその画像に山が映っていることを検出し、かつ、運転状況情報の撮影方向情報に基づきその画像が富士山の方向を撮影した画像であると判定した場合、その山を富士山と特定することができる。 Note that the control unit 214 may specify a characteristic subject using the driving situation information in addition to the analysis result of the image. For example, when the control unit 214 detects that a tower is shown in the image by analyzing the image, and determines that the vehicle Ve is near Tokyo Tower based on the position information included in the driving situation information, The tower can be identified as Tokyo Tower. Further, the control unit 214 detects that a mountain is reflected in the image by analyzing the image, and determines that the image is an image taken in the direction of Mt. Fuji based on the shooting direction information of the driving situation information. In this case, the mountain can be identified as Mt.Fuji.

例えば、車両Veの周辺の画像に東京タワー並びにビル群が含まれており、かつ、当該車両Veから受信した運転状況情報に含まれる撮影方向情報が当該車両Veの正面を示している場合に、サーバ装置200は、当該画像に基づき、当該撮影方向情報に応じた案内を行うためのスクリプトSC11として、「東京タワーがビルの間から正面に見えます。」を生成する。そして、サーバ装置200は、スクリプトSC11を案内用コンテンツとして音声出力装置100へ送信する。こうして、スクリプトSC11がユーザに対して音声出力される。 For example, when the image around the vehicle Ve includes Tokyo Tower and a group of buildings, and the shooting direction information included in the driving situation information received from the vehicle Ve indicates the front of the vehicle Ve, Based on the image, the server device 200 generates a script SC11 for providing guidance according to the shooting direction information, "Tokyo Tower can be seen in front from between buildings." Then, the server device 200 transmits the script SC11 to the audio output device 100 as guidance content. Thus, the script SC11 is audibly output to the user.

なお、本実施例によれば、例えば、車両Veの周辺の画像に東京タワーが含まれておらず、当該画像にビル群が含まれており、かつ、当該車両Veから受信した運転状況情報に含まれる位置情報が東京タワーの近辺の位置を示している場合に、サーバ装置200は、「この位置からでは東京タワーが見えないですね。」というスクリプトを生成することができる。 According to this embodiment, for example, the image around the vehicle Ve does not include Tokyo Tower, the image includes a group of buildings, and the driving situation information received from the vehicle Ve includes If the included location information indicates a location in the vicinity of Tokyo Tower, the server device 200 can generate a script saying, "You can't see Tokyo Tower from this location, can you?"

例えば、車両Veの周辺の画像に富士山が含まれており、当該車両Veから受信した運転状況情報に含まれる位置情報が富士山を目視で視認可能なエリア内の位置を示しており、かつ、当該運転状況情報に含まれる撮影方向情報が当該車両Veの正面を示している場合に、サーバ装置200は、当該画像に基づき、当該位置情報及び当該撮影方向情報に応じた案内を行うためのスクリプトSC12として、「富士山が正面に一望できます。」を生成する。そして、サーバ装置200は、スクリプトSC12を案内用コンテンツとして音声出力装置100へ送信する。こうして、スクリプトSC12がユーザに対して音声出力される。 For example, an image of the surroundings of a vehicle Ve includes Mt. Fuji, the position information included in the driving situation information received from the vehicle Ve indicates a position within an area where Mt. When the photographing direction information included in the driving situation information indicates the front of the vehicle Ve, the server apparatus 200 executes a script SC12 for providing guidance according to the position information and the photographing direction information based on the image. , "Mt. Fuji can be seen in front of you." is generated. Then, the server device 200 transmits the script SC12 to the audio output device 100 as guidance content. Thus, the script SC12 is audibly output to the user.

例えば、車両Veの周辺の画像に開花前の桜並木が含まれており、かつ、当該車両Veから受信した運転状況情報に含まれる時刻情報が4月以外の月を示している場合に、サーバ装置200は、当該画像に基づき、当該時刻情報に応じた案内を行うためのスクリプトSC13として、「ここの道は4月になると桜が満開になりますよ。」を生成する。そして、サーバ装置200は、スクリプトSC13を案内用コンテンツとして音声出力装置100へ送信する。こうして、スクリプトSC13がユーザに対して音声出力される。 For example, if the image around the vehicle Ve includes rows of cherry blossom trees before blooming and the time information included in the driving status information received from the vehicle Ve indicates a month other than April, the server Based on the image, the device 200 generates a script SC13 for providing guidance in accordance with the time information, "Cherry blossoms will be in full bloom on this road in April." Then, the server device 200 transmits the script SC13 to the audio output device 100 as guidance content. Thus, the script SC13 is voice-output to the user.

(処理フロー)
図4は、サーバ装置において行われる処理を説明するためのフローチャートである。
(processing flow)
FIG. 4 is a flow chart for explaining the processing performed in the server device.

まず、制御部114は、車外カメラ119により撮影された車両Veの周辺の画像を取得し、サーバ装置200へ送信する。サーバ装置200は、音声出力装置100から送信された画像を取得する(ステップS11)。 First, the control unit 114 acquires an image of the surroundings of the vehicle Ve photographed by the exterior camera 119 and transmits the image to the server device 200 . The server device 200 acquires the image transmitted from the audio output device 100 (step S11).

次に、制御部114は、ステップS11において画像を取得した際の車両Veの運転状況に係る情報である運転状況情報を取得し、サーバ装置200へ送信する。サーバ装置200は、音声出力装置100から送信された運転状況情報を取得する(ステップS12)。 Next, the control unit 114 acquires driving situation information, which is information related to the driving situation of the vehicle Ve when the image was acquired in step S<b>11 , and transmits the information to the server device 200 . The server device 200 acquires the driving situation information transmitted from the voice output device 100 (step S12).

制御部214は、ステップS11において取得した画像を分析することにより、当該画像に特徴的な被写体が含まれているか否かを判定する(ステップS13)。 The control unit 214 analyzes the image acquired in step S11 to determine whether or not the image includes a characteristic subject (step S13).

制御部214は、ステップS11において取得した画像に特徴的な被写体が含まれていないと判定した場合(ステップS13:NO)には、ステップS14以降の処理を行わずに処理を終了する。 When the control unit 214 determines that the image acquired in step S11 does not include a characteristic subject (step S13: NO), the processing ends without performing the processing after step S14.

制御部214は、ステップS11において取得した画像に特徴的な被写体が含まれていると判定した場合(ステップS13:YES)には、当該画像に基づき、ステップS12において取得した運転状況情報に応じた案内を行うためのスクリプトを生成する(ステップS14)。 When the control unit 214 determines that the image acquired in step S11 includes a characteristic subject (step S13: YES), the control unit 214 determines the driving situation information acquired in step S12 based on the image. A script for guidance is generated (step S14).

次に、制御部214は、ステップS14において生成したスクリプトに係る情報である生成済コンテンツ情報を記憶部212に記憶させるための処理を行う(ステップS15)。 Next, the control unit 214 performs processing for storing generated content information, which is information related to the script generated in step S14, in the storage unit 212 (step S15).

前述の生成済コンテンツ情報には、ステップS14において生成されたスクリプトと、当該スクリプトの生成時に用いられた運転状況情報と、当該運転状況情報とともに取得された画像と、が含まれている。すなわち、ステップS15の処理によれば、ステップS14において生成されたスクリプトに相当する生成済の案内用コンテンツと、当該生成済の案内用コンテンツの生成時に用いられた運転状況情報と、当該運転状況情報とともに取得された画像と、を関連付けた情報が生成済コンテンツ情報として記憶部212に記憶される。 The generated content information described above includes the script generated in step S14, the driving situation information used when generating the script, and the image acquired together with the driving situation information. That is, according to the process of step S15, the generated guidance content corresponding to the script generated in step S14, the driving situation information used when generating the generated guidance content, and the driving situation information The information associated with the image acquired together with the image is stored in the storage unit 212 as generated content information.

次に、制御部214は、ステップS14において生成したスクリプトを案内用コンテンツとして取得し、当該取得した案内用コンテンツを音声出力装置100へ送信する(ステップS16)。こうして、サーバ装置200によるコンテンツの生成は終了する。音声出力装置100は、サーバ装置200から受信したコンテンツを、車両Veの搭乗者に対して音声出力する。 Next, the control unit 214 acquires the script generated in step S14 as guidance content, and transmits the acquired guidance content to the audio output device 100 (step S16). Thus, the generation of content by the server device 200 ends. The audio output device 100 audio-outputs the content received from the server device 200 to passengers of the vehicle Ve.

本実施例によれば、サーバ装置200がコンテンツ生成装置としての機能を有し、制御部214が情報取得部及びコンテンツ生成部としての機能を有する。 According to this embodiment, the server device 200 functions as a content generation device, and the control unit 214 functions as an information acquisition unit and a content generation unit.

なお、本実施例においては、図4の各処理のうちの少なくとも一部の処理が制御部114において行われるものであってもよい。 Incidentally, in the present embodiment, at least a part of the processes in FIG. 4 may be performed by the control unit 114.

すなわち、本実施例によれば、音声出力装置100がコンテンツ生成装置としての機能を有していてもよく、さらに、制御部114が情報取得部及びコンテンツ生成部としての機能を有していてもよい。 That is, according to this embodiment, the audio output device 100 may function as a content generation device, and the control unit 114 may function as an information acquisition unit and a content generation unit. good.

以上に述べたように、本実施例によれば、画像に特徴的な被写体が含まれている場合に、当該画像に基づき、当該画像を取得した際の車両の運転状況に係る情報である運転状況情報に応じた案内を行うための案内用コンテンツを生成することができる。そのため、本実施例によれば、車両の搭乗者に対して案内を行うためのコンテンツとして、当該搭乗者の視点を考慮したコンテンツを出力することができる。 As described above, according to the present embodiment, when a characteristic subject is included in an image, based on the image, the driving condition, which is the information related to the driving situation of the vehicle when the image was obtained, is obtained. It is possible to generate guidance content for providing guidance according to situation information. Therefore, according to the present embodiment, it is possible to output content that considers the viewpoint of the passenger as content for providing guidance to the passenger of the vehicle.

(変形例)
以下、上記の実施例に対する変形例を説明する。図5は、サーバ装置において行われる処理の変形例を説明するための図である。
(Modification)
Modifications of the above embodiment will be described below. FIG. 5 is a diagram for explaining a modification of the processing performed in the server device.

変形例によれば、ステップS14に示したスクリプトの生成に係る処理の代わりに、例えば、記憶部212に記憶されている生成済コンテンツ情報に含まれる生成済のスクリプトの中から、車両Veの運転状況情報に応じたスクリプトを取得するための処理が行われるものであってもよい。このような処理の具体例について以下に述べる。 According to the modified example, instead of the script generation processing shown in step S14, for example, the generated script included in the generated content information stored in the storage unit 212 is used to generate the driving of the vehicle Ve. A process for acquiring a script according to the situation information may be performed. A specific example of such processing will be described below.

制御部214は、記憶部212に記憶されている生成済コンテンツ情報を参照することにより、ステップS12において得られた運転状況情報に対応する生成済のスクリプトがあるか否かを判定する(ステップS21)。 By referring to the generated content information stored in the storage unit 212, the control unit 214 determines whether or not there is a generated script corresponding to the driving situation information obtained in step S12 (step S21). ).

制御部214は、ステップS12において得られた運転状況情報に対応する生成済のスクリプトがないと判定した場合(ステップS21:NO)には、ステップS13の処理を行う。また、制御部214は、ステップS12において得られた運転状況情報に対応する生成済のスクリプトがあると判定した場合(ステップS21:YES)には、当該生成済のスクリプトを取得した(ステップS22)後、ステップS16の処理を行う。 If the control unit 214 determines that there is no generated script corresponding to the driving situation information obtained in step S12 (step S21: NO), it performs the process of step S13. If the control unit 214 determines that there is a generated script corresponding to the driving situation information obtained in step S12 (step S21: YES), it acquires the generated script (step S22). After that, the process of step S16 is performed.

具体的には、制御部214は、ステップS12において得られた運転状況情報に含まれている位置情報及び撮影方向情報に基づき、ステップS11において得られた画像が、生成済コンテンツ情報に含まれる他の画像の撮影状況と同様の撮影状況(例えば同じ撮影位置かつ同じ撮影方向)で撮影されたか否かを検知する。そして、制御部214は、ステップS11において得られた画像が、生成済コンテンツ情報に含まれる他の画像の撮影状況と同様の撮影状況で撮影されていないことを検知した場合には、ステップS12において得られた運転状況情報に対応する生成済のスクリプトがないと判定し、ステップS13の処理を行う。また、制御部214は、ステップS11において得られた画像が、生成済コンテンツ情報に含まれる他の画像の撮影状況と同様の撮影状況で撮影されたことを検知した場合には、ステップS12において得られた運転状況情報に対応する生成済のスクリプトがあると判定し、当該生成済のスクリプトを取得した後、ステップS16の処理を行う。 Specifically, the control unit 214 determines whether the image obtained in step S11 is included in the generated content information based on the position information and the shooting direction information included in the driving situation information obtained in step S12. It is detected whether or not the image was captured in the same shooting situation as the image in (for example, the same shooting position and the same shooting direction). Then, if the control unit 214 detects that the image obtained in step S11 was not shot in the same shooting conditions as the other images included in the generated content information, in step S12 It is determined that there is no generated script corresponding to the obtained driving situation information, and the process of step S13 is performed. If the control unit 214 detects that the image obtained in step S11 was shot in the same shooting conditions as the other images included in the generated content information, the control unit 214 After determining that there is a generated script corresponding to the received driving situation information and obtaining the generated script, the process of step S16 is performed.

以上に述べた変形例に係る処理によれば、車両Veの周辺の画像が他の画像と同様の状況で撮影されたことが検知された場合に、案内用コンテンツを生成するための処理の代わりに、当該案内用コンテンツとして生成済のコンテンツを取得するための処理が行われる。そのため、以上に述べた変形例に係る処理によれば、例えば、スクリプトの生成に係る処理により生じるサーバ装置200の負荷を軽減することができる。 According to the process according to the modified example described above, when it is detected that the image around the vehicle Ve was shot in the same situation as other images, instead of the process for generating the guidance content, Then, a process is performed to acquire the content that has already been generated as the guidance content. Therefore, according to the process according to the modification described above, for example, the load on the server device 200 caused by the process related to script generation can be reduced.

なお、上述した各実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータである制御部等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。 Note that in each of the above-described embodiments, the program can be stored using various types of non-transitory computer readable media and supplied to a control unit or the like that is a computer. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic storage media (e.g., flexible discs, magnetic tapes, hard disk drives), magneto-optical storage media (e.g., magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。 Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention. That is, the present invention naturally includes various variations and modifications that a person skilled in the art can make according to the entire disclosure including the scope of claims and technical ideas. In addition, the disclosures of the cited patent documents and the like are incorporated herein by reference.

100 音声出力装置
200 サーバ装置
111、211 通信部
112、212 記憶部
113 入力部
114、214 制御部
115 センサ群
116 表示部
117 マイク
118 スピーカ
119 車外カメラ
120 車内カメラ
100 audio output device 200 server device 111, 211 communication unit 112, 212 storage unit 113 input unit 114, 214 control unit 115 sensor group 116 display unit 117 microphone 118 speaker 119 exterior camera 120 interior camera

Claims (8)

車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部と、
前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部と、
を備えるコンテンツ生成装置。
an information acquisition unit that acquires an image of the surroundings of the vehicle taken from the vehicle and driving situation information that is information related to the driving situation of the vehicle;
a content generation unit that generates guidance content, which is content used for providing guidance according to the driving situation information, based on the image when the image includes a characteristic subject;
A content generation device comprising:
前記運転状況情報には、前記画像が撮影された際の前記車両の位置に係る情報である位置情報、前記画像が撮影された際の時刻に係る情報である時刻情報、及び、前記画像が撮影された際の撮影方向に係る情報である撮影方向情報のうちの少なくとも1つが含まれている請求項1に記載のコンテンツ生成装置。 The driving situation information includes position information, which is information related to the position of the vehicle when the image was captured, time information, which is information related to the time when the image was captured, and the time when the image was captured. 2. The content generation device according to claim 1, wherein at least one of shooting direction information that is information relating to the shooting direction when the content is generated is included. 前記撮影方向情報には、前記車両に設けられた車外カメラの向きに対応する方向を示す情報、前記車両の方位を示す情報、及び、前記車外カメラの画角内の方向を示す情報のうちの少なくとも1つが含まれている請求項2に記載のコンテンツ生成装置。 The photographing direction information includes information indicating a direction corresponding to an orientation of an exterior camera provided in the vehicle, information indicating the orientation of the vehicle, and information indicating a direction within the angle of view of the exterior camera. 3. The content generation device of claim 2, comprising at least one. 前記コンテンツ生成部は、前記運転状況情報に含まれる前記位置情報及び前記撮影方向情報に基づき、前記画像が他の画像の撮影状況と同様の撮影状況で撮影されたことを検知した場合に、前記案内用コンテンツを生成するための処理を行う代わりに、前記案内用コンテンツとして生成済のコンテンツを取得するための処理を行う請求項2または3に記載のコンテンツ生成装置。 Based on the position information and the shooting direction information included in the driving situation information, the content generation unit, when detecting that the image was shot in a shooting situation similar to that of another image, generates the 4. The contents generating apparatus according to claim 2, wherein instead of performing the process for generating guidance contents, a process for obtaining already generated contents as said guidance contents is performed. 前記コンテンツ生成部は、前記案内用コンテンツとして生成した生成済のコンテンツと、前記生成済のコンテンツの生成時に用いた前記運転状況情報と、前記画像と、を関連付けた情報である生成済コンテンツ情報を記憶部に記憶させる請求項1乃至4のいずれか一項に記載のコンテンツ生成装置。 The content generation unit generates generated content information that is information in which the generated content generated as the guide content, the driving situation information used when generating the generated content, and the image are associated with each other. 5. The content generation device according to any one of claims 1 to 4, which is stored in a storage unit. 車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得し、
前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成方法。
Acquiring an image of the surroundings of the vehicle taken from the vehicle and driving situation information that is information related to the driving situation of the vehicle;
A content generation method for generating guidance content, which is content used for providing guidance according to the driving situation information, based on the image when the image includes a characteristic subject.
コンピュータを備えるコンテンツ生成装置により実行されるプログラムであって、
車両から前記車両の周辺を撮影した画像と、前記車両の運転状況に係る情報である運転状況情報と、を取得する情報取得部、及び、
前記画像に特徴的な被写体が含まれている場合に、前記画像に基づき、前記運転状況情報に応じた案内を行うために用いられるコンテンツである案内用コンテンツを生成するコンテンツ生成部として前記コンピュータを機能させるプログラム。
A program executed by a content generation device comprising a computer,
an information acquisition unit that acquires an image of the surroundings of the vehicle taken from the vehicle and driving situation information that is information related to the driving situation of the vehicle;
the computer as a content generation unit that generates guidance content, which is content used to provide guidance according to the driving situation information, based on the image when the image includes a characteristic subject; A program that works.
請求項7に記載のプログラムを記憶した記憶媒体。 A storage medium storing the program according to claim 7 .
JP2021116380A 2021-07-14 2021-07-14 Content generator, method for generating content, program, and recording medium Pending JP2023012733A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021116380A JP2023012733A (en) 2021-07-14 2021-07-14 Content generator, method for generating content, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021116380A JP2023012733A (en) 2021-07-14 2021-07-14 Content generator, method for generating content, program, and recording medium

Publications (1)

Publication Number Publication Date
JP2023012733A true JP2023012733A (en) 2023-01-26

Family

ID=85129540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021116380A Pending JP2023012733A (en) 2021-07-14 2021-07-14 Content generator, method for generating content, program, and recording medium

Country Status (1)

Country Link
JP (1) JP2023012733A (en)

Similar Documents

Publication Publication Date Title
JP4556586B2 (en) Driving assistance device
JP6808064B2 (en) Map information management device, map information management system, and map information management method
JPH11271074A (en) Device and method for comparing mark image and program storage medium
JP2023105143A (en) Information processor, method for outputting information, program, and recording medium
JP2023072001A (en) Information processing device, control method, program, and storage medium
JPWO2017159662A1 (en) Route learning system and route learning program
JP2023012733A (en) Content generator, method for generating content, program, and recording medium
US20230003538A1 (en) Information processing device, information output method, program, and storage medium
JP7225819B2 (en) vehicle
WO2023073949A1 (en) Voice output device, server device, voice output method, control method, program, and storage medium
WO2023063405A1 (en) Content generation device, content generation method, program, and storage medium
WO2023286826A1 (en) Content output device, content output method, program, and storage medium
WO2023112147A1 (en) Voice output device, voice output method, program, and storage medium
WO2023286827A1 (en) Content output device, content output method, program, and storage medium
WO2023112148A1 (en) Audio output device, audio output method, program, and storage medium
WO2023062817A1 (en) Voice recognition device, control method, program, and storage medium
WO2023163047A1 (en) Terminal device, information providing system, information processing method, program, and storage medium
WO2023163196A1 (en) Content output device, content output method, program, and recording medium
WO2023162189A1 (en) Content output device, content output method, program, and storage medium
WO2023073948A1 (en) Voice output device, voice output method, program, and storage medium
JP2023011136A (en) Content output device, method for outputting content, program, and recording medium
WO2023062814A1 (en) Audio output device, audio output method, program, and storage medium
WO2023062816A1 (en) Content output device, content output method, program, and storage medium
JP2023087814A (en) Information processing device, prediction method, program, and storage medium
JP2023088005A (en) Voice output device, voice output method, program, and storage medium