JP2021081800A

JP2021081800A - Information providing system

Info

Publication number: JP2021081800A
Application number: JP2019206420A
Authority: JP
Inventors: 千尋因幡; Chihiro Inaba; 俊幸萩谷; Toshiyuki Hagiya
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-11-14
Filing date: 2019-11-14
Publication date: 2021-05-27

Abstract

To improve a technology of providing information related to an object person of meeting.SOLUTION: A plurality of on-vehicle devices 30 transmits on-vehicle camera images and pieces of position information respectively associated with the on-vehicle camera images to a server 20. A terminal apparatus 40 transmits user identification information and the position information to the server 20. The server 20 clusters person images in the on-vehicle camera images imaged in the vicinity of the position information of the user, on the basis of similarity, and transmits the clustered person images to the terminal apparatus 40. The terminal apparatus 40 transmits a selection result of selecting a person image of the user from the clustered person images to the server 20. When the server 20 receives an on-vehicle camera image containing the person image of the user from a prescribed on-vehicle device 30 from among the plurality of on-vehicle devices 30, the server provides information containing dress information related to the user on the basis of the selection result.SELECTED DRAWING: Figure 3

Description

本開示は、待ち合わせの対象人物に係る情報提供システムに関する。 This disclosure relates to an information providing system relating to a person subject to a meeting.

車両で移動して待ち合わせ相手と会う場合において、待ち合わせをスムーズに行うための情報を提供することが望まれている。特許文献１には、車両外にいる待ち合わせ相手の認証を実行し、車両外にいる人物が予め登録している人物と合致する場合にその人物に向けた特定のメッセージを表示することが開示されている。かかる表示により待ち合わせ相手は、目的の車両を探し出すことができる。ここで特許文献１における上記認証は、車外センサにより取得した画像情報と登録画像情報とを比較することによって行うことが開示されている。 It is desired to provide information for smooth meeting when moving by vehicle and meeting with a meeting partner. Patent Document 1 discloses that authentication of a meeting partner outside the vehicle is executed, and when a person outside the vehicle matches a person registered in advance, a specific message directed to that person is displayed. ing. With such a display, the meeting partner can find the target vehicle. Here, it is disclosed that the above-mentioned authentication in Patent Document 1 is performed by comparing the image information acquired by the external sensor with the registered image information.

特開２０１８−１５６１７４JP-A-2018-156174

特許文献１では予め車両外にいる人物の画像情報を登録する必要があるものの、具体的な登録方法、及び登録に伴うプライバシーに関して検討されていない。また特許文献１では、車外センサにより取得された画像情報を用いて認証するものの、画像情報の対象人物の顔の向きによっては、認証精度が低下する虞がある。すなわち待ち合わせの対象人物に係る情報提供の技術には改善の余地がある。 Although it is necessary to register the image information of a person outside the vehicle in advance in Patent Document 1, the specific registration method and the privacy associated with the registration are not examined. Further, in Patent Document 1, although the image information acquired by the sensor outside the vehicle is used for authentication, the authentication accuracy may be lowered depending on the orientation of the face of the target person in the image information. In other words, there is room for improvement in the technology for providing information related to the person to be met.

かかる事情に鑑みてなされた本開示の目的は、待ち合わせの対象人物に係る情報提供の技術を改善することにある。 The purpose of the present disclosure made in view of such circumstances is to improve the technique of providing information relating to the person to be met.

本開示の一実施形態に係る情報提供システムは、
複数の車両にそれぞれ搭載された複数の車載機器と、端末装置と、前記複数の車載機器及び前記端末装置と通信可能なサーバと、を備える情報提供システムであって、
前記複数の車載機器が、車載カメラ画像と、前記車載カメラ画像に対応付けられた位置情報とを前記サーバに送信し、
前記端末装置が、ユーザの識別情報及び位置情報を前記サーバに送信し、
前記サーバが、前記ユーザの位置情報付近で撮像された前記車載カメラ画像中の人画像を類似度に基づきクラスタリングし、クラスタリングされた人画像を前記端末装置に送信し、
前記端末装置が、前記クラスタリングされた人画像の中から前記ユーザの人画像を選択した選択結果を前記サーバに送信し、
前記サーバが、前記複数の車載機器のうち所定の車載機器から前記ユーザの人画像を含む車載カメラ画像を受信すると、前記選択結果に基づき前記ユーザに係る服装情報を含む情報を提供する。 The information providing system according to the embodiment of the present disclosure is
An information providing system including a plurality of in-vehicle devices mounted on a plurality of vehicles, a terminal device, and a server capable of communicating with the plurality of in-vehicle devices and the terminal device.
The plurality of in-vehicle devices transmit the in-vehicle camera image and the position information associated with the in-vehicle camera image to the server.
The terminal device transmits the user's identification information and location information to the server.
The server clusters the human images in the vehicle-mounted camera image captured in the vicinity of the user's position information based on the similarity, and transmits the clustered human images to the terminal device.
The terminal device transmits the selection result of selecting the human image of the user from the clustered human images to the server.
When the server receives an in-vehicle camera image including a human image of the user from a predetermined in-vehicle device among the plurality of in-vehicle devices, it provides information including clothes information related to the user based on the selection result.

本開示の一実施形態に係る情報提供システムによれば、待ち合わせの対象人物に係る情報提供の技術を改善することができる。 According to the information providing system according to the embodiment of the present disclosure, it is possible to improve the technique of providing information related to the person to be met.

本開示の一実施形態に係る情報提供システムの構成を示す構成図である。It is a block diagram which shows the structure of the information provision system which concerns on one Embodiment of this disclosure. 本開示の一実施形態に係る情報提供システムの動作の概要を示す図である。It is a figure which shows the outline of the operation of the information providing system which concerns on one Embodiment of this disclosure. 本開示の一実施形態に係る情報提供システムの動作を示す図である。It is a figure which shows the operation of the information providing system which concerns on one Embodiment of this disclosure.

以下、本開示の実施形態に係る情報提供システムについて、図面を参照して説明する。 Hereinafter, the information providing system according to the embodiment of the present disclosure will be described with reference to the drawings.

各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。 In each figure, the same or corresponding parts are designated by the same reference numerals. In the description of the present embodiment, the description will be omitted or simplified as appropriate for the same or corresponding parts.

図１を参照して、本実施形態に係る情報提供システム１０の構成を説明する。 The configuration of the information providing system 10 according to the present embodiment will be described with reference to FIG.

本実施形態に係る情報提供システム１０は、サーバ２０と、複数の車載機器３０と、少なくとも１台の端末装置４０とを備える。 The information providing system 10 according to the present embodiment includes a server 20, a plurality of in-vehicle devices 30, and at least one terminal device 40.

サーバ２０は、ネットワーク５０を介して複数の車載機器３０と通信可能である。ネットワーク５０は、インターネット、アドホックネットワーク、ＬＡＮ(Local Area Network)、ＭＡＮ(Metropolitan Area Network)、セルラーネットワーク、ＷＰＡＮ(Wireless Personal Area Network)、ＰＳＴＮ(Public Switched Telephone Network)、地上波無線ネットワーク(Terrestrial Wireless Network)、光ネットワークもしくは他のネットワークまたはこれらいずれかの組合せを含む。無線ネットワークの構成要素には、例えば、アクセスポイント(例えば、Wi-Fiアクセスポイント)、フェムトセル等が含まれる。 The server 20 can communicate with a plurality of in-vehicle devices 30 via the network 50. The network 50 includes the Internet, an ad hoc network, a LAN (Local Area Network), a MAN (Metropolitan Area Network), a cellular network, a WPAN (Wireless Personal Area Network), a PSTN (Public Switched Telephone Network), and a Terrestrial Wireless Network. ), Optical networks or other networks or combinations thereof. The components of the wireless network include, for example, an access point (eg, a Wi-Fi access point), a femtocell, and the like.

サーバ２０は、データセンタなどの施設に設置される。サーバ２０は、例えば、クラウドコンピューティングシステム又はその他のコンピューティングシステムに属するサーバである。 The server 20 is installed in a facility such as a data center. The server 20 is, for example, a server belonging to a cloud computing system or other computing system.

複数の車載機器３０は、各車両３８に搭載又は設置される。車載機器３０は、例えば、カーナビゲーション機器などである。 The plurality of vehicle-mounted devices 30 are mounted or installed on each vehicle 38. The in-vehicle device 30 is, for example, a car navigation device.

複数の車両３８は、例えば、ガソリン車、ディーゼル車、ＨＶ(hybrid vehicle)、ＰＨＶ(plug-in hybrid vehicle)、ＥＶ(electric vehicle)、又はＦＣＶ(fuel cell vehicle)などの任意の種類の自動車である。図１では車両３８を２台例示しているが、車両３８の数はこれに限られず、３台以上であってもよい。 The plurality of vehicles 38 may be any type of vehicle such as a gasoline vehicle, a diesel vehicle, an HV (hybrid vehicle), a PHV (plug-in hybrid vehicle), an EV (electric vehicle), or an FCV (fuel cell vehicle). is there. Although two vehicles 38 are illustrated in FIG. 1, the number of vehicles 38 is not limited to this, and may be three or more.

端末装置４０は、ユーザによって保持される。本実施の形態では端末装置４０は、待ち合わせ対象のユーザ（以下、歩行者Ａともいう。）によって保持される。端末装置４０は、例えば、携帯電話機、スマートフォン、若しくはタブレットなどのモバイル機器、又はＰＣである。 The terminal device 40 is held by the user. In the present embodiment, the terminal device 40 is held by the user to be met (hereinafter, also referred to as pedestrian A). The terminal device 40 is, for example, a mobile device such as a mobile phone, a smartphone, or a tablet, or a PC.

概略として、本実施形態に係る情報提供システム１０では、複数の車載機器３０が、車載カメラ画像と、該車載カメラ画像に対応付けられた位置情報とをサーバ２０に送信し、端末装置４０が、歩行者Ａのユーザの識別情報及び位置情報をサーバ２０に送信する。サーバ２０は、歩行者Ａの位置情報付近で撮像された車載カメラ画像中の人物の画像（以下、人画像ともいう。）を類似度に基づきクラスタリングし、クラスタリングされた人画像を端末装置４０に送信する。端末装置４０は、クラスタリングされた人画像の中から歩行者Ａの人画像を選択した選択結果をサーバ２０に送信する。サーバ２０は、待ち合わせの対象の車両３８の車載機器３０から歩行者Ａの人画像を含む車載カメラ画像を受信すると、選択結果に基づき歩行者Ａに係る服装情報を含む情報を提供する。 As a general rule, in the information providing system 10 according to the present embodiment, the plurality of vehicle-mounted devices 30 transmit the vehicle-mounted camera image and the position information associated with the vehicle-mounted camera image to the server 20, and the terminal device 40 transmits the vehicle-mounted camera image and the position information associated with the vehicle-mounted camera image. The user identification information and position information of the pedestrian A are transmitted to the server 20. The server 20 clusters an image of a person (hereinafter, also referred to as a person image) in the vehicle-mounted camera image captured near the position information of the pedestrian A based on the degree of similarity, and transmits the clustered person image to the terminal device 40. Send. The terminal device 40 transmits to the server 20 the selection result of selecting the human image of the pedestrian A from the clustered human images. When the server 20 receives the vehicle-mounted camera image including the human image of the pedestrian A from the vehicle-mounted device 30 of the vehicle 38 to be met, the server 20 provides information including the clothing information related to the pedestrian A based on the selection result.

本実施形態によれば、複数の車載機器３０からの車載カメラ画像中の人画像をクラスタリングし、クラスタリングされた人画像から自己に該当する人画像を歩行者Ａの選択により特定するため、予め歩行者Ａの情報をシステムに登録する必要がない。また歩行者Ａの個人情報をシステムに事前に登録等する必要がないためプライバシーの問題を低減することができる。さらに、サーバ２０が対象の車載機器３０に提供する情報に歩行者Ａに係る服装情報を含むため、歩行者Ａを探し出すための有効なアドバイスを運転者に提供することができる。すなわち本実施形態によれば、待ち合わせの際における情報提供の技術を改善することができる。 According to the present embodiment, the human images in the vehicle-mounted camera images from the plurality of vehicle-mounted devices 30 are clustered, and the person image corresponding to the self is specified from the clustered human images by the selection of the pedestrian A. There is no need to register the information of person A in the system. Further, since it is not necessary to register the personal information of the pedestrian A in the system in advance, the problem of privacy can be reduced. Further, since the information provided by the server 20 to the target vehicle-mounted device 30 includes the clothing information related to the pedestrian A, it is possible to provide the driver with effective advice for finding the pedestrian A. That is, according to the present embodiment, it is possible to improve the technique of providing information at the time of meeting.

図１を再び参照して、本実施形態に係るサーバ２０の構成を説明する。 The configuration of the server 20 according to the present embodiment will be described with reference to FIG. 1 again.

サーバ２０は、制御部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５とを備える。 The server 20 includes a control unit 21, a storage unit 22, a communication unit 23, an input unit 24, and an output unit 25.

制御部２１には、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組み合わせが含まれる。プロセッサは、ＣＰＵ（central processing unit）若しくはＧＰＵ（graphics processing unit）などの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（field-programmable gate array）又はＡＳＩＣ（application specific integrated circuit）である。制御部２１は、サーバ２０の各部を制御しながら、サーバ２０の動作に関わる処理を実行する。 The control unit 21 includes at least one processor, at least one dedicated circuit, or a combination thereof. The processor is a general-purpose processor such as a CPU (central processing unit) or GPU (graphics processing unit), or a dedicated processor specialized for a specific process. The dedicated circuit is, for example, an FPGA (field-programmable gate array) or an ASIC (application specific integrated circuit). The control unit 21 executes processing related to the operation of the server 20 while controlling each unit of the server 20.

記憶部２２には、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組み合わせが含まれる。半導体メモリは、例えば、ＲＡＭ（random access memory）又はＲＯＭ（read only memory）である。ＲＡＭは、例えば、ＳＲＡＭ（static random access memory）又はＤＲＡＭ（dynamic random access memory）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（electrically erasable programmable read only memory）である。記憶部２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部２２には、サーバ２０の動作に用いられるデータと、サーバ２０の動作によって得られたデータとが記憶される。 The storage unit 22 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or at least two combinations thereof. The semiconductor memory is, for example, a RAM (random access memory) or a ROM (read only memory). The RAM is, for example, SRAM (static random access memory) or DRAM (dynamic random access memory). The ROM is, for example, an EEPROM (electrically erasable programmable read only memory). The storage unit 22 functions as, for example, a main storage device, an auxiliary storage device, or a cache memory. The storage unit 22 stores data used for the operation of the server 20 and data obtained by the operation of the server 20.

通信部２３には、少なくとも１つの通信用インタフェースが含まれる。通信用インタフェースは、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th generation）、若しくは５Ｇ（5th generation）などの移動通信規格に対応したインタフェース、Bluetooth（登録商標）などの近距離無線通信に対応したインタフェース、又はＬＡＮインタフェースである。通信部２３は、サーバ２０の動作に用いられるデータを受信し、またサーバ２０の動作によって得られるデータを送信する。 The communication unit 23 includes at least one communication interface. The communication interface supports, for example, an interface compatible with mobile communication standards such as LTE (Long Term Evolution), 4G (4th generation), or 5G (5th generation), and short-range wireless communication such as Bluetooth (registered trademark). An interface or a LAN interface. The communication unit 23 receives the data used for the operation of the server 20 and transmits the data obtained by the operation of the server 20.

入力部２４には、少なくとも１つの入力用インタフェースが含まれる。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクである。入力部２４は、サーバ２０の動作に用いられるデータを入力する操作を受け付ける。入力部２４は、サーバ２０に備えられる代わりに、外部の入力機器としてサーバ２０に接続されてもよい。接続方式としては、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はBluetooth（登録商標）などの任意の方式を用いることができる。 The input unit 24 includes at least one input interface. The input interface is, for example, a physical key, a capacitive key, a pointing device, a touch screen integrated with the display, or a microphone. The input unit 24 accepts an operation of inputting data used for the operation of the server 20. The input unit 24 may be connected to the server 20 as an external input device instead of being provided in the server 20. As the connection method, for example, any method such as USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or Bluetooth (registered trademark) can be used.

出力部２５には、少なくとも１つの出力用インタフェースが含まれる。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ（liquid crystal display）又は有機ＥＬ（electro luminescence）ディスプレイである。出力部２５は、サーバ２０の動作によって得られるデータを出力する。出力部２５は、サーバ２０に備えられる代わりに、外部の出力機器としてサーバ２０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの任意の方式を用いることができる。 The output unit 25 includes at least one output interface. The output interface is, for example, a display or a speaker. The display is, for example, an LCD (liquid crystal display) or an organic EL (electroluminescence) display. The output unit 25 outputs the data obtained by the operation of the server 20. The output unit 25 may be connected to the server 20 as an external output device instead of being provided in the server 20. As the connection method, for example, any method such as USB, HDMI (registered trademark), or Bluetooth (registered trademark) can be used.

サーバ２０の機能は、本実施形態に係るプログラムを、制御部２１に相当するプロセッサで実行することにより実現される。すなわち、サーバ２０の機能は、ソフトウェアにより実現される。プログラムは、サーバ２０の動作をコンピュータに実行させることで、コンピュータをサーバ２０として機能させる。すなわち、コンピュータは、プログラムに従ってサーバ２０の動作を実行することによりサーバ２０として機能する。 The function of the server 20 is realized by executing the program according to the present embodiment on the processor corresponding to the control unit 21. That is, the function of the server 20 is realized by software. The program causes the computer to function as the server 20 by causing the computer to execute the operation of the server 20. That is, the computer functions as the server 20 by executing the operation of the server 20 according to the program.

本実施形態においてプログラムは、コンピュータで読取り可能な記録媒体に記録しておくことができる。コンピュータで読取り可能な記録媒体は、非一時的なコンピュータ読取可能な媒体を含み、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したＤＶＤ（digital versatile disc）又はＣＤ−ＲＯＭ（compact disc read only memory）などの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。またプログラムの流通は、プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを送信することにより行ってもよい。またプログラムはプログラムプロダクトとして提供されてもよい。 In this embodiment, the program can be recorded on a computer-readable recording medium. Computer-readable recording media include non-temporary computer-readable media, such as magnetic recording devices, optical discs, opto-magnetic recording media, or semiconductor memories. The distribution of the program is carried out, for example, by selling, transferring, or renting a portable recording medium such as a DVD (digital versatile disc) or a CD-ROM (compact disc read only memory) on which the program is recorded. Further, the distribution of the program may be performed by storing the program in the storage of the server and transmitting the program from the server to another computer. The program may also be provided as a program product.

本実施形態においてコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから送信されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、サーバからプログラムを受信する度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの送信は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ（application service provider）型のサービスによって処理を実行してもよい。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。 In the present embodiment, for example, the computer temporarily stores the program recorded on the portable recording medium or the program transmitted from the server in the main storage device. Then, the computer reads the program stored in the main storage device by the processor, and executes the processing according to the read program by the processor. The computer may read the program directly from the portable recording medium and perform processing according to the program. Each time the computer receives a program from the server, the computer may sequentially execute processing according to the received program. The process may be executed by a so-called ASP (application service provider) type service that realizes the function only by the execution instruction and the result acquisition without transmitting the program from the server to the computer. The program includes information used for processing by a computer and equivalent to the program. For example, data that is not a direct command to a computer but has the property of defining the processing of a computer corresponds to "a program-like data".

サーバ２０の一部又は全ての機能が、制御部２１に相当する専用回路により実現されてもよい。すなわち、サーバ２０の一部又は全ての機能が、ハードウェアにより実現されてもよい。 A part or all the functions of the server 20 may be realized by a dedicated circuit corresponding to the control unit 21. That is, some or all the functions of the server 20 may be realized by hardware.

次に本実施形態に係る車載機器３０の構成を説明する。 Next, the configuration of the in-vehicle device 30 according to the present embodiment will be described.

車載機器３０は、制御部３１と、記憶部３２と、通信部３３と、入力部３４と、出力部３５と、測位部３６と、撮像部３７とを備える。 The in-vehicle device 30 includes a control unit 31, a storage unit 32, a communication unit 33, an input unit 34, an output unit 35, a positioning unit 36, and an imaging unit 37.

制御部３１には、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組み合わせが含まれる。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣである。制御部３１は、車載機器３０の各部を制御しながら、車載機器３０の動作に関わる処理を実行する。 The control unit 31 includes at least one processor, at least one dedicated circuit, or a combination thereof. The processor is a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a specific process. The dedicated circuit is, for example, FPGA or ASIC. The control unit 31 executes processing related to the operation of the vehicle-mounted device 30 while controlling each unit of the vehicle-mounted device 30.

記憶部３２には、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組み合わせが含まれる。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部３２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部３２には、車載機器３０の動作に用いられるデータと、車載機器３０の動作によって得られたデータとが記憶される。 The storage unit 32 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or at least two combinations thereof. The semiconductor memory is, for example, RAM or ROM. The RAM is, for example, SRAM or DRAM. The ROM is, for example, an EEPROM. The storage unit 32 functions as, for example, a main storage device, an auxiliary storage device, or a cache memory. The storage unit 32 stores data used for the operation of the vehicle-mounted device 30 and data obtained by the operation of the vehicle-mounted device 30.

通信部３３には、少なくとも１つの通信用インタフェースが含まれる。通信用インタフェースは、例えば、ＬＴＥ、４Ｇ、若しくは５Ｇなどの移動通信規格に対応したインタフェース、Bluetooth（登録商標）などの近距離無線通信に対応したインタフェース、又はＬＡＮインタフェースである。通信部３３は、車載機器３０の動作に用いられるデータを受信し、また車載機器３０の動作によって得られるデータを送信する。 The communication unit 33 includes at least one communication interface. The communication interface is, for example, an interface compatible with mobile communication standards such as LTE, 4G, or 5G, an interface compatible with short-range wireless communication such as Bluetooth (registered trademark), or a LAN interface. The communication unit 33 receives the data used for the operation of the in-vehicle device 30, and also transmits the data obtained by the operation of the in-vehicle device 30.

入力部３４には、少なくとも１つの入力用インタフェースが含まれる。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクである。入力部３４は、車載機器３０の動作に用いられるデータを入力する操作を受け付ける。入力部３４は、車載機器３０に備えられる代わりに、外部の入力機器として車載機器３０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの任意の方式を用いることができる。 The input unit 34 includes at least one input interface. The input interface is, for example, a physical key, a capacitive key, a pointing device, a touch screen integrated with the display, or a microphone. The input unit 34 receives an operation of inputting data used for the operation of the in-vehicle device 30. The input unit 34 may be connected to the vehicle-mounted device 30 as an external input device instead of being provided in the vehicle-mounted device 30. As the connection method, for example, any method such as USB, HDMI (registered trademark), or Bluetooth (registered trademark) can be used.

出力部３５には、少なくとも１つの出力用インタフェースが含まれる。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。出力部３５は、車載機器３０の動作によって得られるデータを出力する。出力部３５は、車載機器３０に備えられる代わりに、外部の出力機器として車載機器３０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの任意の方式を用いることができる。 The output unit 35 includes at least one output interface. The output interface is, for example, a display or a speaker. The display is, for example, an LCD or an organic EL display. The output unit 35 outputs the data obtained by the operation of the in-vehicle device 30. The output unit 35 may be connected to the vehicle-mounted device 30 as an external output device instead of being provided in the vehicle-mounted device 30. As the connection method, for example, any method such as USB, HDMI (registered trademark), or Bluetooth (registered trademark) can be used.

測位部３６には、少なくとも１つのＧＮＳＳ（global navigation satellite system）受信機が含まれる。ＧＮＳＳには、例えば、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System）、ＧＬＯＮＡＳＳ（Global Navigation Satellite System）、及びＧａｌｉｌｅｏの少なくともいずれかが含まれる。ＱＺＳＳの衛星は、準天頂衛星と呼ばれる。測位部３６は、車両３８の位置を測定する。 The positioning unit 36 includes at least one GNSS (global navigation satellite system) receiver. GNSS includes, for example, at least one of GPS (Global Positioning System), QZSS (Quasi-Zenith Satellite System), GLONASS (Global Navigation Satellite System), and Galileo. The QZSS satellite is called the Quasi-Zenith Satellite. The positioning unit 36 measures the position of the vehicle 38.

撮像部３７は、例えば１つ以上の車載カメラである。車載カメラとしては、例えば、フロントカメラ、サイドカメラ、リアカメラ、又は車内カメラを使用できる。撮像部１５には、１つ以上の車載レーダ、又は１つ以上の車載ＬｉＤＡＲが含まれてもよいし、又は撮像部１５において、１つ以上の車載カメラを１つ以上の車載レーダ、又は１つ以上の車載ＬｉＤＡＲ（Light Detection and Ranging）に置き換えてもよい。撮像部３７は、車両３８から画像（以下、車載カメラ画像ともいう。）を撮像する。すなわち、撮像部３７は、車両３８の外の画像を撮像する。撮像部３７は、車両３８の中の画像をさらに撮像してもよい。画像は、静止画に限られず動画であってもよい。 The image pickup unit 37 is, for example, one or more in-vehicle cameras. As the in-vehicle camera, for example, a front camera, a side camera, a rear camera, or an in-vehicle camera can be used. The imaging unit 15 may include one or more vehicle-mounted radars or one or more vehicle-mounted LiDAR, or in the imaging unit 15, one or more vehicle-mounted cameras may be combined with one or more vehicle-mounted radars, or one. It may be replaced with one or more in-vehicle LiDAR (Light Detection and Ranging). The image pickup unit 37 captures an image (hereinafter, also referred to as an in-vehicle camera image) from the vehicle 38. That is, the image pickup unit 37 captures an image of the outside of the vehicle 38. The image pickup unit 37 may further capture an image inside the vehicle 38. The image is not limited to a still image and may be a moving image.

車載機器３０の機能は、本実施形態に係るプログラムを、制御部３１に相当するプロセッサで実行することにより実現される。すなわち、車載機器３０の機能は、ソフトウェアにより実現される。プログラムは、車載機器３０の動作をコンピュータに実行させることで、コンピュータを車載機器３０として機能させる。すなわち、コンピュータは、プログラムに従って車載機器３０の動作を実行することにより車載機器３０として機能する。 The function of the in-vehicle device 30 is realized by executing the program according to the present embodiment on the processor corresponding to the control unit 31. That is, the function of the in-vehicle device 30 is realized by software. The program causes the computer to function as the in-vehicle device 30 by causing the computer to execute the operation of the in-vehicle device 30. That is, the computer functions as the in-vehicle device 30 by executing the operation of the in-vehicle device 30 according to the program.

車載機器３０の一部又は全ての機能が、制御部３１に相当する専用回路により実現されてもよい。すなわち、車載機器３０の一部又は全ての機能が、ハードウェアにより実現されてもよい。 A part or all the functions of the in-vehicle device 30 may be realized by a dedicated circuit corresponding to the control unit 31. That is, some or all the functions of the in-vehicle device 30 may be realized by hardware.

次に本実施形態に係る端末装置４０の構成を説明する。 Next, the configuration of the terminal device 40 according to the present embodiment will be described.

端末装置４０は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５と、測位部４６とを備える。 The terminal device 40 includes a control unit 41, a storage unit 42, a communication unit 43, an input unit 44, an output unit 45, and a positioning unit 46.

制御部４１には、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組み合わせが含まれる。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣである。制御部４１は、端末装置４０の各部を制御しながら、端末装置４０の動作に関わる処理を実行する。 The control unit 41 includes at least one processor, at least one dedicated circuit, or a combination thereof. The processor is a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for a specific process. The dedicated circuit is, for example, FPGA or ASIC. The control unit 41 executes processing related to the operation of the terminal device 40 while controlling each unit of the terminal device 40.

記憶部４２には、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組み合わせが含まれる。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。ＲＯＭは、例えば、ＥＥＰＲＯＭである。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、端末装置４０の動作に用いられるデータと、端末装置４０の動作によって得られたデータとが記憶される。 The storage unit 42 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or at least two combinations thereof. The semiconductor memory is, for example, RAM or ROM. The RAM is, for example, SRAM or DRAM. The ROM is, for example, an EEPROM. The storage unit 42 functions as, for example, a main storage device, an auxiliary storage device, or a cache memory. The storage unit 42 stores data used for the operation of the terminal device 40 and data obtained by the operation of the terminal device 40.

通信部４３には、少なくとも１つの通信用インタフェースが含まれる。通信用インタフェースは、例えば、ＬＴＥ、４Ｇ、若しくは５Ｇなどの移動通信規格に対応したインタフェース、Bluetooth（登録商標）などの近距離無線通信に対応したインタフェース、又はＬＡＮインタフェースである。通信部４３は、端末装置４０の動作に用いられるデータを受信し、また端末装置４０の動作によって得られるデータを送信する。 The communication unit 43 includes at least one communication interface. The communication interface is, for example, an interface compatible with mobile communication standards such as LTE, 4G, or 5G, an interface compatible with short-range wireless communication such as Bluetooth (registered trademark), or a LAN interface. The communication unit 43 receives the data used for the operation of the terminal device 40, and transmits the data obtained by the operation of the terminal device 40.

入力部４４には、少なくとも１つの入力用インタフェースが含まれる。入力用インタフェースは、例えば、物理キー、静電容量キー、ポインティングデバイス、ディスプレイと一体的に設けられたタッチスクリーン、又はマイクである。入力部４４は、端末装置４０の動作に用いられるデータを入力する操作を受け付ける。入力部４４は、端末装置４０に備えられる代わりに、外部の入力機器として端末装置４０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの任意の方式を用いることができる。 The input unit 44 includes at least one input interface. The input interface is, for example, a physical key, a capacitive key, a pointing device, a touch screen integrated with the display, or a microphone. The input unit 44 accepts an operation of inputting data used for the operation of the terminal device 40. The input unit 44 may be connected to the terminal device 40 as an external input device instead of being provided in the terminal device 40. As the connection method, for example, any method such as USB, HDMI (registered trademark), or Bluetooth (registered trademark) can be used.

出力部４５には、少なくとも１つの出力用インタフェースが含まれる。出力用インタフェースは、例えば、ディスプレイ又はスピーカである。ディスプレイは、例えば、ＬＣＤ又は有機ＥＬディスプレイである。出力部４５は、端末装置４０の動作によって得られるデータを出力する。出力部４５は、端末装置４０に備えられる代わりに、外部の出力機器として端末装置４０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はBluetooth（登録商標）などの任意の方式を用いることができる。 The output unit 45 includes at least one output interface. The output interface is, for example, a display or a speaker. The display is, for example, an LCD or an organic EL display. The output unit 45 outputs the data obtained by the operation of the terminal device 40. The output unit 45 may be connected to the terminal device 40 as an external output device instead of being provided in the terminal device 40. As the connection method, for example, any method such as USB, HDMI (registered trademark), or Bluetooth (registered trademark) can be used.

測位部４６には、少なくとも１つのＧＮＳＳ受信機が含まれる。ＧＮＳＳには、例えば、ＧＰＳ、ＱＺＳＳ、ＧＬＯＮＡＳＳ、及びＧａｌｉｌｅｏの少なくともいずれかが含まれる。測位部４６は、端末装置４０の位置を測定する。 The positioning unit 46 includes at least one GNSS receiver. GNSS includes, for example, at least one of GPS, QZSS, GLONASS, and Galileo. The positioning unit 46 measures the position of the terminal device 40.

端末装置４０の機能は、本実施形態に係るプログラムを、制御部４１に相当するプロセッサで実行することにより実現される。すなわち、端末装置４０の機能は、ソフトウェアにより実現される。プログラムは、端末装置４０の動作をコンピュータに実行させることで、コンピュータを端末装置４０として機能させる。すなわち、コンピュータは、プログラムに従って端末装置４０の動作を実行することにより端末装置４０として機能する。 The function of the terminal device 40 is realized by executing the program according to the present embodiment on the processor corresponding to the control unit 41. That is, the function of the terminal device 40 is realized by software. The program causes the computer to function as the terminal device 40 by causing the computer to execute the operation of the terminal device 40. That is, the computer functions as the terminal device 40 by executing the operation of the terminal device 40 according to the program.

端末装置４０の一部又は全ての機能が、制御部４１に相当する専用回路により実現されてもよい。すなわち、端末装置４０の一部又は全ての機能が、ハードウェアにより実現されてもよい。 A part or all the functions of the terminal device 40 may be realized by a dedicated circuit corresponding to the control unit 41. That is, some or all the functions of the terminal device 40 may be realized by hardware.

図２及び図３を参照して、本実施形態に係る情報提供システム１０の動作を説明する。図２は、本実施形態に係る情報提供システム１０の動作の概要を示す図であり、図３は、本実施形態に係る情報提供システム１０のサーバ２０の動作を示す。図２（ａ）〜（ｃ）に示すように、本実施形態に係る情報提供システム１０の動作は、ユーザ（歩行者Ａ）を複数の車両３８（車両Ａ）で撮像する動作、及び端末装置４０による動作（図２（ａ））を含む。なお図２（ａ）では、車両３８を１台のみ示しているが、車載カメラ画像及び位置情報を送信する車両３８は１台に限らず２台以上であってもよい。また、本実施形態に係る情報提供システム１０の動作は、歩行者Ａの操作入力を含む端末装置４０上での動作（図２（ｂ））を含む。さらに本実施形態に係る情報提供システム１０の動作は、待ち合わせをしている対象の車両３８（車両Ｂ）への情報提供時の動作（図２（ｃ））を含む。 The operation of the information providing system 10 according to the present embodiment will be described with reference to FIGS. 2 and 3. FIG. 2 is a diagram showing an outline of the operation of the information providing system 10 according to the present embodiment, and FIG. 3 shows the operation of the server 20 of the information providing system 10 according to the present embodiment. As shown in FIGS. 2A to 2C, the operation of the information providing system 10 according to the present embodiment is an operation of imaging a user (pedestrian A) with a plurality of vehicles 38 (vehicle A) and a terminal device. The operation according to 40 (FIG. 2 (a)) is included. Although only one vehicle 38 is shown in FIG. 2A, the number of vehicles 38 that transmit the vehicle-mounted camera image and the position information is not limited to one, and may be two or more. Further, the operation of the information providing system 10 according to the present embodiment includes an operation (FIG. 2B) on the terminal device 40 including the operation input of the pedestrian A. Further, the operation of the information providing system 10 according to the present embodiment includes an operation (FIG. 2 (c)) at the time of providing information to the target vehicle 38 (vehicle B) having a meeting.

図２（ａ）に示すように、まず複数の車両３８にそれぞれ搭載された複数の車載機器３０が、車載カメラ画像と、該車載カメラ画像に対応付けられた位置情報とをサーバ２０に送信する。具体的には車両３８に搭載された車載機器３０の制御部３１は、撮像部３７に車載カメラ画像を撮像させる。撮像部３７は車載カメラ画像を撮像する。制御部３１は、撮像部３７が撮像した車載カメラ画像を通信部３３に送信させる。また制御部３１は、測位部３６に基づき測定された車両３８の位置情報を、車載カメラ画像に対応付けて通信部３３に送信させる。ここで制御部３１は、撮像された車載カメラ画像に人画像が含まれるかを認識し、人画像を認識した場合にのみ車載カメラ画像及び該車載カメラ画像に対応付けられた位置情報を通信部３３に送信させてもよい。制御部３１は任意の手順で人画像の認識処理を実行してよく、例えば機械学習、パターンマッチング、特徴点抽出、又はこれらの組み合わせによる画像認識技術を使用できる。通信部３３は、撮像部３７が撮像した車載カメラ画像及び対応付けられた位置情報をサーバ２０に送信する。 As shown in FIG. 2A, first, a plurality of vehicle-mounted devices 30 mounted on each of the plurality of vehicles 38 transmit the vehicle-mounted camera image and the position information associated with the vehicle-mounted camera image to the server 20. .. Specifically, the control unit 31 of the vehicle-mounted device 30 mounted on the vehicle 38 causes the image pickup unit 37 to capture an image of the vehicle-mounted camera. The image pickup unit 37 captures an in-vehicle camera image. The control unit 31 causes the communication unit 33 to transmit the vehicle-mounted camera image captured by the image pickup unit 37. Further, the control unit 31 causes the communication unit 33 to transmit the position information of the vehicle 38 measured by the positioning unit 36 in association with the vehicle-mounted camera image. Here, the control unit 31 recognizes whether the captured in-vehicle camera image includes a human image, and only when the human image is recognized, the in-vehicle camera image and the position information associated with the in-vehicle camera image are transmitted to the communication unit. It may be transmitted to 33. The control unit 31 may execute the human image recognition process in an arbitrary procedure, and can use, for example, machine learning, pattern matching, feature point extraction, or an image recognition technique based on a combination thereof. The communication unit 33 transmits the vehicle-mounted camera image captured by the image pickup unit 37 and the associated position information to the server 20.

また図２（ａ）に示すように、端末装置４０は、ユーザ（歩行者Ａ）の識別情報と、当該ユーザの位置情報とをサーバ２０に送信する。具体的には端末装置４０の制御部４１は、ユーザＩＤを通信部４３に定期的に送信させる。ユーザＩＤは、ユーザを一意に特定する任意の識別情報である。また制御部４１は、測位部４６に基づき測定されたユーザの位置情報を通信部４３に定期的に送信させる。制御部４１は任意の手順でユーザＩＤ及び位置情報をサーバ２０に定期的に送信させてよい。例えば制御部４１は、待ち合わせ用のプログラム（以下、待ち合わせアプリという。）によって上述の処理を実行してもよい。この場合、制御部４１は、待ち合わせアプリにおいてユーザを特定するＩＤをユーザＩＤとして取り扱ってもよい。制御部４１は、待ち合わせアプリによりユーザＩＤ及び位置情報を通信部４３に定期的に送信させる。通信部４３は、ユーザＩＤ及び位置情報を、定期的にサーバ２０に送信する。以下では、定期的に送信される位置情報の集合を、位置情報群ともいう。 Further, as shown in FIG. 2A, the terminal device 40 transmits the identification information of the user (pedestrian A) and the position information of the user to the server 20. Specifically, the control unit 41 of the terminal device 40 causes the communication unit 43 to periodically transmit the user ID. The user ID is arbitrary identification information that uniquely identifies the user. Further, the control unit 41 periodically causes the communication unit 43 to transmit the user's position information measured based on the positioning unit 46. The control unit 41 may periodically transmit the user ID and the location information to the server 20 by an arbitrary procedure. For example, the control unit 41 may execute the above-mentioned processing by a waiting program (hereinafter, referred to as a waiting application). In this case, the control unit 41 may treat the ID that identifies the user in the meeting application as the user ID. The control unit 41 periodically causes the communication unit 43 to transmit the user ID and the location information by the meeting application. The communication unit 43 periodically transmits the user ID and the location information to the server 20. Hereinafter, a set of position information that is periodically transmitted is also referred to as a position information group.

サーバ２０は、受信した車載カメラ画像、該車載カメラ画像に対応付けられた位置情報、ユーザのユーザＩＤ、及びユーザの位置情報群に基づき、ユーザ（歩行者Ａ）の位置情報付近で撮像された車載カメラ画像中の人画像を抽出する。具体的にはサーバ２０の制御部２１は、通信部２３により受信した車載カメラ画像、該車載カメラ画像に対応付けられた位置情報、ユーザのユーザＩＤ、及び歩行者Ａの位置情報群に基づき、かかる抽出処理を実行する。制御部２１は、歩行者Ａの位置情報群に基づく所定範囲内（例えば１０ｍ範囲内）を歩行者Ａの位置情報付近として、当該所定範囲内で撮像された車載カメラ画像中の人画像を抽出する。 The server 20 is imaged in the vicinity of the position information of the user (pedestrian A) based on the received in-vehicle camera image, the position information associated with the in-vehicle camera image, the user ID of the user, and the position information group of the user. The person image in the in-vehicle camera image is extracted. Specifically, the control unit 21 of the server 20 is based on the vehicle-mounted camera image received by the communication unit 23, the position information associated with the vehicle-mounted camera image, the user ID of the user, and the position information group of the pedestrian A. Such an extraction process is executed. The control unit 21 extracts a person image in the vehicle-mounted camera image captured within the predetermined range with the position information of the pedestrian A within a predetermined range (for example, within a 10 m range) based on the position information group of the pedestrian A as the vicinity. To do.

またサーバ２０は、抽出した人画像の画像を、類似度に基づきクラスタリングする。具体的には例えばサーバ２０の制御部２１は、抽出した人画像をそれぞれ比較することにより類似度を算出し、かかる類似度により人画像の画像を各クラスターに分類する。 Further, the server 20 clusters the extracted human images based on the degree of similarity. Specifically, for example, the control unit 21 of the server 20 calculates the similarity by comparing the extracted human images, and classifies the images of the human images into each cluster according to the similarity.

図２（ｂ）に示すように、サーバ２０は、クラスタリングされた人画像のデータを端末装置４０に送信する。具体的にはサーバ２０の制御部２１は、通信部２３に、クラスタリングされた人画像のデータを送信させる。通信部２３は、クラスタリングされた人画像のデータを端末装置４０に送信する。画像数の多いクラスターの画像は、歩行者Ａの可能性が高い。そこで制御部２１は、例えば上位Ｎ個（例えば上位３個）のクラスターに属する画像を通信部２３に送信させてもよい。 As shown in FIG. 2B, the server 20 transmits the clustered human image data to the terminal device 40. Specifically, the control unit 21 of the server 20 causes the communication unit 23 to transmit clustered human image data. The communication unit 23 transmits the clustered human image data to the terminal device 40. The image of the cluster with a large number of images is likely to be pedestrian A. Therefore, the control unit 21 may cause the communication unit 23 to transmit, for example, images belonging to the upper N (for example, the upper 3) clusters.

また図２（ｂ）に示すように、端末装置４０は、クラスタリングされた人画像のデータを受信して、歩行者Ａに対して人画像の候補を表示し、歩行者Ａの選択結果をサーバ２０に送信する。例えば端末装置４０は、待ち合わせアプリにより上記の処理を実行する。具体的には端末装置４０の制御部４１は、通信部４３にクラスタリングされた人画像のデータを受信させる。通信部４３は人画像のデータをサーバ２０から受信する。制御部４１は、受信した人画像のデータに基づき、出力部４５に人画像のデータに係る表示画像を出力させる。出力部４５は、当該表示画像を待ち合わせアプリ上で表示する。歩行者Ａは表示された人画像が自分自身であるかどうかを選択する。制御部４１は、入力部４４により歩行者Ａによる選択操作を受け付ける。入力部４４への歩行者Ａによる選択操作を受け付けると、制御部４１は、選択結果を通信部４３に送信させる。通信部４３は当該選択結果をサーバ２０に送信する。サーバ２０は当該選択結果に基づき、待ち合わせ対象のユーザである歩行者Ａを特定する。 Further, as shown in FIG. 2B, the terminal device 40 receives the clustered human image data, displays the human image candidates to the pedestrian A, and outputs the selection result of the pedestrian A to the server. Send to 20. For example, the terminal device 40 executes the above process by the meeting application. Specifically, the control unit 41 of the terminal device 40 causes the communication unit 43 to receive clustered human image data. The communication unit 43 receives the human image data from the server 20. The control unit 41 causes the output unit 45 to output a display image related to the human image data based on the received human image data. The output unit 45 displays the display image on the waiting application. Pedestrian A selects whether or not the displayed person image is himself / herself. The control unit 41 receives a selection operation by the pedestrian A by the input unit 44. When the selection operation by the pedestrian A to the input unit 44 is received, the control unit 41 causes the communication unit 43 to transmit the selection result. The communication unit 43 transmits the selection result to the server 20. The server 20 identifies the pedestrian A who is the user to be met based on the selection result.

図２（ｃ）は、待ち合わせをしている対象の車両３８（車両Ｂ）への情報提供時の動作の概要を示している。図２（ｃ）に示すように、車両Ｂの車載機器３０は、歩行者Ａの位置情報に基づき、歩行者Ａの付近で撮像した車載カメラ画像をサーバ２０に送信する。具体的には車載機器３０の制御部３１は、車両３８の位置情報と、歩行者Ａの位置情報とに基づき、車両３８が歩行者Ａから所定範囲内に存在するか否かを判定する。車両３８が歩行者Ａから所定範囲内に存在する場合、制御部３１は、撮像部３７により撮像した車載カメラ画像を通信部３３に送信させる。通信部３３は、撮像部３７により撮像した車載カメラ画像をサーバ２０に送信する。ここで制御部３１は、撮像された車載カメラ画像に人画像が含まれるかを認識して、人画像を認識した場合のみ、車載カメラ画像を通信部３３に送信させてもよい。 FIG. 2C shows an outline of the operation at the time of providing information to the target vehicle 38 (vehicle B) having a meeting. As shown in FIG. 2C, the vehicle-mounted device 30 of the vehicle B transmits the vehicle-mounted camera image captured in the vicinity of the pedestrian A to the server 20 based on the position information of the pedestrian A. Specifically, the control unit 31 of the in-vehicle device 30 determines whether or not the vehicle 38 exists within a predetermined range from the pedestrian A based on the position information of the vehicle 38 and the position information of the pedestrian A. When the vehicle 38 is within a predetermined range from the pedestrian A, the control unit 31 causes the communication unit 33 to transmit the vehicle-mounted camera image captured by the image pickup unit 37. The communication unit 33 transmits the vehicle-mounted camera image captured by the image pickup unit 37 to the server 20. Here, the control unit 31 may recognize whether the captured vehicle-mounted camera image includes a human image, and may transmit the vehicle-mounted camera image to the communication unit 33 only when the human image is recognized.

またサーバ２０の制御部２１は、所定の車載機器３０（ここでは車両Ｂの車載機器３０）から車載カメラ画像を受信すると、該車載カメラ画像と選択結果とに基づき、該車載カメラ画像に歩行者Ａの人画像が含まれるか否かを照合する。車載カメラ画像に歩行者Ａの人画像が含まれる場合、制御部２１は歩行者Ａに係るアドバイスを車両Ｂの車載機器３０に提供する。つまりサーバ２０は、該車載カメラ画像と選択結果とに基づき、歩行者Ａに係る情報を車両Ｂの車載機器３０に提供する。歩行者Ａに係る情報は、歩行者Ａの位置情報及び服装情報を含む。服装情報は、服の色、種類、上下の組み合わせを含む。例えば、歩行者Ａに係る情報は「Ａさんは右側にいます。赤い服装です」である。また例えば、歩行者Ａに係る情報は「あれはＡさんだと思います」又は「Ａさんはあそこにいます」であってもよい。車両Ｂの車載機器３０は、当該情報を運転者に対して出力する。具体的には車載機器３０の出力部３５は、歩行者Ａに係る情報を、音声又は表示の少なくとも一方により出力する。 Further, when the control unit 21 of the server 20 receives the in-vehicle camera image from the predetermined in-vehicle device 30 (here, the in-vehicle device 30 of the vehicle B), the pedestrian is added to the in-vehicle camera image based on the in-vehicle camera image and the selection result. Check whether or not the person image of A is included. When the vehicle-mounted camera image includes a human image of the pedestrian A, the control unit 21 provides the vehicle-mounted device 30 of the vehicle B with advice regarding the pedestrian A. That is, the server 20 provides the information related to the pedestrian A to the vehicle-mounted device 30 of the vehicle B based on the vehicle-mounted camera image and the selection result. The information relating to the pedestrian A includes the position information and the clothing information of the pedestrian A. Clothing information includes clothing colors, types, and top and bottom combinations. For example, the information related to pedestrian A is "Mr. A is on the right side. She is dressed in red." Also, for example, the information related to pedestrian A may be "I think that is Mr. A" or "Mr. A is there". The in-vehicle device 30 of the vehicle B outputs the information to the driver. Specifically, the output unit 35 of the vehicle-mounted device 30 outputs information related to the pedestrian A by at least one of voice and display.

次に図３を参照して、本実施形態に係る情報提供システム１０のサーバ２０の動作を説明する。なお図３の動作の前段階において、図２（ａ）に係る動作が完了しているものとする。 Next, the operation of the server 20 of the information providing system 10 according to the present embodiment will be described with reference to FIG. It is assumed that the operation according to FIG. 2A has been completed in the stage prior to the operation shown in FIG.

ステップＳ１００において、制御部２１は、歩行者Ａの位置情報群と、複数の車両の車載機器３０から送信された車載カメラ画像と、車載カメラ画像に対応づけられた位置情報とから、歩行者Ａ付近で撮像された複数の人画像を抽出する。人画像の抽出処理は任意の手順で行うことができるが、例えば、機械学習、パターンマッチング、特徴点抽出、又はこれらの組み合わせによる画像認識技術を使用できる。 In step S100, the control unit 21 uses the position information group of the pedestrian A, the vehicle-mounted camera images transmitted from the vehicle-mounted devices 30 of the plurality of vehicles, and the position information associated with the vehicle-mounted camera images, and the pedestrian A. Extract multiple human images captured in the vicinity. The human image extraction process can be performed by any procedure, and for example, machine learning, pattern matching, feature point extraction, or an image recognition technique based on a combination thereof can be used.

ステップＳ１０１において、制御部２１は、抽出した人画像を類似度に基づきクラスタリングする。具体的には制御部２１は、抽出した人画像の画像をそれぞれ比較して類似度を算出し、かかる類似度により人画像の画像を各クラスターに分類する。 In step S101, the control unit 21 clusters the extracted human images based on the degree of similarity. Specifically, the control unit 21 compares the extracted images of the human image with each other to calculate the similarity, and classifies the image of the human image into each cluster according to the similarity.

ステップＳ１０２において、制御部２１は、上位Ｎ個（例えば上位３個）のクラスターに属する画像を通信部２３に送信させる。通信部２３は、上位Ｎ個のクラスターに属する画像を歩行者Ａの端末装置４０に送信する。 In step S102, the control unit 21 causes the communication unit 23 to transmit images belonging to the upper N (for example, upper 3) clusters. The communication unit 23 transmits images belonging to the upper N clusters to the terminal device 40 of the pedestrian A.

ステップＳ１０３及びＳ１０４において、制御部２１は、歩行者Ａから、歩行者Ａ自身の画像群の選択・確認を待機する。具体的には制御部２１は、端末装置４０からの選択結果の送信を待ち受ける。通信部２３が端末装置４０からの選択結果を受信した場合、プロセスはステップＳ１０５に進む。他方で通信部２３が端末装置４０からの選択結果を受信しない場合、プロセスはステップＳ１０３に戻り、ステップＳ１０３及びＳ１０４に係る処理を繰り返す。すなわち制御部２１は、歩行者Ａから、歩行者Ａ自身の画像群の選択・確認を待機し続ける。 In steps S103 and S104, the control unit 21 waits for the pedestrian A to select / confirm the image group of the pedestrian A itself. Specifically, the control unit 21 waits for the transmission of the selection result from the terminal device 40. When the communication unit 23 receives the selection result from the terminal device 40, the process proceeds to step S105. On the other hand, when the communication unit 23 does not receive the selection result from the terminal device 40, the process returns to step S103 and repeats the processes related to steps S103 and S104. That is, the control unit 21 continues to wait for the pedestrian A to select / confirm the image group of the pedestrian A itself.

ステップＳ１０５において、制御部２１は、通信部２３が受信した選択結果に基づき、選択された画像群を歩行者Ａとして登録する。 In step S105, the control unit 21 registers the selected image group as the pedestrian A based on the selection result received by the communication unit 23.

ステップＳ１０６及びＳ１０７において、制御部２１は、歩行者Ａと待ち合わせしている車両Ｂからの画像のアップロードを待機する。具体的には制御部２１は、車載機器３０からの車載カメラ画像の送信を待ち受ける。通信部２３が、車載機器３０からの車載カメラ画像を受信した場合、プロセスはステップＳ１０８に進む。他方で通信部２３が車載機器３０からの車載カメラ画像を受信しない場合、プロセスはステップＳ１０６に戻り、ステップＳ１０６及びＳ１０７に係る処理を繰り返す。すなわち制御部２１は、車両Ｂからの車載カメラ画像のアップロードを待機し続ける。 In steps S106 and S107, the control unit 21 waits for the upload of the image from the vehicle B meeting with the pedestrian A. Specifically, the control unit 21 waits for the transmission of the vehicle-mounted camera image from the vehicle-mounted device 30. When the communication unit 23 receives the vehicle-mounted camera image from the vehicle-mounted device 30, the process proceeds to step S108. On the other hand, when the communication unit 23 does not receive the vehicle-mounted camera image from the vehicle-mounted device 30, the process returns to step S106 and repeats the processes related to steps S106 and S107. That is, the control unit 21 continues to wait for the upload of the vehicle-mounted camera image from the vehicle B.

ステップＳ１０８において、制御部２１は、車両Ｂからの車載カメラ画像と、歩行者Ａの画像群との類似度を算出する。またステップＳ１０９において、制御部２１は、算出した類似度が閾値を超えているかを判定する。つまり制御部２１は、車両Ｂからの車載カメラ画像と、選択結果とに基づき特定された歩行者Ａの人画像とを比較し、該車載カメラ画像に歩行者Ａの人画像が含まれるか否かを照合する。算出した類似度が閾値を超えている場合、プロセスはステップＳ１１０に進む。他方で算出した類似度が閾値を超えていない場合、プロセスはステップＳ１０６に戻る。 In step S108, the control unit 21 calculates the degree of similarity between the vehicle-mounted camera image from the vehicle B and the image group of the pedestrian A. Further, in step S109, the control unit 21 determines whether the calculated similarity exceeds the threshold value. That is, the control unit 21 compares the vehicle-mounted camera image from the vehicle B with the human image of the pedestrian A specified based on the selection result, and whether or not the vehicle-mounted camera image includes the human image of the pedestrian A. To match. If the calculated similarity exceeds the threshold, the process proceeds to step S110. On the other hand, if the calculated similarity does not exceed the threshold, the process returns to step S106.

ステップＳ１１０において、制御部２１は、歩行者Ａに係るアドバイスを車両Ｂの車載機器３０に提供する。歩行者Ａに係るアドバイスは、歩行者Ａの存在場所、及び歩行者Ａの服装を含む。服装等の人物特徴の抽出は、任意の手順で行うことができるが、例えば、機械学習、パターンマッチング、特徴点抽出、又はこれらの組み合わせによる画像認識技術を使用できる。歩行者Ａに係るアドバイスは、車載機器３０の出力部３５により、音声又は表示の少なくとも一方により出力される。出力部３５によるアドバイスの表示は任意の方法で行うことができる。具体的には例えば出力部３５は、アドバイスをナビ画面によって表示してもよい。あるいは出力部３５は、アドバイスをヘッドアップディスプレイ等のディスプレイによって表示してもよい。または出力部３５は、アドバイスをディスプレイ画面上に映る車外映像への重畳表示により行ってもよい。 In step S110, the control unit 21 provides the in-vehicle device 30 of the vehicle B with advice regarding the pedestrian A. The advice for pedestrian A includes the location of pedestrian A and the clothing of pedestrian A. Extraction of human features such as clothing can be performed by any procedure, and for example, machine learning, pattern matching, feature point extraction, or an image recognition technique based on a combination thereof can be used. The advice relating to the pedestrian A is output by the output unit 35 of the vehicle-mounted device 30 by at least one of voice and display. The advice displayed by the output unit 35 can be displayed by any method. Specifically, for example, the output unit 35 may display the advice on the navigation screen. Alternatively, the output unit 35 may display the advice on a display such as a head-up display. Alternatively, the output unit 35 may give advice by superimposing the advice on the image outside the vehicle displayed on the display screen.

上述のように、本実施形態では、複数の車載機器３０からの車載カメラ画像により人画像をクラスタリングし、クラスタリングされた人画像から自己に該当する人画像を歩行者Ａの選択により特定するため、予め歩行者Ａの情報をシステムに登録する必要がない。また歩行者Ａの個人情報をシステムに事前に登録等する必要がないためプライバシーの問題を低減することができる。さらに、サーバ２０が対象の車載機器３０に提供する情報に歩行者Ａに係る服装情報を含むため、歩行者Ａを探し出すための有効なアドバイスを運転者に提供することができる。これにより、待ち合わせ時に相手がどこにいるのか見過ごす虞を低減できる。またライドシェア等で顔を知らない人をピックアップする際においても、服装といった観点でのアドバイスであれば有効である。すなわち本実施形態によれば、待ち合わせの際における情報提供の技術を改善することができる。 As described above, in the present embodiment, the human image is clustered by the vehicle-mounted camera images from the plurality of vehicle-mounted devices 30, and the human image corresponding to the self is specified from the clustered human image by the selection of the pedestrian A. It is not necessary to register the information of the pedestrian A in the system in advance. Further, since it is not necessary to register the personal information of the pedestrian A in the system in advance, the problem of privacy can be reduced. Further, since the information provided by the server 20 to the target vehicle-mounted device 30 includes the clothing information related to the pedestrian A, it is possible to provide the driver with effective advice for finding the pedestrian A. As a result, it is possible to reduce the risk of overlooking where the other party is at the time of meeting. Also, when picking up a person who does not know the face by ride sharing etc., advice from the viewpoint of clothes is effective. That is, according to the present embodiment, it is possible to improve the technique of providing information at the time of meeting.

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各構成又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。 Although the present disclosure has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and modifications based on the present disclosure. It should be noted, therefore, that these modifications and modifications are within the scope of this disclosure. For example, the functions and the like included in each configuration or each step and the like can be rearranged so as not to be logically inconsistent, and a plurality of configurations or steps and the like can be combined or divided into one. ..

例えば、上述した実施形態においてサーバ２０において実行される一部の処理動作が車載機器３０において実行されてもよい。また車載機器３０において実行される少なくとも一部の処理動作がサーバ２０において実行されてもよい。 For example, some processing operations executed by the server 20 in the above-described embodiment may be executed by the in-vehicle device 30. Further, at least a part of the processing operations executed by the in-vehicle device 30 may be executed by the server 20.

また例えば、上述した実施形態においてサーバ２０において実行される一部の処理動作が端末装置４０において実行されてもよい。また端末装置４０において実行される少なくとも一部の処理動作がサーバ２０において実行されてもよい。 Further, for example, some processing operations executed in the server 20 in the above-described embodiment may be executed in the terminal device 40. Further, at least a part of the processing operations executed in the terminal device 40 may be executed in the server 20.

１０経路案内システム
２０制御装置
２１制御部
２２記憶部
２２通信部
２３通信部
２４入力部
２５出力部
３０車載機器
３１制御部
３２記憶部
３３通信部
３４入力部
３５出力部
３６測位部
３７撮像部
３８車両
４０端末装置
４１制御部
４２記憶部
４３通信部
４４入力部
４５出力部
４６測位部
５０ネットワーク 10 Route guidance system 20 Control device 21 Control unit 22 Storage unit 22 Communication unit 23 Communication unit 24 Input unit 25 Output unit 30 In-vehicle device 31 Control unit 32 Storage unit 33 Communication unit 34 Input unit 35 Output unit 36 Positioning unit 37 Imaging unit 38 Vehicle 40 Terminal device 41 Control unit 42 Storage unit 43 Communication unit 44 Input unit 45 Output unit 46 Positioning unit 50 Network

Claims

An information providing system including a plurality of in-vehicle devices mounted on a plurality of vehicles, a terminal device, and a server capable of communicating with the plurality of in-vehicle devices and the terminal device.
The plurality of in-vehicle devices transmit the in-vehicle camera image and the position information associated with the in-vehicle camera image to the server.
The terminal device transmits the user's identification information and location information to the server.
The server clusters the human images in the vehicle-mounted camera image captured in the vicinity of the user's position information based on the similarity, and transmits the clustered human images to the terminal device.
The terminal device transmits the selection result of selecting the human image of the user from the clustered human images to the server.
When the server receives an in-vehicle camera image including a human image of the user from a predetermined in-vehicle device among the plurality of in-vehicle devices, it provides information including clothes information related to the user based on the selection result. system.