JP2021153275A - Video processing system, video processing method, and video collection system - Google Patents

Video processing system, video processing method, and video collection system Download PDF

Info

Publication number
JP2021153275A
JP2021153275A JP2020053446A JP2020053446A JP2021153275A JP 2021153275 A JP2021153275 A JP 2021153275A JP 2020053446 A JP2020053446 A JP 2020053446A JP 2020053446 A JP2020053446 A JP 2020053446A JP 2021153275 A JP2021153275 A JP 2021153275A
Authority
JP
Japan
Prior art keywords
video
unit
server
effect processing
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020053446A
Other languages
Japanese (ja)
Inventor
尚典 宇田
Naonori Uda
尚典 宇田
千絵 福原
Chie Fukuhara
千絵 福原
真一 佐野
Shinichi Sano
真一 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2020053446A priority Critical patent/JP2021153275A/en
Publication of JP2021153275A publication Critical patent/JP2021153275A/en
Pending legal-status Critical Current

Links

Images

Abstract

To use a video containing information with which an individual is identifiable, without minding a portrait right or privacy.SOLUTION: A server 30 stores a video captured with a camera mounted on a vehicle, executes an effect process on the video lest personal information contained in the video is identifiable, and transmits the video subjected to the effect process to a terminal 40. The terminal 40 receives the video subjected to the effect process from the server 30, generates a composite video of the video subjected to the effect process and an image having an object removed therefrom, and displays the composite video.SELECTED DRAWING: Figure 2

Description

本発明は、映像処理システム、映像処理方法、及び映像収集システムに関する。 The present invention relates to a video processing system, a video processing method, and a video collecting system.

従来から、遠隔地にいるメンバーが映像コンテンツを共有する技術として、テレプレゼンス(例えば、特許文献1)がある。また、画像に所望のエフェクト処理を行う技術(例えば、特許文献2、非特許文献1)がある。 Conventionally, there is telepresence (for example, Patent Document 1) as a technique for sharing video contents by members in remote areas. Further, there is a technique (for example, Patent Document 2 and Non-Patent Document 1) for performing a desired effect processing on an image.

特開2015−215745号公報Japanese Unexamined Patent Publication No. 2015-215745 特開2019−092094号公報JP-A-2019-092094

赤井良行、宇田尚典、藤枝延維、“車載カメラによるリアルタイム絵画調動画生成”、芸術科学会論文誌Vol.18,No.2、2019、pp.76−86Yoshiyuki Akai, Naonori Uda, Nobui Fujieda, "Real-time painting-like video generation with in-vehicle camera", Journal of the Society of Arts and Sciences Vol. 18, No. 2, 2019, pp. 76-86

しかし、映像に人の顔やナンバープレートの情報等、個人を特定できる情報が含まれている場合、肖像権等の関係から当該映像を用いてサービスを行うことが困難である、という問題があった。特に、乗員や遠隔地にいるユーザに、車両から見える景色を流す際には、対向車や歩行者が映像に映ることが多いため、問題となる。 However, if the video contains personally identifiable information such as information on a person's face or license plate, there is a problem that it is difficult to provide services using the video due to the relationship of portrait rights and the like. rice field. In particular, when the scenery seen from the vehicle is shown to the occupants and users in remote areas, oncoming vehicles and pedestrians are often reflected in the image, which is a problem.

本発明は、上記問題点を解決するためになされたもので、肖像権やプライバシーを気にせずに個人を特定できる情報が含まれている映像を用いることができる映像処理システム及び映像処理方法を提供することを目的とする。 The present invention has been made to solve the above problems, and provides a video processing system and a video processing method capable of using a video containing information that can identify an individual without worrying about portrait rights and privacy. The purpose is to provide.

また、本発明は、上記問題点を解決するためになされたもので、カーサーフィンをするための様々なシーンに応じた映像を容易に収集することができる映像収集システムを提供することを目的とする。ここで、カーサーフィンとは、複数の様々な場所で走っている車窓の映像を切り替えて、ユーザが入った映像を作ることにより、自宅にいながら旅ができたり、観光地のような決まった場所でないところの映像が得られたりすることができるサービスである。 The present invention has been made to solve the above problems, and an object of the present invention is to provide a video collection system capable of easily collecting video according to various scenes for car surfing. do. Here, car surfing means that you can travel while you are at home by switching the image of the car window running in multiple various places and creating an image with the user, or it is decided like a tourist spot. It is a service that allows you to obtain images of places other than places.

上記の目的を達成するために、本発明の映像処理システムは、サーバと、端末とを含み、前記サーバは、格納部と、エフェクト処理部と、第1通信部とを含み、前記端末は、第2通信部と、合成部と、表示部とを含み、前記格納部は、車両に搭載されたカメラにより撮影された映像を格納し、前記エフェクト処理部は、前記映像に対して、前記映像に含まれる個人情報が特定できないようにエフェクト処理を行い、前記第1通信部は、前記エフェクト処理された前記映像を前記端末に送信し、前記第2通信部は、前記サーバから前記映像を受信し、前記合成部は、前記エフェクト処理された前記映像と、対象を抜き出した画像とを合成した合成映像を生成し、前記表示部は、生成した前記合成映像を表示する。 In order to achieve the above object, the video processing system of the present invention includes a server and a terminal, the server includes a storage unit, an effect processing unit, and a first communication unit, and the terminal includes a storage unit, an effect processing unit, and a first communication unit. The storage unit includes a second communication unit, a synthesis unit, and a display unit, the storage unit stores an image taken by a camera mounted on the vehicle, and the effect processing unit receives the image with respect to the image. The effect processing is performed so that the personal information contained in the above can not be specified, the first communication unit transmits the effect-processed video to the terminal, and the second communication unit receives the video from the server. Then, the compositing unit generates a composite video in which the effect-processed video and the image extracted from the target are combined, and the display unit displays the generated composite video.

また、本発明の映像処理方法は、サーバと、端末とを含む映像処理システムにおける映像処理方法であって、前記サーバの格納部が、車両に搭載されたカメラにより撮影された映像を格納し、前記サーバのエフェクト処理部が、前記映像に対して、前記映像に含まれる個人情報が特定できないようにエフェクト処理を行い、前記サーバの第1通信部が、前記エフェクト処理された前記映像を前記端末に送信し、前記端末の第2通信部が、前記サーバから前記映像を受信し、前記端末の合成部が、前記エフェクト処理された前記映像と、対象を抜き出した画像とを合成した合成映像を生成し、前記端末の表示部が、生成した前記合成映像を表示する。 Further, the video processing method of the present invention is a video processing method in a video processing system including a server and a terminal, and a storage unit of the server stores a video taken by a camera mounted on a vehicle. The effect processing unit of the server performs effect processing on the video so that personal information included in the video cannot be specified, and the first communication unit of the server displays the effect-processed video on the terminal. The second communication unit of the terminal receives the video from the server, and the composite unit of the terminal synthesizes the composite video obtained by synthesizing the effect-processed video and the image extracted from the target. The generated and the display unit of the terminal displays the generated synthetic image.

本発明の映像処理システム及び映像処理方法によれば、サーバが、車両に搭載されたカメラにより撮影された映像を格納し、映像に対して、当該映像に含まれる個人情報が特定できないようにエフェクト処理を行い、エフェクト処理された当該映像を端末に送信し、端末が、サーバからエフェクト処理された映像を受信し、エフェクト処理された映像と、対象を抜き出した画像とを合成した合成映像を生成し、合成映像を表示する。 According to the video processing system and the video processing method of the present invention, the server stores the video taken by the camera mounted on the vehicle and has an effect so that the personal information contained in the video cannot be identified. Processing is performed, the effect-processed video is transmitted to the terminal, the terminal receives the effect-processed video from the server, and generates a composite video in which the effect-processed video and the extracted image are combined. And display the composite video.

このように、車両に搭載されたカメラにより撮影された映像を格納し、映像に対して、当該映像に含まれる個人情報が特定できないようにエフェクト処理を行い、エフェクト処理された当該映像と、対象を抜き出した画像とを合成した合成映像を生成し、合成映像を表示することにより、肖像権やプライバシーを気にせずに個人を特定できる情報が含まれている映像を用いることができる。 In this way, the image taken by the camera mounted on the vehicle is stored, the image is subjected to effect processing so that the personal information contained in the image cannot be identified, and the effect-processed image and the target. By generating a composite video that is a composite of the extracted image and displaying the composite video, it is possible to use a video that includes information that can identify an individual without worrying about portrait rights or privacy.

また、本発明の前記映像処理システムの前記エフェクト処理部は、前記格納部に格納された映像のうち、個人情報を特定可能な部分に対し、個人情報を特定不能な映像に予め変更する処理を行うことができる。 Further, the effect processing unit of the video processing system of the present invention performs a process of previously changing personal information to a non-identifiable part of the video stored in the storage unit for a portion in which personal information can be specified. It can be carried out.

また、本発明の前記映像処理システムの前記表示部は、複数種類のエフェクト処理を表示し、前記第2通信部は、ユーザから入力を受け付けたエフェクト処理の選択結果を前記サーバに送信し、前記第1通信部は、前記端末からエフェクト処理の選択結果を受信し、前記エフェクト処理部は、前記変更する処理を行った映像に対し、前記選択されたエフェクト処理を行うことができる。 Further, the display unit of the video processing system of the present invention displays a plurality of types of effect processing, and the second communication unit transmits the selection result of the effect processing that has received input from the user to the server, and the above-mentioned The first communication unit receives the selection result of the effect processing from the terminal, and the effect processing unit can perform the selected effect processing on the video to which the processing to be changed has been performed.

また、本発明の前記映像処理システムの前記サーバは、報酬付与部を更に含み、前記第1通信部は、他のユーザの車両に搭載されたカメラにより撮影された映像を受信し、前記格納部は、前記第1通信部が受信した映像を格納し、前記報酬付与部は、前記エフェクト処理部が用いた前記映像を送信した前記他のユーザに対して、報酬を付与することができる。 Further, the server of the video processing system of the present invention further includes a reward giving unit, and the first communication unit receives a video taken by a camera mounted on another user's vehicle and receives the storage unit. Stores the video received by the first communication unit, and the reward giving unit can give a reward to the other user who has transmitted the video used by the effect processing unit.

また、本発明の映像収集システムは、通信部と、格納部とを含み、前記取得部は、車両に搭載されたカメラが撮影した映像を取得し、前記車載器の通信部は、前記取得部が取得した映像を、前記サーバに送信し、前記サーバの通信部は、前記複数の車載器の各々から、前記車載器が取得した映像を受信し、前記格納部は、受信した映像をストレージに格納する。 Further, the image collecting system of the present invention includes a communication unit and a storage unit, the acquisition unit acquires images taken by a camera mounted on the vehicle, and the communication unit of the on-board unit is the acquisition unit. The video acquired by the vehicle is transmitted to the server, the communication unit of the server receives the video acquired by the vehicle-mounted device from each of the plurality of vehicle-mounted devices, and the storage unit stores the received video in the storage. Store.

本発明の映像収集システムによれば、通信部が、複数の車載器の各々から、当該車載器が搭載された車両に搭載されたカメラが撮影した映像を受信し、格納部が、受信した映像をストレージに格納する。 According to the image collection system of the present invention, the communication unit receives the image taken by the camera mounted on the vehicle equipped with the vehicle-mounted device from each of the plurality of vehicle-mounted devices, and the storage unit receives the received image. In storage.

このように、複数の車載器の各々から、当該車載器が搭載された車両に搭載されたカメラが撮影した映像を受信し、受信した映像をストレージに格納するため、カーサーフィンをするための様々なシーンに応じた映像を容易に収集することができる。 In this way, in order to receive the video taken by the camera mounted on the vehicle equipped with the vehicle-mounted device from each of the plurality of vehicle-mounted devices and store the received video in the storage, various methods for car surfing are performed. It is possible to easily collect images according to various scenes.

以上説明したように、本発明の映像処理システム及び映像処理方法によれば、車両に搭載されたカメラにより撮影された映像を格納し、映像に対して、当該映像に含まれる個人情報が特定できないようにエフェクト処理を行い、エフェクト処理された当該映像と、対象を抜き出した画像とを合成した合成映像を生成し、合成映像を表示することにより、肖像権やプライバシーを気にせずに個人を特定できる情報が含まれている映像を用いることができる、という効果が得られる。 As described above, according to the video processing system and the video processing method of the present invention, the video taken by the camera mounted on the vehicle is stored, and the personal information contained in the video cannot be specified for the video. By performing effect processing in this way, generating a composite video that combines the effect-processed video and the image extracted from the target, and displaying the composite video, an individual can be identified without worrying about portrait rights or privacy. The effect of being able to use a video containing information that can be obtained can be obtained.

また、本発明の映像収集システムによれば、複数の車載器の各々から、当該車載器が搭載された車両に搭載されたカメラが撮影した映像を受信し、受信した映像をストレージに格納するため、カーサーフィンをするための様々なシーンに応じた映像を容易に収集することができる、という効果が得られる。 Further, according to the image collecting system of the present invention, the image taken by the camera mounted on the vehicle on which the in-vehicle device is mounted is received from each of the plurality of in-vehicle devices, and the received image is stored in the storage. , The effect that it is possible to easily collect images corresponding to various scenes for car surfing can be obtained.

本実施形態における映像処理システムの概略を示すイメージ図である。It is an image diagram which shows the outline of the image processing system in this embodiment. 本実施形態に係る映像処理システムの構成を示す図である。It is a figure which shows the structure of the image processing system which concerns on this embodiment. 本実施形態に係る車載器のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware composition of the vehicle-mounted device which concerns on this embodiment. 本実施形態に係る車載器の機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the vehicle-mounted device which concerns on this embodiment. 本実施形態に係るサーバのハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware configuration of the server which concerns on this embodiment. 本実施形態に係るサーバの機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the server which concerns on this embodiment. ナンバーを変更する例を示す図であるIt is a figure which shows the example of changing a number. 選択されるエフェクトの一例を示すイメージ図である。It is an image diagram which shows an example of the selected effect. 本実施形態に係る端末のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware configuration of the terminal which concerns on this embodiment. 本実施形態に係る端末の機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the terminal which concerns on this embodiment. 本実施形態に係る合成映像の表示の例を示す図である。It is a figure which shows the example of the display of the composite video which concerns on this embodiment. 本実施形態における報酬取得処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the reward acquisition processing routine in this embodiment. 本実施形態における映像処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the image processing routine in this embodiment. 本実施形態におけるカーサーフィン処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the car surfing processing routine in this embodiment. 本実施形態におけるカーサーフィンの例を示すイメージ図である。It is an image diagram which shows the example of car surfing in this embodiment. 映像処理システムの応用例を示すイメージ図である。It is an image diagram which shows the application example of a video processing system.

以下、図面を参照して本発明の実施形態を詳細に説明する。
<本発明の実施形態の概要>
ドライブレコーダ等が普及してきているが、車窓映像を自由に扱えるコンテンツはない。これは、アップする人にメリットがなく、また、利用する側も肖像権やプライバシーの侵害になることを懸念するからである。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<Outline of Embodiment of the present invention>
Drive recorders and the like have become widespread, but there is no content that can freely handle vehicle window images. This is because there is no merit for the person who uploads it, and there is concern that the user will also infringe on portrait rights and privacy.

本発明の実施形態では、映像提供者が提供した映像を、サービス提供者がエフェクト処理し、ユーザに映像を提供し、ユーザ側端末でユーザの画像と当該映像とを合成した映像を表示することにより、ユーザがあたかも映像内の場所を車両でドライブしているような体験をすることができるカーサーフィンを提供するシステムについて説明する(図1)。 In the embodiment of the present invention, the service provider performs effect processing on the video provided by the video provider, provides the video to the user, and displays the video obtained by synthesizing the user's image and the video on the user's terminal. This system describes a system that provides car surfing that allows a user to experience driving a place in an image as if he / she is driving a vehicle (Fig. 1).

図1に示すように、映像提供者が車載カメラを用いて、風景画像を撮影する。例えば、ドライバーから見える車窓を撮影する。そして、得られた映像を、サービス提供者に提供する。この映像が使用されると、サービス提供者により報酬を与えられる。報酬は例えば、クーポンやポイント等である。 As shown in FIG. 1, a video provider takes a landscape image using an in-vehicle camera. For example, take a picture of the car window seen by the driver. Then, the obtained video is provided to the service provider. When this video is used, it will be rewarded by the service provider. The reward is, for example, a coupon or points.

サービス提供者は、提供された映像を、個人を特定できないようにエフェクト処理を行う。また、風景そのものを用いずに、絵画化等の映像全体に、ユーザが望むエフェクト処理を行うこともできる。このようにエフェクト処理された映像を、ユーザに提供する。 The service provider performs effect processing on the provided video so that the individual cannot be identified. It is also possible to perform the effect processing desired by the user on the entire image such as painting without using the landscape itself. The video processed in this way is provided to the user.

ユーザは、距離画像により人物を抜き出すモーションセンサシステム(例えば、Kinect(登録商標)等)を用いて得られるユーザ自身の画像と、提供された映像とを合成する。そして、ユーザは、合成された映像を観ることによりカーサーフィンを楽しむことができる。ユーザは、加工された映像を用いるため、肖像権やプライバシーを気にせずに個人を特定できる情報が含まれている映像を用いることができるのである。 The user synthesizes the user's own image obtained by using a motion sensor system (for example, Kinect (registered trademark)) for extracting a person from a distance image and the provided image. Then, the user can enjoy car surfing by watching the synthesized video. Since the user uses the processed video, the user can use the video containing information that can identify an individual without worrying about the right of portrait or privacy.

<映像処理システムの構成>
図2を参照して、本発明の実施形態に係る映像処理システム1の構成について説明する。図2は、本開示の実施形態に係る映像処理システム1の構成を示すブロック図である。図2に示すように、本発明の実施形態に係る映像処理システム1は、車両に搭載されたカメラ10及び車載器20と、サーバ30と、端末40と、基地局50と、ネットワーク60とを備えて構成される。
<Video processing system configuration>
The configuration of the video processing system 1 according to the embodiment of the present invention will be described with reference to FIG. FIG. 2 is a block diagram showing a configuration of the video processing system 1 according to the embodiment of the present disclosure. As shown in FIG. 2, the video processing system 1 according to the embodiment of the present invention includes a camera 10, an on-board unit 20, a server 30, a terminal 40, a base station 50, and a network 60 mounted on a vehicle. Be prepared.

基地局50は、ネットワーク60に接続され、無線通信により車載器20と通信を行う無線基地局である。ネットワーク60は、インターネットや広域イーサ網等の公衆網である。 The base station 50 is a wireless base station that is connected to the network 60 and communicates with the vehicle-mounted device 20 by wireless communication. The network 60 is a public network such as the Internet and a wide area Ethernet network.

車両に搭載されたカメラ10は、車両に搭載されたカメラである。カメラ10は、撮影した映像を、車載器20に出力する。 The camera 10 mounted on the vehicle is a camera mounted on the vehicle. The camera 10 outputs the captured image to the vehicle-mounted device 20.

図3及び図4を参照して、本発明の実施形態に係る車載器20の構成について説明する。図3は、本実施形態に係る車載器20のハードウェア構成を示すブロック図である。図3に示すように、車載器20は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、ストレージ24、入力部25、表示部26及びアンテナ27を有する。各構成は、バス29を介して相互に通信可能に接続されている。 The configuration of the vehicle-mounted device 20 according to the embodiment of the present invention will be described with reference to FIGS. 3 and 4. FIG. 3 is a block diagram showing a hardware configuration of the vehicle-mounted device 20 according to the present embodiment. As shown in FIG. 3, the on-board unit 20 includes a CPU (Central Processing Unit) 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, a storage 24, an input unit 25, a display unit 26, and an antenna 27. Have. Each configuration is communicably connected to each other via a bus 29.

CPU21は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU21は、ROM22又はストレージ24からプログラムを読み出し、RAM23を作業領域としてプログラムを実行する。CPU21は、ROM22又はストレージ24に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM22又はストレージ24には、報酬取得処理を行うための報酬取得プログラムが記憶されている。 The CPU 21 is a central arithmetic processing unit that executes various programs and controls each unit. That is, the CPU 21 reads the program from the ROM 22 or the storage 24, and executes the program using the RAM 23 as a work area. The CPU 21 controls each of the above configurations and performs various arithmetic processes according to the program stored in the ROM 22 or the storage 24. In the present embodiment, the ROM 22 or the storage 24 stores a reward acquisition program for performing the reward acquisition process.

ROM22は、各種プログラム及び各種データを記憶する。RAM23は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ24は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。 The ROM 22 stores various programs and various data. The RAM 23 temporarily stores a program or data as a work area. The storage 24 is composed of an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.

入力部25は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。 The input unit 25 includes a pointing device such as a mouse and a keyboard, and is used for performing various inputs.

表示部26は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部26は、タッチパネル方式を採用して、入力部25として機能しても良い。 The display unit 26 is, for example, a liquid crystal display and displays various types of information. The display unit 26 may adopt a touch panel method and function as an input unit 25.

アンテナ27は、他の機器と無線通信するためのインターフェースであり、例えば、LTE、Wi−Fi(登録商標)等の規格が用いられる。なお、車載器20に有線通信をするための通信インターフェースを搭載する構成としてもよい。 The antenna 27 is an interface for wireless communication with other devices, and for example, standards such as LTE and Wi-Fi (registered trademark) are used. The vehicle-mounted device 20 may be provided with a communication interface for wired communication.

次に、車載器20の機能構成について説明する。図4は、車載器20の機能構成の例を示すブロック図である。図4に示すように、本実施形態に係る車載器20は、取得部201と、通信部202と、報酬管理部203とを備えて構成される。 Next, the functional configuration of the vehicle-mounted device 20 will be described. FIG. 4 is a block diagram showing an example of the functional configuration of the vehicle-mounted device 20. As shown in FIG. 4, the vehicle-mounted device 20 according to the present embodiment includes an acquisition unit 201, a communication unit 202, and a reward management unit 203.

取得部201は、カメラ10から、カメラ10が撮影した映像を取得する。この際、取得部201は、カメラ10が撮影した映像がどのエリアを撮影したかを示すエリア情報を、当該映像に付与する。そして、取得部201は、取得した映像を、通信部202に渡す。 The acquisition unit 201 acquires the image captured by the camera 10 from the camera 10. At this time, the acquisition unit 201 adds area information indicating which area the image captured by the camera 10 has captured to the image. Then, the acquisition unit 201 passes the acquired video to the communication unit 202.

通信部202は、取得した映像をサーバ30に送信する。また、通信部202は、サーバ30から、報酬を受信する。通信部202は、受信した報酬を、報酬管理部203に渡す。 The communication unit 202 transmits the acquired video to the server 30. Further, the communication unit 202 receives the reward from the server 30. The communication unit 202 passes the received reward to the reward management unit 203.

報酬管理部203は、報酬を管理する。具体的には、報酬管理部203は、受信した報酬を、現在所持している報酬と併せて記憶する。報酬は、例えば、クーポンやポイントである。報酬は、例えば、高速道路の料金やサービスエリアの利用料等に使えるもの等様々な態様で利用される。報酬が利用されると、報酬管理部203は、利用された報酬を削除する。 The remuneration management unit 203 manages the remuneration. Specifically, the reward management unit 203 stores the received reward together with the reward currently possessed. Rewards are, for example, coupons and points. The reward is used in various forms such as those that can be used for highway tolls, service area usage fees, and the like. When the reward is used, the reward management unit 203 deletes the used reward.

図5及び図6を参照して、本発明の実施形態に係るサーバ30の構成について説明する。なお、車載器20と同様の構成について同一の符号を付して説明を省略する。 The configuration of the server 30 according to the embodiment of the present invention will be described with reference to FIGS. 5 and 6. The same components as those of the on-board unit 20 are designated by the same reference numerals, and the description thereof will be omitted.

図5は、本実施形態に係るサーバ30のハードウェア構成を示すブロック図である。図6に示すように、サーバ30は、CPU31、ROM32、RAM33、ストレージ34、入力部25、表示部26、及び通信インターフェース(I/F)37を有する。各構成は、バス29を介して相互に通信可能に接続されている。 FIG. 5 is a block diagram showing a hardware configuration of the server 30 according to the present embodiment. As shown in FIG. 6, the server 30 has a CPU 31, a ROM 32, a RAM 33, a storage 34, an input unit 25, a display unit 26, and a communication interface (I / F) 37. Each configuration is communicably connected to each other via a bus 29.

CPU31は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU31は、ROM32又はストレージ34からプログラムを読み出し、RAM33を作業領域としてプログラムを実行する。CPU31は、ROM32又はストレージ34に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM32又はストレージ34には、映像処理を行うための映像処理プログラムが記憶されている。 The CPU 31 is a central arithmetic processing unit that executes various programs and controls each unit. That is, the CPU 31 reads the program from the ROM 32 or the storage 34, and executes the program using the RAM 33 as a work area. The CPU 31 controls each of the above configurations and performs various arithmetic processes according to the program stored in the ROM 32 or the storage 34. In the present embodiment, the ROM 32 or the storage 34 stores a video processing program for performing video processing.

ROM32は、各種プログラム及び各種データを記憶する。RAM33は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ34は、HDD又はSSDにより構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。 The ROM 32 stores various programs and various data. The RAM 33 temporarily stores a program or data as a work area. The storage 34 is composed of an HDD or an SSD, and stores various programs including an operating system and various data.

通信インターフェース37は、他の機器と通信するためのインターフェースであり、例えば、イーサネット(登録商標)、FDDI、Wi−Fi(登録商標)等の規格が用いられる。 The communication interface 37 is an interface for communicating with other devices, and for example, standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark) are used.

次に、サーバ30の機能構成について説明する。図6は、サーバ30の機能構成の例を示すブロック図である。図6に示すように、本実施形態に係るサーバ30は、第1通信部301と、格納部302と、エフェクト処理部303と、映像選択部304と、報酬付与部305とを備えて構成される。 Next, the functional configuration of the server 30 will be described. FIG. 6 is a block diagram showing an example of the functional configuration of the server 30. As shown in FIG. 6, the server 30 according to the present embodiment includes a first communication unit 301, a storage unit 302, an effect processing unit 303, a video selection unit 304, and a reward giving unit 305. NS.

第1通信部301は、他のユーザの車両に搭載されたカメラ10により撮影された映像を受信する。そして、第1通信部301は、受信した映像を、格納部302に渡す。 The first communication unit 301 receives an image taken by a camera 10 mounted on another user's vehicle. Then, the first communication unit 301 passes the received video to the storage unit 302.

また、第1通信部301は、端末40からエフェクト処理の選択結果と、ユーザがカーサーフィンにより走行したいエリアの情報を示すエリア情報を受信する。そして、第1通信部301は、受信したエフェクト処理の選択結果及びエリア情報を、映像選択部304に渡す。 In addition, the first communication unit 301 receives from the terminal 40 the selection result of the effect processing and the area information indicating the information of the area where the user wants to travel by car surfing. Then, the first communication unit 301 passes the received selection result of the effect processing and the area information to the video selection unit 304.

また、第1通信部301は、エフェクト処理された映像を端末40に送信する。 In addition, the first communication unit 301 transmits the effect-processed video to the terminal 40.

また、第1通信部301は、報酬付与部305により決定された車載器20に、報酬を送信する。 In addition, the first communication unit 301 transmits the reward to the vehicle-mounted device 20 determined by the reward giving unit 305.

格納部302には、受信した映像が複数格納されている。具体的には、格納部302には、複数の映像提供者により、当該映像提供者の車載器20から受信した映像が、当該映像提供者と紐付けて複数格納されている。 A plurality of received images are stored in the storage unit 302. Specifically, in the storage unit 302, a plurality of videos received from the vehicle-mounted device 20 of the video provider by the plurality of video providers are stored in association with the video provider.

エフェクト処理部303は、映像に対して、映像に含まれる個人情報が特定できないようにエフェクト処理を行う。 The effect processing unit 303 performs effect processing on the video so that the personal information included in the video cannot be specified.

具体的には、エフェクト処理部303は、格納部302に格納された映像のうち、個人情報を特定可能な部分に対し、個人情報を特定不能な映像に予め変更する処理を行う。より具体的には、エフェクト処理部303は、まず、格納部302から、格納部302に格納されている映像提供者の車載器20から受信した映像を取得する。次に、エフェクト処理部303は、取得した映像から、所定の方法により、ナンバープレートや人の顔等の個人情報を特定できる情報を検出する。所定の方法とは、例えば、機械学習等により学習されたナンバープレートや人の顔等を検出するための画像認識モデルを用いて、個人情報を特定できる位置を検出する。図7の四角枠は、エフェクト処理部303が、ナンバープレートの位置を検出した場合の例を示す。 Specifically, the effect processing unit 303 performs a process of changing the personal information identifiable portion of the video stored in the storage unit 302 in advance to a non-identifiable video. More specifically, the effect processing unit 303 first acquires, from the storage unit 302, the video received from the vehicle-mounted device 20 of the video provider stored in the storage unit 302. Next, the effect processing unit 303 detects information that can identify personal information such as a license plate and a human face from the acquired video by a predetermined method. The predetermined method is to detect a position where personal information can be specified by using, for example, an image recognition model for detecting a license plate, a human face, or the like learned by machine learning or the like. The square frame in FIG. 7 shows an example when the effect processing unit 303 detects the position of the license plate.

次に、エフェクト処理部303は、検出した個人情報を特定できる位置の映像を、個人情報を特定不能な映像に変更する。例えば、架空のナンバーや、架空の人の顔、使用許諾を取得している人の顔に変更する。そして、エフェクト処理部303は、変更した映像を、格納部302に格納する。 Next, the effect processing unit 303 changes the image at the position where the detected personal information can be specified to the image whose personal information cannot be specified. For example, change to a fictitious number, a fictitious person's face, or a licensed person's face. Then, the effect processing unit 303 stores the changed video in the storage unit 302.

また、エフェクト処理部303は、映像選択部304により選択された映像に対してエフェクト処理を行う。 Further, the effect processing unit 303 performs effect processing on the image selected by the image selection unit 304.

具体的には、エフェクト処理部303は、ユーザが選択した、風景そのものを用いるか、アニメ調化、絵画化、抽象化の何れかのエフェクト処理を行うかの選択結果に基づいて、映像選択部304により選択された映像全体に、ユーザが望むエフェクト処理を行う。より具体的には、選択結果が、風景そのものを用いる場合、エフェクト処理部303は、エフェクト処理を行わず、当該映像を、通信部301及び報酬付与部305に渡す。 Specifically, the effect processing unit 303 is a video selection unit based on the selection result of whether the landscape itself is used or the effect processing of animation, painting, or abstraction is performed, which is selected by the user. The effect processing desired by the user is performed on the entire video selected by 304. More specifically, when the selection result uses the landscape itself, the effect processing unit 303 does not perform the effect processing and passes the video to the communication unit 301 and the reward giving unit 305.

一方、選択結果が、何れかのエフェクト処理を行うことであれば、当該選択されたエフェクト処理を映像全体に行う。例えば、アニメ調化である場合には、図8のように、アニメ調にエフェクト処理を行う。これにより、人物やナンバープレートが読み取れないようになっているため、更に肖像権を気にすることがなくなる。そして、エフェクト処理部303は、エフェクト処理を行った映像を、通信部301及び報酬付与部305に渡す。 On the other hand, if the selection result is to perform any effect processing, the selected effect processing is performed on the entire image. For example, in the case of animation-like processing, the effect processing is performed in an animation-like manner as shown in FIG. As a result, people and license plates cannot be read, so there is no need to worry about portrait rights. Then, the effect processing unit 303 passes the video after the effect processing to the communication unit 301 and the reward giving unit 305.

映像選択部304は、端末40が表示する映像を、格納部302に格納されている複数の映像から選択する。 The image selection unit 304 selects the image to be displayed by the terminal 40 from a plurality of images stored in the storage unit 302.

具体的には、映像選択部304は、ユーザがカーサーフィンにより走行したいエリアの情報を示すエリア情報に基づいて、当該エリアに対応する映像を、格納部302から検索する。複数の映像が検索された場合、映像選択部304は、最も新しい映像、又は最も画質の良い映像を選択する。最も新しい映像は、当該エリアの最新の状態を撮影していることが多く、よりユーザを楽しませることができる。また、映像選択部304は、ユーザが時間情報や季節情報を指定し、これに基づいて映像が撮影された時間や季節に応じて映像を選択するように構成してもよい。 Specifically, the image selection unit 304 searches the storage unit 302 for an image corresponding to the area based on the area information indicating the area information that the user wants to drive by car surfing. When a plurality of images are searched, the image selection unit 304 selects the newest image or the image with the best image quality. The newest footage often captures the latest state of the area, which can be more entertaining to the user. Further, the video selection unit 304 may be configured so that the user specifies time information and seasonal information, and based on this, selects the video according to the time and season when the video was shot.

そして、映像選択部304は、選択した映像を、エフェクト処理部303に渡す。 Then, the image selection unit 304 passes the selected image to the effect processing unit 303.

報酬付与部305は、エフェクト処理部303が用いた映像を送信した映像提供者に対して、報酬を付与する。 The reward giving unit 305 gives a reward to the video provider who transmitted the video used by the effect processing unit 303.

具体的には、報酬付与部305は、エフェクト処理部303が用いた映像に紐づく映像提供者に、当該映像の利用したことに対する報酬を決定する。なお、ユーザがカーサーフィンを行った後に、満足度を入力し、当該満足度に応じて報酬を決定する構成としてもよい。次に、報酬付与部305は、当該映像提供者の車載器20に報酬を送信することを決定する。 Specifically, the reward giving unit 305 determines the reward for using the video to the video provider associated with the video used by the effect processing unit 303. After the user has surfed the car, the satisfaction level may be input and the reward may be determined according to the satisfaction level. Next, the reward giving unit 305 decides to transmit the reward to the vehicle-mounted device 20 of the video provider.

そして、報酬付与部305は、決定した報酬を、第1通信部301に渡す。 Then, the reward giving unit 305 passes the determined reward to the first communication unit 301.

図9及び図10を参照して、本発明の実施形態に係る端末40の構成について説明する。なお、車載器20と同様の構成について同一の符号を付して説明を省略する。 The configuration of the terminal 40 according to the embodiment of the present invention will be described with reference to FIGS. 9 and 10. The same components as those of the on-board unit 20 are designated by the same reference numerals, and the description thereof will be omitted.

図9は、本実施形態に係る端末40のハードウェア構成を示すブロック図である。図9に示すように、端末40は、CPU41、ROM42、RAM43、ストレージ44、入力部25、表示部26、及びアンテナ27を有する。各構成は、バス29を介して相互に通信可能に接続されている。 FIG. 9 is a block diagram showing a hardware configuration of the terminal 40 according to the present embodiment. As shown in FIG. 9, the terminal 40 has a CPU 41, a ROM 42, a RAM 43, a storage 44, an input unit 25, a display unit 26, and an antenna 27. Each configuration is communicably connected to each other via a bus 29.

CPU41は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU41は、ROM42又はストレージ44からプログラムを読み出し、RAM43を作業領域としてプログラムを実行する。CPU41は、ROM42又はストレージ44に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM42又はストレージ44には、カーサーフィン処理を行うためのカーサーフィン処理プログラムが記憶されている。 The CPU 41 is a central arithmetic processing unit that executes various programs and controls each unit. That is, the CPU 41 reads the program from the ROM 42 or the storage 44, and executes the program using the RAM 43 as a work area. The CPU 41 controls each of the above configurations and performs various arithmetic processes according to the program stored in the ROM 42 or the storage 44. In the present embodiment, the ROM 42 or the storage 44 stores a car surfing processing program for performing the car surfing processing.

ROM42は、各種プログラム及び各種データを記憶する。RAM43は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ44は、HDD又はSSDにより構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。 The ROM 42 stores various programs and various data. The RAM 43 temporarily stores a program or data as a work area. The storage 44 is composed of an HDD or an SSD, and stores various programs including an operating system and various data.

次に、端末40の機能構成について説明する。図10は、端末40の機能構成の例を示すブロック図である。図10に示すように、本実施形態に係る端末40は、入力部401と、第2通信部402と、合成部403と、表示部404とを備えて構成される。 Next, the functional configuration of the terminal 40 will be described. FIG. 10 is a block diagram showing an example of the functional configuration of the terminal 40. As shown in FIG. 10, the terminal 40 according to the present embodiment includes an input unit 401, a second communication unit 402, a synthesis unit 403, and a display unit 404.

入力部401は、ユーザから、エフェクト処理の選択と、エリア情報との入力を受け付ける。そして、入力部401は、エフェクト処理の選択結果と、エリア情報とを、第2通信部402に渡す。 The input unit 401 accepts the selection of the effect processing and the input of the area information from the user. Then, the input unit 401 passes the selection result of the effect processing and the area information to the second communication unit 402.

第2通信部402は、ユーザから入力を受け付けたエフェクト処理の選択結果と、エリア情報とをサーバ30に送信する。また、第2通信部402は、サーバ30から映像を受信する。 The second communication unit 402 transmits the selection result of the effect process received from the user and the area information to the server 30. In addition, the second communication unit 402 receives the video from the server 30.

合成部403は、エフェクト処理された映像と、対象を抜き出した画像とを合成した合成映像を生成する。 The compositing unit 403 generates a composite video in which the effect-processed video and the image from which the target is extracted are composited.

具体的には、合成部403は、図11(a)に示すように、エフェクト処理された映像と、ユーザ(図11では人の後ろ姿と、人が座っているイス及び机)を抜き出した画像とを合成する。 Specifically, as shown in FIG. 11A, the compositing unit 403 extracts an image obtained by extracting the effect-processed image and the user (in FIG. 11, the back view of the person and the chair and desk on which the person is sitting). And synthesize.

より具体的な実施例として、図11の例では、写っている人は端末40が設置された実験室にいる。エフェクト処理された映像を受信して合成する。当該実験室では、例えば、距離情報を持つカメラであるKinect等で後ろ姿を撮影し、人だけを切り取る。図11(b)及び(c)では高架橋や対向車を避ける動きをしている。 As a more specific example, in the example of FIG. 11, the person in the picture is in the laboratory where the terminal 40 is installed. Receives and synthesizes the effect-processed video. In the laboratory, for example, the back view is photographed with Kinect, which is a camera having distance information, and only a person is cut out. In FIGS. 11 (b) and 11 (c), the viaduct and oncoming vehicles are avoided.

そして、合成部403は、得られた合成映像を、表示部404に渡す。 Then, the synthesis unit 403 passes the obtained composite video to the display unit 404.

表示部404は、複数種類のエフェクト処理を選択する画面と、ユーザがカーサーフィンにより走行したいエリアの入力を受け付ける画面とを表示する。 The display unit 404 displays a screen for selecting a plurality of types of effect processing and a screen for accepting input of an area where the user wants to drive by car surfing.

また、表示部404は、生成した合成映像を表示する。 In addition, the display unit 404 displays the generated composite video.

<映像処理システム1の動作>
次に、映像処理システム1の動作について説明する。なお、車載器20から映像を送信し、サーバ30が格納する処理については説明を省略する。
<Operation of video processing system 1>
Next, the operation of the video processing system 1 will be described. The process of transmitting video from the vehicle-mounted device 20 and storing it in the server 30 will be omitted.

次に、図12を参照して、本実施形態の映像処理システム1の車載器20の報酬取得処理ルーチンについて説明する。 Next, with reference to FIG. 12, the reward acquisition processing routine of the vehicle-mounted device 20 of the video processing system 1 of the present embodiment will be described.

まず、ステップS101において、通信部202は、サーバ30から、報酬を受信する。 First, in step S101, the communication unit 202 receives the reward from the server 30.

ステップS102において、報酬管理部203は、報酬を蓄積し、処理を終了する。 In step S102, the reward management unit 203 accumulates the reward and ends the process.

次に、図13を参照して、本実施形態の映像処理システム1のサーバ30による映像処理ルーチンについて説明する。 Next, with reference to FIG. 13, the video processing routine by the server 30 of the video processing system 1 of the present embodiment will be described.

ステップS201において、エフェクト処理部303は、格納部302に格納された映像のうち、個人情報を特定可能な部分に対し、個人情報を特定不能な映像に予め変更する処理を行う。 In step S201, the effect processing unit 303 performs a process of changing the personal information identifiable portion of the video stored in the storage unit 302 in advance to a non-identifiable video.

ステップS202において、エフェクト処理部303は、上記ステップS201により変更した映像を、格納部302に格納する。 In step S202, the effect processing unit 303 stores the video changed in step S201 in the storage unit 302.

ステップS203において、第1通信部301は、端末40からエフェクト処理の選択結果を受信する。 In step S203, the first communication unit 301 receives the selection result of the effect processing from the terminal 40.

ステップS204において、映像選択部304は、端末40が表示する映像を、格納部302に格納されている複数の映像から選択する。 In step S204, the video selection unit 304 selects the video displayed by the terminal 40 from a plurality of videos stored in the storage unit 302.

ステップS205において、エフェクト処理部303は、上記ステップS204により選択された映像に対してエフェクト処理を行う。 In step S205, the effect processing unit 303 performs effect processing on the image selected in step S204.

ステップS206において、第1通信部301は、エフェクト処理された映像を端末40に送信する。 In step S206, the first communication unit 301 transmits the effect-processed video to the terminal 40.

ステップS207において、報酬付与部305は、エフェクト処理部303が用いた映像を送信した映像提供者に対して、報酬を付与する。 In step S207, the reward giving unit 305 gives a reward to the video provider who transmitted the video used by the effect processing unit 303.

ステップS208において、第1通信部301は、報酬付与部305により決定された車載器20に、報酬を送信し、処理を終了する。 In step S208, the first communication unit 301 transmits the reward to the vehicle-mounted device 20 determined by the reward giving unit 305, and ends the process.

次に、図14を参照して、本実施形態の映像処理システム1の端末40によるカーサーフィン処理ルーチンについて説明する。 Next, with reference to FIG. 14, a car surfing processing routine by the terminal 40 of the video processing system 1 of the present embodiment will be described.

ステップS301において、表示部404は、複数種類のエフェクト処理を選択する画面を表示する。 In step S301, the display unit 404 displays a screen for selecting a plurality of types of effect processing.

ステップS302において、入力部401は、ユーザから、エフェクト処理の選択の入力を受け付ける。 In step S302, the input unit 401 receives an input for selecting an effect process from the user.

ステップS303において、第2通信部402は、ユーザから入力を受け付けたエフェクト処理の選択結果をサーバ30に送信する。 In step S303, the second communication unit 402 transmits the selection result of the effect process that has received the input from the user to the server 30.

ステップS304において、第2通信部402は、サーバ30から映像を受信する。 In step S304, the second communication unit 402 receives the video from the server 30.

ステップS305において、合成部403は、エフェクト処理された映像と、対象を抜き出した画像とを合成した合成映像を生成する。 In step S305, the compositing unit 403 generates a composite video in which the effect-processed video and the image extracted from the target are composited.

ステップS306において、表示部404は、生成した合成映像を表示し、処理を終了する。 In step S306, the display unit 404 displays the generated composite image and ends the process.

以上説明したように、本発明の実施形態に係る映像処理システムによれば、車両に搭載されたカメラにより撮影された映像を格納し、映像に対して、当該映像に含まれる個人情報が特定できないようにエフェクト処理を行い、エフェクト処理された当該映像と、対象を抜き出した画像とを合成した合成映像を生成し、合成映像を表示することにより、肖像権やプライバシーを気にせずに個人を特定できる情報が含まれている映像を用いることができる。 As described above, according to the image processing system according to the embodiment of the present invention, the image taken by the camera mounted on the vehicle is stored, and the personal information included in the image cannot be specified for the image. By performing effect processing in this way, generating a composite video that combines the effect-processed video and the image extracted from the target, and displaying the composite video, an individual can be identified without worrying about portrait rights or privacy. It is possible to use a video containing information that can be produced.

すなわち、映像にエフェクトを掛ける技術や、顔やナンバープレートを認識する技術を用いて、映像を加工し、これを他の人が利用しても肖像権やプライバシーを侵害しない状態にする。車窓の映像を利用できないのは、映像を集めて利用できるようにするサービスがないからである。すなわち、車窓の映像を利用する場合は、人物が写ったり、ナンバープレートが写ったりするので、肖像権の侵害やプライバシーの侵害に該当する場合が生ずるからである。 That is, the image is processed by using the technique of applying an effect to the image and the technique of recognizing a face or a license plate, so that the image is not infringed on the portrait right or privacy even if it is used by another person. The video of the car window cannot be used because there is no service to collect and use the video. That is, when the image of the car window is used, a person is photographed or a license plate is photographed, which may correspond to an infringement of a portrait right or an infringement of privacy.

また、エフェクト処理部が、格納部に格納された映像のうち、個人情報を特定可能な部分に対し、個人情報を特定不能な映像に予め変更する処理を行うことにより、肖像権等の侵害とならないような映像とすることができる。 In addition, the effect processing unit performs a process of changing the personal information identifiable part of the video stored in the storage unit in advance to a non-identifiable video, thereby infringing the portrait right or the like. The image can be made so that it does not become.

また、表示部は、複数種類のエフェクト処理を表示し、第2通信部は、ユーザから入力を受け付けたエフェクト処理の選択結果をサーバに送信し、第1通信部は、端末からエフェクト処理の選択結果を受信し、エフェクト処理部は、変更する処理を行った映像に対し、選択されたエフェクト処理を行うことにより、ユーザが好むサービスをより肖像権等に考慮して映像を提供することができる。 In addition, the display unit displays a plurality of types of effect processing, the second communication unit sends the selection result of the effect processing that has received the input from the user to the server, and the first communication unit selects the effect processing from the terminal. Upon receiving the result, the effect processing unit can provide the image in consideration of the service preferred by the user in consideration of the portrait right or the like by performing the selected effect processing on the image to be changed. ..

すなわち、世界中に走っているクルマの車窓をアップして、それを自由に使えるようにすることができる。 In other words, it is possible to raise the window of a car running all over the world so that it can be used freely.

図15は、カーサーフィンの例である。複数の様々な場所で走っている車窓の映像を切り替えて、ユーザが入った映像を作ることができる。自宅にいながら旅ができたり、観光地のような決まった場所でないところの映像が得られたりすることができる。旅行会社などが利用することも考えられる。 FIG. 15 is an example of car surfing. By switching the image of the car window running in multiple various places, it is possible to create an image with the user. You can travel while you are at home, and you can get images of places that are not fixed places such as tourist spots. It may be used by travel agencies.

また、体の不自由な人が自分を含めてドライブしている映像が作れるので、旅をした雰囲気を楽しめる。図16は、映像処理システムの応用例として、ユーザが家にいながらサービスの提供を受ける例を示す。このように、映像提供者が提供した映像により、そこに行った雰囲気を楽しむことができる。病気で自宅や病院から出られない人等に適したサービスを提供することができる。 In addition, you can enjoy the atmosphere of traveling because you can make images of people with disabilities driving, including yourself. FIG. 16 shows an example in which a user receives a service while staying at home as an application example of a video processing system. In this way, the video provided by the video provider allows you to enjoy the atmosphere of going there. It is possible to provide services suitable for people who are ill and cannot leave their homes or hospitals.

また、第1通信部が、他のユーザの車両に搭載されたカメラにより撮影された映像を受信し、格納部が、第1通信部が受信した映像を格納し、報酬付与部が、エフェクト処理部が用いた映像を送信した他のユーザに対して、報酬を付与することにより、映像提供者から映像を効率的に集めることができると共に、映像提供者が報酬を得られるサービスを提供することができる。 Further, the first communication unit receives the image taken by the camera mounted on the vehicle of another user, the storage unit stores the image received by the first communication unit, and the reward giving unit processes the effect. By giving a reward to other users who have transmitted the video used by the department, it is possible to efficiently collect the video from the video provider and provide a service that the video provider can get a reward. Can be done.

すなわち、車窓映像を使いたいユーザがサービスの会員になり、所定の利用料を支払う、又はスポンサーが費用を負担する。映像提供者には、その映像が使われた場合に、ポイント等の報酬を還元する。サービス提供者となる企業等は、車窓の映像を効率的に集める。このように、当該サービスの各主体者それぞれにメリットを与えることができる。 That is, the user who wants to use the vehicle window image becomes a member of the service and pays a predetermined usage fee, or the sponsor bears the cost. When the video is used, rewards such as points are returned to the video provider. Companies that serve as service providers efficiently collect images of car windows. In this way, it is possible to give merits to each subject of the service.

また、本発明の実施形態に係る映像収集システムによれば、複数の車載器の各々から、当該車載器が搭載された車両に搭載されたカメラが撮影した映像を受信し、受信した映像をストレージに格納するため、様々なシーンに応じた映像を容易に収集することができる。特に、サービスに映像が用いられた場合に、当該映像の送信元の車載器に対して報酬を与えるため、映像提供者が映像の収集に積極的に協力してくれることとなる。このため、様々なシーンに応じた映像を効率的に収集することができる。なお、映像収集システムは1つの装置として構築されても、複数の装置により構成されていてもよい。ストレージは外部装置として構成され、受信した映像が通信網を介して格納されてもよい。また、映像収集システムは、上記映像処理システムに用いられる。このため、カーサーフィンをするための様々なシーンに応じた映像を容易に収集することができる。 Further, according to the image collection system according to the embodiment of the present invention, images taken by a camera mounted on the vehicle on which the vehicle-mounted device is mounted are received from each of the plurality of vehicle-mounted devices, and the received images are stored. Since it is stored in, it is possible to easily collect images corresponding to various scenes. In particular, when video is used for the service, the video provider will actively cooperate in collecting the video in order to reward the in-vehicle device that is the source of the video. Therefore, it is possible to efficiently collect images corresponding to various scenes. The video acquisition system may be constructed as one device or may be composed of a plurality of devices. The storage is configured as an external device, and the received video may be stored via a communication network. The video collection system is used for the video processing system. Therefore, it is possible to easily collect images corresponding to various scenes for car surfing.

なお、本開示は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present disclosure is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the gist of the present invention.

例えば、上述の実施形態では、人の顔やナンバープレートを予め変更する構成としたが、変更せずに、アニメ調にエフェクト処理を行った場合のように、人物やナンバープレートを読み取れないようにする構成としてもよい。 For example, in the above-described embodiment, the human face and license plate are changed in advance, but the person and license plate cannot be read as in the case where the effect processing is performed in an animation style without changing the person's face and license plate. It may be configured to be used.

また、上述の実施形態では、端末40の表示部404に合成映像を表示する場合を例に説明したが、これに限定されるものではない。例えば、端末40で得た合成映像を、動画共有サービスや動画配信サービス(これらを併せて動画サービスと呼ぶことにする)にアップロードして用いることができる。ユーザ自身が合成映像に映っていることにより、ユーザが配信する動画サービスに応用することができる。また、このような動画サービスを使用するユーザが車両を運転している場合に、当該車両にカメラ10、車載器20、端末40及び距離情報を持つカメラを設置し、リアルタイム配信する構成を採用することもできる。 Further, in the above-described embodiment, the case where the composite image is displayed on the display unit 404 of the terminal 40 has been described as an example, but the present invention is not limited to this. For example, the composite video obtained by the terminal 40 can be uploaded to a video sharing service or a video distribution service (collectively referred to as a video service) for use. Since the user himself is reflected in the composite video, it can be applied to a video service distributed by the user. Further, when a user who uses such a video service is driving a vehicle, a camera 10, an on-board unit 20, a terminal 40, and a camera having distance information are installed in the vehicle, and a configuration is adopted in which real-time distribution is performed. You can also do it.

また、合成した映像から音楽を自動生成して、映像と併せて再生することもできる。 It is also possible to automatically generate music from the synthesized video and play it together with the video.

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 Further, although described as an embodiment in which the program is pre-installed in the specification of the present application, it is also possible to provide the program by storing it in a computer-readable recording medium.

1 映像処理システム
10 カメラ
20 車載器
21、31、41 CPU
22、32、42 ROM
23、33、43 RAM
24、34、44 ストレージ
25 入力部
26 表示部
27 アンテナ
29 バス
30 サーバ
37 通信インターフェース
40 端末
50 基地局
60 ネットワーク
201 取得部
202 通信部
203 報酬管理部
301 第1通信部
302 格納部
303 エフェクト処理部
304 映像選択部
305 報酬付与部
401 入力部
402 第2通信部
403 合成部
404 表示部
1 Video processing system 10 Camera 20 On-board unit 21, 31, 41 CPU
22, 32, 42 ROM
23, 33, 43 RAM
24, 34, 44 Storage 25 Input unit 26 Display unit 27 Antenna 29 Bus 30 Server 37 Communication interface 40 Terminal 50 Base station 60 Network 201 Acquisition unit 202 Communication unit 203 Reward management unit 301 First communication unit 302 Storage unit 303 Effect processing unit 304 Video selection unit 305 Reward granting unit 401 Input unit 402 Second communication unit 403 Synthesis unit 404 Display unit

Claims (7)

サーバと、端末とを含み、
前記サーバは、格納部と、エフェクト処理部と、第1通信部とを含み、
前記端末は、第2通信部と、合成部と、表示部とを含み、
前記格納部は、車両に搭載されたカメラにより撮影された映像を格納し、
前記エフェクト処理部は、前記映像に対して、前記映像に含まれる個人情報が特定できないようにエフェクト処理を行い、
前記第1通信部は、前記エフェクト処理された前記映像を前記端末に送信し、
前記第2通信部は、前記サーバから前記映像を受信し、
前記合成部は、前記エフェクト処理された前記映像と、対象を抜き出した画像とを合成した合成映像を生成し、
前記表示部は、生成した前記合成映像を表示する
映像処理システム。
Including server and terminal
The server includes a storage unit, an effect processing unit, and a first communication unit.
The terminal includes a second communication unit, a synthesis unit, and a display unit.
The storage unit stores images taken by a camera mounted on the vehicle.
The effect processing unit performs effect processing on the video so that personal information included in the video cannot be specified.
The first communication unit transmits the effect-processed video to the terminal.
The second communication unit receives the video from the server and receives the video.
The compositing unit generates a composite video in which the effect-processed video and the image extracted from the target are composited.
The display unit is a video processing system that displays the generated composite video.
前記エフェクト処理部は、前記格納部に格納された映像のうち、個人情報を特定可能な部分に対し、個人情報を特定不能な映像に予め変更する処理を行う
請求項1記載の映像処理システム。
The video processing system according to claim 1, wherein the effect processing unit performs a process of previously changing personal information into a non-identifiable video for a portion of the video stored in the storage unit in which personal information can be specified.
前記表示部は、複数種類のエフェクト処理を表示し、
前記第2通信部は、ユーザから入力を受け付けたエフェクト処理の選択結果を前記サーバに送信し、
前記第1通信部は、前記端末からエフェクト処理の選択結果を受信し、
前記エフェクト処理部は、前記変更する処理を行った映像に対し、前記選択されたエフェクト処理を行う
請求項2記載の映像処理システム。
The display unit displays a plurality of types of effect processing.
The second communication unit transmits the selection result of the effect processing that has received the input from the user to the server.
The first communication unit receives the selection result of the effect processing from the terminal and receives the selection result.
The video processing system according to claim 2, wherein the effect processing unit performs the selected effect processing on the video that has undergone the change processing.
前記サーバは、報酬付与部を更に含み、
前記第1通信部は、他のユーザの車両に搭載されたカメラにより撮影された映像を受信し、
前記格納部は、前記第1通信部が受信した映像を格納し、
前記報酬付与部は、前記エフェクト処理部が用いた前記映像を送信した前記他のユーザに対して、報酬を付与する
請求項1〜請求項3の何れか1項記載の映像処理システム。
The server further includes a reward granting unit.
The first communication unit receives an image taken by a camera mounted on another user's vehicle and receives the image.
The storage unit stores the video received by the first communication unit, and stores the video.
The video processing system according to any one of claims 1 to 3, wherein the reward giving unit gives a reward to the other user who has transmitted the video used by the effect processing unit.
前記サーバは、映像選択部を更に含み、
前記映像選択部は、前記端末が表示する映像を、前記格納部に格納されている複数の映像から選択し、
前記エフェクト処理部は、前記映像選択部により選択された映像に対してエフェクト処理を行う
請求項1〜請求項4の何れか1項記載の映像処理システム。
The server further includes a video selection unit.
The video selection unit selects a video to be displayed by the terminal from a plurality of videos stored in the storage unit.
The video processing system according to any one of claims 1 to 4, wherein the effect processing unit performs effect processing on a video selected by the video selection unit.
サーバと、端末とを含む映像処理システムにおける映像処理方法であって、
前記サーバの格納部が、車両に搭載されたカメラにより撮影された映像を格納し、
前記サーバのエフェクト処理部が、前記映像に対して、前記映像に含まれる個人情報が特定できないようにエフェクト処理を行い、
前記サーバの第1通信部が、前記エフェクト処理された前記映像を前記端末に送信し、
前記端末の第2通信部が、前記サーバから前記映像を受信し、
前記端末の合成部が、前記エフェクト処理された前記映像と、対象を抜き出した画像とを合成した合成映像を生成し、
前記端末の表示部が、生成した前記合成映像を表示する
映像処理方法。
A video processing method in a video processing system that includes a server and a terminal.
The storage unit of the server stores the image taken by the camera mounted on the vehicle.
The effect processing unit of the server performs effect processing on the video so that the personal information included in the video cannot be specified.
The first communication unit of the server transmits the effect-processed video to the terminal.
The second communication unit of the terminal receives the video from the server and receives the video.
The compositing unit of the terminal generates a composite video in which the effect-processed video and the image extracted from the target are composited.
A video processing method in which the display unit of the terminal displays the generated composite video.
通信部と、格納部とを含み、
前記通信部は、複数の車載器の各々から、前記車載器が搭載された車両に搭載されたカメラが撮影した映像を受信し、
前記格納部は、受信した映像をストレージに格納する
映像収集システム。
Including the communication unit and the storage unit
The communication unit receives images taken by a camera mounted on the vehicle on which the vehicle-mounted device is mounted from each of the plurality of vehicle-mounted devices.
The storage unit is a video collection system that stores the received video in the storage.
JP2020053446A 2020-03-24 2020-03-24 Video processing system, video processing method, and video collection system Pending JP2021153275A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020053446A JP2021153275A (en) 2020-03-24 2020-03-24 Video processing system, video processing method, and video collection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020053446A JP2021153275A (en) 2020-03-24 2020-03-24 Video processing system, video processing method, and video collection system

Publications (1)

Publication Number Publication Date
JP2021153275A true JP2021153275A (en) 2021-09-30

Family

ID=77886740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020053446A Pending JP2021153275A (en) 2020-03-24 2020-03-24 Video processing system, video processing method, and video collection system

Country Status (1)

Country Link
JP (1) JP2021153275A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040223A (en) * 2021-11-05 2022-02-11 湖北亿咖通科技有限公司 Image processing method and system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040223A (en) * 2021-11-05 2022-02-11 湖北亿咖通科技有限公司 Image processing method and system
CN114040223B (en) * 2021-11-05 2023-11-24 亿咖通(湖北)技术有限公司 Image processing method and system

Similar Documents

Publication Publication Date Title
JP6503881B2 (en) Content providing system, information processing apparatus, program, content reproducing method
JP4637889B2 (en) Virtual space broadcasting device
US20070233744A1 (en) Remote personalization method
WO2008016083A1 (en) Overlay information presentation device and overlay information presentation system
KR101670824B1 (en) Method for Intermediating Advertisement Director and Advertiser
CN104170394A (en) System and method for sharing videos
CN111083515A (en) Method, device and system for processing live broadcast content
JP2019049960A (en) Image providing system, image providing program and video providing system
KR20180068945A (en) Method and apparatus for providing contents through network, and method and apparatus for receiving contents through network
JP2021153275A (en) Video processing system, video processing method, and video collection system
JP5800319B2 (en) Video distribution system for souvenirs
JP6520254B2 (en) Movie data reproduction method and program
CN111107293B (en) 360-degree video recording method and device, electronic equipment and storage medium
KR102118441B1 (en) Server for managing of natural park tour service
JP4946433B2 (en) Information distribution apparatus and program
JP7052225B2 (en) Information processing equipment, information processing system and information processing method
US20020036691A1 (en) Method and system for determining the relative occupancy of a space via analysis of the video stream
JP6694163B2 (en) Guide map output device, guide map output system, and guide map output method
JP6467945B2 (en) Server apparatus and image printing apparatus
JP6804968B2 (en) Information distribution device, information distribution method and information distribution program
JP2007028551A (en) System for producing animation contents
JP4757293B2 (en) Data generation apparatus, portable terminal, and data generation method
JP6428404B2 (en) Server apparatus, moving image data reproduction method, and program
US20020093526A1 (en) Method of and system for providing information, and computer product
JP2006126964A (en) Data creation apparatus, mobile terminal, and data creation method