JP2021153275A - Video processing system, video processing method, and video collection system - Google Patents
Video processing system, video processing method, and video collection system Download PDFInfo
- Publication number
- JP2021153275A JP2021153275A JP2020053446A JP2020053446A JP2021153275A JP 2021153275 A JP2021153275 A JP 2021153275A JP 2020053446 A JP2020053446 A JP 2020053446A JP 2020053446 A JP2020053446 A JP 2020053446A JP 2021153275 A JP2021153275 A JP 2021153275A
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- server
- effect processing
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、映像処理システム、映像処理方法、及び映像収集システムに関する。 The present invention relates to a video processing system, a video processing method, and a video collecting system.
従来から、遠隔地にいるメンバーが映像コンテンツを共有する技術として、テレプレゼンス(例えば、特許文献1)がある。また、画像に所望のエフェクト処理を行う技術(例えば、特許文献2、非特許文献1)がある。 Conventionally, there is telepresence (for example, Patent Document 1) as a technique for sharing video contents by members in remote areas. Further, there is a technique (for example, Patent Document 2 and Non-Patent Document 1) for performing a desired effect processing on an image.
しかし、映像に人の顔やナンバープレートの情報等、個人を特定できる情報が含まれている場合、肖像権等の関係から当該映像を用いてサービスを行うことが困難である、という問題があった。特に、乗員や遠隔地にいるユーザに、車両から見える景色を流す際には、対向車や歩行者が映像に映ることが多いため、問題となる。 However, if the video contains personally identifiable information such as information on a person's face or license plate, there is a problem that it is difficult to provide services using the video due to the relationship of portrait rights and the like. rice field. In particular, when the scenery seen from the vehicle is shown to the occupants and users in remote areas, oncoming vehicles and pedestrians are often reflected in the image, which is a problem.
本発明は、上記問題点を解決するためになされたもので、肖像権やプライバシーを気にせずに個人を特定できる情報が含まれている映像を用いることができる映像処理システム及び映像処理方法を提供することを目的とする。 The present invention has been made to solve the above problems, and provides a video processing system and a video processing method capable of using a video containing information that can identify an individual without worrying about portrait rights and privacy. The purpose is to provide.
また、本発明は、上記問題点を解決するためになされたもので、カーサーフィンをするための様々なシーンに応じた映像を容易に収集することができる映像収集システムを提供することを目的とする。ここで、カーサーフィンとは、複数の様々な場所で走っている車窓の映像を切り替えて、ユーザが入った映像を作ることにより、自宅にいながら旅ができたり、観光地のような決まった場所でないところの映像が得られたりすることができるサービスである。 The present invention has been made to solve the above problems, and an object of the present invention is to provide a video collection system capable of easily collecting video according to various scenes for car surfing. do. Here, car surfing means that you can travel while you are at home by switching the image of the car window running in multiple various places and creating an image with the user, or it is decided like a tourist spot. It is a service that allows you to obtain images of places other than places.
上記の目的を達成するために、本発明の映像処理システムは、サーバと、端末とを含み、前記サーバは、格納部と、エフェクト処理部と、第1通信部とを含み、前記端末は、第2通信部と、合成部と、表示部とを含み、前記格納部は、車両に搭載されたカメラにより撮影された映像を格納し、前記エフェクト処理部は、前記映像に対して、前記映像に含まれる個人情報が特定できないようにエフェクト処理を行い、前記第1通信部は、前記エフェクト処理された前記映像を前記端末に送信し、前記第2通信部は、前記サーバから前記映像を受信し、前記合成部は、前記エフェクト処理された前記映像と、対象を抜き出した画像とを合成した合成映像を生成し、前記表示部は、生成した前記合成映像を表示する。 In order to achieve the above object, the video processing system of the present invention includes a server and a terminal, the server includes a storage unit, an effect processing unit, and a first communication unit, and the terminal includes a storage unit, an effect processing unit, and a first communication unit. The storage unit includes a second communication unit, a synthesis unit, and a display unit, the storage unit stores an image taken by a camera mounted on the vehicle, and the effect processing unit receives the image with respect to the image. The effect processing is performed so that the personal information contained in the above can not be specified, the first communication unit transmits the effect-processed video to the terminal, and the second communication unit receives the video from the server. Then, the compositing unit generates a composite video in which the effect-processed video and the image extracted from the target are combined, and the display unit displays the generated composite video.
また、本発明の映像処理方法は、サーバと、端末とを含む映像処理システムにおける映像処理方法であって、前記サーバの格納部が、車両に搭載されたカメラにより撮影された映像を格納し、前記サーバのエフェクト処理部が、前記映像に対して、前記映像に含まれる個人情報が特定できないようにエフェクト処理を行い、前記サーバの第1通信部が、前記エフェクト処理された前記映像を前記端末に送信し、前記端末の第2通信部が、前記サーバから前記映像を受信し、前記端末の合成部が、前記エフェクト処理された前記映像と、対象を抜き出した画像とを合成した合成映像を生成し、前記端末の表示部が、生成した前記合成映像を表示する。 Further, the video processing method of the present invention is a video processing method in a video processing system including a server and a terminal, and a storage unit of the server stores a video taken by a camera mounted on a vehicle. The effect processing unit of the server performs effect processing on the video so that personal information included in the video cannot be specified, and the first communication unit of the server displays the effect-processed video on the terminal. The second communication unit of the terminal receives the video from the server, and the composite unit of the terminal synthesizes the composite video obtained by synthesizing the effect-processed video and the image extracted from the target. The generated and the display unit of the terminal displays the generated synthetic image.
本発明の映像処理システム及び映像処理方法によれば、サーバが、車両に搭載されたカメラにより撮影された映像を格納し、映像に対して、当該映像に含まれる個人情報が特定できないようにエフェクト処理を行い、エフェクト処理された当該映像を端末に送信し、端末が、サーバからエフェクト処理された映像を受信し、エフェクト処理された映像と、対象を抜き出した画像とを合成した合成映像を生成し、合成映像を表示する。 According to the video processing system and the video processing method of the present invention, the server stores the video taken by the camera mounted on the vehicle and has an effect so that the personal information contained in the video cannot be identified. Processing is performed, the effect-processed video is transmitted to the terminal, the terminal receives the effect-processed video from the server, and generates a composite video in which the effect-processed video and the extracted image are combined. And display the composite video.
このように、車両に搭載されたカメラにより撮影された映像を格納し、映像に対して、当該映像に含まれる個人情報が特定できないようにエフェクト処理を行い、エフェクト処理された当該映像と、対象を抜き出した画像とを合成した合成映像を生成し、合成映像を表示することにより、肖像権やプライバシーを気にせずに個人を特定できる情報が含まれている映像を用いることができる。 In this way, the image taken by the camera mounted on the vehicle is stored, the image is subjected to effect processing so that the personal information contained in the image cannot be identified, and the effect-processed image and the target. By generating a composite video that is a composite of the extracted image and displaying the composite video, it is possible to use a video that includes information that can identify an individual without worrying about portrait rights or privacy.
また、本発明の前記映像処理システムの前記エフェクト処理部は、前記格納部に格納された映像のうち、個人情報を特定可能な部分に対し、個人情報を特定不能な映像に予め変更する処理を行うことができる。 Further, the effect processing unit of the video processing system of the present invention performs a process of previously changing personal information to a non-identifiable part of the video stored in the storage unit for a portion in which personal information can be specified. It can be carried out.
また、本発明の前記映像処理システムの前記表示部は、複数種類のエフェクト処理を表示し、前記第2通信部は、ユーザから入力を受け付けたエフェクト処理の選択結果を前記サーバに送信し、前記第1通信部は、前記端末からエフェクト処理の選択結果を受信し、前記エフェクト処理部は、前記変更する処理を行った映像に対し、前記選択されたエフェクト処理を行うことができる。 Further, the display unit of the video processing system of the present invention displays a plurality of types of effect processing, and the second communication unit transmits the selection result of the effect processing that has received input from the user to the server, and the above-mentioned The first communication unit receives the selection result of the effect processing from the terminal, and the effect processing unit can perform the selected effect processing on the video to which the processing to be changed has been performed.
また、本発明の前記映像処理システムの前記サーバは、報酬付与部を更に含み、前記第1通信部は、他のユーザの車両に搭載されたカメラにより撮影された映像を受信し、前記格納部は、前記第1通信部が受信した映像を格納し、前記報酬付与部は、前記エフェクト処理部が用いた前記映像を送信した前記他のユーザに対して、報酬を付与することができる。 Further, the server of the video processing system of the present invention further includes a reward giving unit, and the first communication unit receives a video taken by a camera mounted on another user's vehicle and receives the storage unit. Stores the video received by the first communication unit, and the reward giving unit can give a reward to the other user who has transmitted the video used by the effect processing unit.
また、本発明の映像収集システムは、通信部と、格納部とを含み、前記取得部は、車両に搭載されたカメラが撮影した映像を取得し、前記車載器の通信部は、前記取得部が取得した映像を、前記サーバに送信し、前記サーバの通信部は、前記複数の車載器の各々から、前記車載器が取得した映像を受信し、前記格納部は、受信した映像をストレージに格納する。 Further, the image collecting system of the present invention includes a communication unit and a storage unit, the acquisition unit acquires images taken by a camera mounted on the vehicle, and the communication unit of the on-board unit is the acquisition unit. The video acquired by the vehicle is transmitted to the server, the communication unit of the server receives the video acquired by the vehicle-mounted device from each of the plurality of vehicle-mounted devices, and the storage unit stores the received video in the storage. Store.
本発明の映像収集システムによれば、通信部が、複数の車載器の各々から、当該車載器が搭載された車両に搭載されたカメラが撮影した映像を受信し、格納部が、受信した映像をストレージに格納する。 According to the image collection system of the present invention, the communication unit receives the image taken by the camera mounted on the vehicle equipped with the vehicle-mounted device from each of the plurality of vehicle-mounted devices, and the storage unit receives the received image. In storage.
このように、複数の車載器の各々から、当該車載器が搭載された車両に搭載されたカメラが撮影した映像を受信し、受信した映像をストレージに格納するため、カーサーフィンをするための様々なシーンに応じた映像を容易に収集することができる。 In this way, in order to receive the video taken by the camera mounted on the vehicle equipped with the vehicle-mounted device from each of the plurality of vehicle-mounted devices and store the received video in the storage, various methods for car surfing are performed. It is possible to easily collect images according to various scenes.
以上説明したように、本発明の映像処理システム及び映像処理方法によれば、車両に搭載されたカメラにより撮影された映像を格納し、映像に対して、当該映像に含まれる個人情報が特定できないようにエフェクト処理を行い、エフェクト処理された当該映像と、対象を抜き出した画像とを合成した合成映像を生成し、合成映像を表示することにより、肖像権やプライバシーを気にせずに個人を特定できる情報が含まれている映像を用いることができる、という効果が得られる。 As described above, according to the video processing system and the video processing method of the present invention, the video taken by the camera mounted on the vehicle is stored, and the personal information contained in the video cannot be specified for the video. By performing effect processing in this way, generating a composite video that combines the effect-processed video and the image extracted from the target, and displaying the composite video, an individual can be identified without worrying about portrait rights or privacy. The effect of being able to use a video containing information that can be obtained can be obtained.
また、本発明の映像収集システムによれば、複数の車載器の各々から、当該車載器が搭載された車両に搭載されたカメラが撮影した映像を受信し、受信した映像をストレージに格納するため、カーサーフィンをするための様々なシーンに応じた映像を容易に収集することができる、という効果が得られる。 Further, according to the image collecting system of the present invention, the image taken by the camera mounted on the vehicle on which the in-vehicle device is mounted is received from each of the plurality of in-vehicle devices, and the received image is stored in the storage. , The effect that it is possible to easily collect images corresponding to various scenes for car surfing can be obtained.
以下、図面を参照して本発明の実施形態を詳細に説明する。
<本発明の実施形態の概要>
ドライブレコーダ等が普及してきているが、車窓映像を自由に扱えるコンテンツはない。これは、アップする人にメリットがなく、また、利用する側も肖像権やプライバシーの侵害になることを懸念するからである。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<Outline of Embodiment of the present invention>
Drive recorders and the like have become widespread, but there is no content that can freely handle vehicle window images. This is because there is no merit for the person who uploads it, and there is concern that the user will also infringe on portrait rights and privacy.
本発明の実施形態では、映像提供者が提供した映像を、サービス提供者がエフェクト処理し、ユーザに映像を提供し、ユーザ側端末でユーザの画像と当該映像とを合成した映像を表示することにより、ユーザがあたかも映像内の場所を車両でドライブしているような体験をすることができるカーサーフィンを提供するシステムについて説明する(図1)。 In the embodiment of the present invention, the service provider performs effect processing on the video provided by the video provider, provides the video to the user, and displays the video obtained by synthesizing the user's image and the video on the user's terminal. This system describes a system that provides car surfing that allows a user to experience driving a place in an image as if he / she is driving a vehicle (Fig. 1).
図1に示すように、映像提供者が車載カメラを用いて、風景画像を撮影する。例えば、ドライバーから見える車窓を撮影する。そして、得られた映像を、サービス提供者に提供する。この映像が使用されると、サービス提供者により報酬を与えられる。報酬は例えば、クーポンやポイント等である。 As shown in FIG. 1, a video provider takes a landscape image using an in-vehicle camera. For example, take a picture of the car window seen by the driver. Then, the obtained video is provided to the service provider. When this video is used, it will be rewarded by the service provider. The reward is, for example, a coupon or points.
サービス提供者は、提供された映像を、個人を特定できないようにエフェクト処理を行う。また、風景そのものを用いずに、絵画化等の映像全体に、ユーザが望むエフェクト処理を行うこともできる。このようにエフェクト処理された映像を、ユーザに提供する。 The service provider performs effect processing on the provided video so that the individual cannot be identified. It is also possible to perform the effect processing desired by the user on the entire image such as painting without using the landscape itself. The video processed in this way is provided to the user.
ユーザは、距離画像により人物を抜き出すモーションセンサシステム(例えば、Kinect(登録商標)等)を用いて得られるユーザ自身の画像と、提供された映像とを合成する。そして、ユーザは、合成された映像を観ることによりカーサーフィンを楽しむことができる。ユーザは、加工された映像を用いるため、肖像権やプライバシーを気にせずに個人を特定できる情報が含まれている映像を用いることができるのである。 The user synthesizes the user's own image obtained by using a motion sensor system (for example, Kinect (registered trademark)) for extracting a person from a distance image and the provided image. Then, the user can enjoy car surfing by watching the synthesized video. Since the user uses the processed video, the user can use the video containing information that can identify an individual without worrying about the right of portrait or privacy.
<映像処理システムの構成>
図2を参照して、本発明の実施形態に係る映像処理システム1の構成について説明する。図2は、本開示の実施形態に係る映像処理システム1の構成を示すブロック図である。図2に示すように、本発明の実施形態に係る映像処理システム1は、車両に搭載されたカメラ10及び車載器20と、サーバ30と、端末40と、基地局50と、ネットワーク60とを備えて構成される。
<Video processing system configuration>
The configuration of the video processing system 1 according to the embodiment of the present invention will be described with reference to FIG. FIG. 2 is a block diagram showing a configuration of the video processing system 1 according to the embodiment of the present disclosure. As shown in FIG. 2, the video processing system 1 according to the embodiment of the present invention includes a
基地局50は、ネットワーク60に接続され、無線通信により車載器20と通信を行う無線基地局である。ネットワーク60は、インターネットや広域イーサ網等の公衆網である。
The
車両に搭載されたカメラ10は、車両に搭載されたカメラである。カメラ10は、撮影した映像を、車載器20に出力する。
The
図3及び図4を参照して、本発明の実施形態に係る車載器20の構成について説明する。図3は、本実施形態に係る車載器20のハードウェア構成を示すブロック図である。図3に示すように、車載器20は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、ストレージ24、入力部25、表示部26及びアンテナ27を有する。各構成は、バス29を介して相互に通信可能に接続されている。
The configuration of the vehicle-mounted
CPU21は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU21は、ROM22又はストレージ24からプログラムを読み出し、RAM23を作業領域としてプログラムを実行する。CPU21は、ROM22又はストレージ24に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM22又はストレージ24には、報酬取得処理を行うための報酬取得プログラムが記憶されている。
The
ROM22は、各種プログラム及び各種データを記憶する。RAM23は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ24は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。
The
入力部25は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
The
表示部26は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部26は、タッチパネル方式を採用して、入力部25として機能しても良い。
The
アンテナ27は、他の機器と無線通信するためのインターフェースであり、例えば、LTE、Wi−Fi(登録商標)等の規格が用いられる。なお、車載器20に有線通信をするための通信インターフェースを搭載する構成としてもよい。
The
次に、車載器20の機能構成について説明する。図4は、車載器20の機能構成の例を示すブロック図である。図4に示すように、本実施形態に係る車載器20は、取得部201と、通信部202と、報酬管理部203とを備えて構成される。
Next, the functional configuration of the vehicle-mounted
取得部201は、カメラ10から、カメラ10が撮影した映像を取得する。この際、取得部201は、カメラ10が撮影した映像がどのエリアを撮影したかを示すエリア情報を、当該映像に付与する。そして、取得部201は、取得した映像を、通信部202に渡す。
The
通信部202は、取得した映像をサーバ30に送信する。また、通信部202は、サーバ30から、報酬を受信する。通信部202は、受信した報酬を、報酬管理部203に渡す。
The
報酬管理部203は、報酬を管理する。具体的には、報酬管理部203は、受信した報酬を、現在所持している報酬と併せて記憶する。報酬は、例えば、クーポンやポイントである。報酬は、例えば、高速道路の料金やサービスエリアの利用料等に使えるもの等様々な態様で利用される。報酬が利用されると、報酬管理部203は、利用された報酬を削除する。
The
図5及び図6を参照して、本発明の実施形態に係るサーバ30の構成について説明する。なお、車載器20と同様の構成について同一の符号を付して説明を省略する。
The configuration of the
図5は、本実施形態に係るサーバ30のハードウェア構成を示すブロック図である。図6に示すように、サーバ30は、CPU31、ROM32、RAM33、ストレージ34、入力部25、表示部26、及び通信インターフェース(I/F)37を有する。各構成は、バス29を介して相互に通信可能に接続されている。
FIG. 5 is a block diagram showing a hardware configuration of the
CPU31は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU31は、ROM32又はストレージ34からプログラムを読み出し、RAM33を作業領域としてプログラムを実行する。CPU31は、ROM32又はストレージ34に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM32又はストレージ34には、映像処理を行うための映像処理プログラムが記憶されている。
The
ROM32は、各種プログラム及び各種データを記憶する。RAM33は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ34は、HDD又はSSDにより構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。
The
通信インターフェース37は、他の機器と通信するためのインターフェースであり、例えば、イーサネット(登録商標)、FDDI、Wi−Fi(登録商標)等の規格が用いられる。
The
次に、サーバ30の機能構成について説明する。図6は、サーバ30の機能構成の例を示すブロック図である。図6に示すように、本実施形態に係るサーバ30は、第1通信部301と、格納部302と、エフェクト処理部303と、映像選択部304と、報酬付与部305とを備えて構成される。
Next, the functional configuration of the
第1通信部301は、他のユーザの車両に搭載されたカメラ10により撮影された映像を受信する。そして、第1通信部301は、受信した映像を、格納部302に渡す。
The
また、第1通信部301は、端末40からエフェクト処理の選択結果と、ユーザがカーサーフィンにより走行したいエリアの情報を示すエリア情報を受信する。そして、第1通信部301は、受信したエフェクト処理の選択結果及びエリア情報を、映像選択部304に渡す。
In addition, the
また、第1通信部301は、エフェクト処理された映像を端末40に送信する。
In addition, the
また、第1通信部301は、報酬付与部305により決定された車載器20に、報酬を送信する。
In addition, the
格納部302には、受信した映像が複数格納されている。具体的には、格納部302には、複数の映像提供者により、当該映像提供者の車載器20から受信した映像が、当該映像提供者と紐付けて複数格納されている。
A plurality of received images are stored in the
エフェクト処理部303は、映像に対して、映像に含まれる個人情報が特定できないようにエフェクト処理を行う。
The
具体的には、エフェクト処理部303は、格納部302に格納された映像のうち、個人情報を特定可能な部分に対し、個人情報を特定不能な映像に予め変更する処理を行う。より具体的には、エフェクト処理部303は、まず、格納部302から、格納部302に格納されている映像提供者の車載器20から受信した映像を取得する。次に、エフェクト処理部303は、取得した映像から、所定の方法により、ナンバープレートや人の顔等の個人情報を特定できる情報を検出する。所定の方法とは、例えば、機械学習等により学習されたナンバープレートや人の顔等を検出するための画像認識モデルを用いて、個人情報を特定できる位置を検出する。図7の四角枠は、エフェクト処理部303が、ナンバープレートの位置を検出した場合の例を示す。
Specifically, the
次に、エフェクト処理部303は、検出した個人情報を特定できる位置の映像を、個人情報を特定不能な映像に変更する。例えば、架空のナンバーや、架空の人の顔、使用許諾を取得している人の顔に変更する。そして、エフェクト処理部303は、変更した映像を、格納部302に格納する。
Next, the
また、エフェクト処理部303は、映像選択部304により選択された映像に対してエフェクト処理を行う。
Further, the
具体的には、エフェクト処理部303は、ユーザが選択した、風景そのものを用いるか、アニメ調化、絵画化、抽象化の何れかのエフェクト処理を行うかの選択結果に基づいて、映像選択部304により選択された映像全体に、ユーザが望むエフェクト処理を行う。より具体的には、選択結果が、風景そのものを用いる場合、エフェクト処理部303は、エフェクト処理を行わず、当該映像を、通信部301及び報酬付与部305に渡す。
Specifically, the
一方、選択結果が、何れかのエフェクト処理を行うことであれば、当該選択されたエフェクト処理を映像全体に行う。例えば、アニメ調化である場合には、図8のように、アニメ調にエフェクト処理を行う。これにより、人物やナンバープレートが読み取れないようになっているため、更に肖像権を気にすることがなくなる。そして、エフェクト処理部303は、エフェクト処理を行った映像を、通信部301及び報酬付与部305に渡す。
On the other hand, if the selection result is to perform any effect processing, the selected effect processing is performed on the entire image. For example, in the case of animation-like processing, the effect processing is performed in an animation-like manner as shown in FIG. As a result, people and license plates cannot be read, so there is no need to worry about portrait rights. Then, the
映像選択部304は、端末40が表示する映像を、格納部302に格納されている複数の映像から選択する。
The
具体的には、映像選択部304は、ユーザがカーサーフィンにより走行したいエリアの情報を示すエリア情報に基づいて、当該エリアに対応する映像を、格納部302から検索する。複数の映像が検索された場合、映像選択部304は、最も新しい映像、又は最も画質の良い映像を選択する。最も新しい映像は、当該エリアの最新の状態を撮影していることが多く、よりユーザを楽しませることができる。また、映像選択部304は、ユーザが時間情報や季節情報を指定し、これに基づいて映像が撮影された時間や季節に応じて映像を選択するように構成してもよい。
Specifically, the
そして、映像選択部304は、選択した映像を、エフェクト処理部303に渡す。
Then, the
報酬付与部305は、エフェクト処理部303が用いた映像を送信した映像提供者に対して、報酬を付与する。
The
具体的には、報酬付与部305は、エフェクト処理部303が用いた映像に紐づく映像提供者に、当該映像の利用したことに対する報酬を決定する。なお、ユーザがカーサーフィンを行った後に、満足度を入力し、当該満足度に応じて報酬を決定する構成としてもよい。次に、報酬付与部305は、当該映像提供者の車載器20に報酬を送信することを決定する。
Specifically, the
そして、報酬付与部305は、決定した報酬を、第1通信部301に渡す。
Then, the
図9及び図10を参照して、本発明の実施形態に係る端末40の構成について説明する。なお、車載器20と同様の構成について同一の符号を付して説明を省略する。
The configuration of the terminal 40 according to the embodiment of the present invention will be described with reference to FIGS. 9 and 10. The same components as those of the on-
図9は、本実施形態に係る端末40のハードウェア構成を示すブロック図である。図9に示すように、端末40は、CPU41、ROM42、RAM43、ストレージ44、入力部25、表示部26、及びアンテナ27を有する。各構成は、バス29を介して相互に通信可能に接続されている。
FIG. 9 is a block diagram showing a hardware configuration of the terminal 40 according to the present embodiment. As shown in FIG. 9, the terminal 40 has a
CPU41は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU41は、ROM42又はストレージ44からプログラムを読み出し、RAM43を作業領域としてプログラムを実行する。CPU41は、ROM42又はストレージ44に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM42又はストレージ44には、カーサーフィン処理を行うためのカーサーフィン処理プログラムが記憶されている。
The
ROM42は、各種プログラム及び各種データを記憶する。RAM43は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ44は、HDD又はSSDにより構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。
The
次に、端末40の機能構成について説明する。図10は、端末40の機能構成の例を示すブロック図である。図10に示すように、本実施形態に係る端末40は、入力部401と、第2通信部402と、合成部403と、表示部404とを備えて構成される。
Next, the functional configuration of the terminal 40 will be described. FIG. 10 is a block diagram showing an example of the functional configuration of the terminal 40. As shown in FIG. 10, the terminal 40 according to the present embodiment includes an
入力部401は、ユーザから、エフェクト処理の選択と、エリア情報との入力を受け付ける。そして、入力部401は、エフェクト処理の選択結果と、エリア情報とを、第2通信部402に渡す。
The
第2通信部402は、ユーザから入力を受け付けたエフェクト処理の選択結果と、エリア情報とをサーバ30に送信する。また、第2通信部402は、サーバ30から映像を受信する。
The
合成部403は、エフェクト処理された映像と、対象を抜き出した画像とを合成した合成映像を生成する。
The
具体的には、合成部403は、図11(a)に示すように、エフェクト処理された映像と、ユーザ(図11では人の後ろ姿と、人が座っているイス及び机)を抜き出した画像とを合成する。
Specifically, as shown in FIG. 11A, the
より具体的な実施例として、図11の例では、写っている人は端末40が設置された実験室にいる。エフェクト処理された映像を受信して合成する。当該実験室では、例えば、距離情報を持つカメラであるKinect等で後ろ姿を撮影し、人だけを切り取る。図11(b)及び(c)では高架橋や対向車を避ける動きをしている。 As a more specific example, in the example of FIG. 11, the person in the picture is in the laboratory where the terminal 40 is installed. Receives and synthesizes the effect-processed video. In the laboratory, for example, the back view is photographed with Kinect, which is a camera having distance information, and only a person is cut out. In FIGS. 11 (b) and 11 (c), the viaduct and oncoming vehicles are avoided.
そして、合成部403は、得られた合成映像を、表示部404に渡す。
Then, the
表示部404は、複数種類のエフェクト処理を選択する画面と、ユーザがカーサーフィンにより走行したいエリアの入力を受け付ける画面とを表示する。
The
また、表示部404は、生成した合成映像を表示する。
In addition, the
<映像処理システム1の動作>
次に、映像処理システム1の動作について説明する。なお、車載器20から映像を送信し、サーバ30が格納する処理については説明を省略する。
<Operation of video processing system 1>
Next, the operation of the video processing system 1 will be described. The process of transmitting video from the vehicle-mounted
次に、図12を参照して、本実施形態の映像処理システム1の車載器20の報酬取得処理ルーチンについて説明する。
Next, with reference to FIG. 12, the reward acquisition processing routine of the vehicle-mounted
まず、ステップS101において、通信部202は、サーバ30から、報酬を受信する。
First, in step S101, the
ステップS102において、報酬管理部203は、報酬を蓄積し、処理を終了する。
In step S102, the
次に、図13を参照して、本実施形態の映像処理システム1のサーバ30による映像処理ルーチンについて説明する。
Next, with reference to FIG. 13, the video processing routine by the
ステップS201において、エフェクト処理部303は、格納部302に格納された映像のうち、個人情報を特定可能な部分に対し、個人情報を特定不能な映像に予め変更する処理を行う。
In step S201, the
ステップS202において、エフェクト処理部303は、上記ステップS201により変更した映像を、格納部302に格納する。
In step S202, the
ステップS203において、第1通信部301は、端末40からエフェクト処理の選択結果を受信する。
In step S203, the
ステップS204において、映像選択部304は、端末40が表示する映像を、格納部302に格納されている複数の映像から選択する。
In step S204, the
ステップS205において、エフェクト処理部303は、上記ステップS204により選択された映像に対してエフェクト処理を行う。
In step S205, the
ステップS206において、第1通信部301は、エフェクト処理された映像を端末40に送信する。
In step S206, the
ステップS207において、報酬付与部305は、エフェクト処理部303が用いた映像を送信した映像提供者に対して、報酬を付与する。
In step S207, the
ステップS208において、第1通信部301は、報酬付与部305により決定された車載器20に、報酬を送信し、処理を終了する。
In step S208, the
次に、図14を参照して、本実施形態の映像処理システム1の端末40によるカーサーフィン処理ルーチンについて説明する。
Next, with reference to FIG. 14, a car surfing processing routine by the
ステップS301において、表示部404は、複数種類のエフェクト処理を選択する画面を表示する。
In step S301, the
ステップS302において、入力部401は、ユーザから、エフェクト処理の選択の入力を受け付ける。
In step S302, the
ステップS303において、第2通信部402は、ユーザから入力を受け付けたエフェクト処理の選択結果をサーバ30に送信する。
In step S303, the
ステップS304において、第2通信部402は、サーバ30から映像を受信する。
In step S304, the
ステップS305において、合成部403は、エフェクト処理された映像と、対象を抜き出した画像とを合成した合成映像を生成する。
In step S305, the
ステップS306において、表示部404は、生成した合成映像を表示し、処理を終了する。
In step S306, the
以上説明したように、本発明の実施形態に係る映像処理システムによれば、車両に搭載されたカメラにより撮影された映像を格納し、映像に対して、当該映像に含まれる個人情報が特定できないようにエフェクト処理を行い、エフェクト処理された当該映像と、対象を抜き出した画像とを合成した合成映像を生成し、合成映像を表示することにより、肖像権やプライバシーを気にせずに個人を特定できる情報が含まれている映像を用いることができる。 As described above, according to the image processing system according to the embodiment of the present invention, the image taken by the camera mounted on the vehicle is stored, and the personal information included in the image cannot be specified for the image. By performing effect processing in this way, generating a composite video that combines the effect-processed video and the image extracted from the target, and displaying the composite video, an individual can be identified without worrying about portrait rights or privacy. It is possible to use a video containing information that can be produced.
すなわち、映像にエフェクトを掛ける技術や、顔やナンバープレートを認識する技術を用いて、映像を加工し、これを他の人が利用しても肖像権やプライバシーを侵害しない状態にする。車窓の映像を利用できないのは、映像を集めて利用できるようにするサービスがないからである。すなわち、車窓の映像を利用する場合は、人物が写ったり、ナンバープレートが写ったりするので、肖像権の侵害やプライバシーの侵害に該当する場合が生ずるからである。 That is, the image is processed by using the technique of applying an effect to the image and the technique of recognizing a face or a license plate, so that the image is not infringed on the portrait right or privacy even if it is used by another person. The video of the car window cannot be used because there is no service to collect and use the video. That is, when the image of the car window is used, a person is photographed or a license plate is photographed, which may correspond to an infringement of a portrait right or an infringement of privacy.
また、エフェクト処理部が、格納部に格納された映像のうち、個人情報を特定可能な部分に対し、個人情報を特定不能な映像に予め変更する処理を行うことにより、肖像権等の侵害とならないような映像とすることができる。 In addition, the effect processing unit performs a process of changing the personal information identifiable part of the video stored in the storage unit in advance to a non-identifiable video, thereby infringing the portrait right or the like. The image can be made so that it does not become.
また、表示部は、複数種類のエフェクト処理を表示し、第2通信部は、ユーザから入力を受け付けたエフェクト処理の選択結果をサーバに送信し、第1通信部は、端末からエフェクト処理の選択結果を受信し、エフェクト処理部は、変更する処理を行った映像に対し、選択されたエフェクト処理を行うことにより、ユーザが好むサービスをより肖像権等に考慮して映像を提供することができる。 In addition, the display unit displays a plurality of types of effect processing, the second communication unit sends the selection result of the effect processing that has received the input from the user to the server, and the first communication unit selects the effect processing from the terminal. Upon receiving the result, the effect processing unit can provide the image in consideration of the service preferred by the user in consideration of the portrait right or the like by performing the selected effect processing on the image to be changed. ..
すなわち、世界中に走っているクルマの車窓をアップして、それを自由に使えるようにすることができる。 In other words, it is possible to raise the window of a car running all over the world so that it can be used freely.
図15は、カーサーフィンの例である。複数の様々な場所で走っている車窓の映像を切り替えて、ユーザが入った映像を作ることができる。自宅にいながら旅ができたり、観光地のような決まった場所でないところの映像が得られたりすることができる。旅行会社などが利用することも考えられる。 FIG. 15 is an example of car surfing. By switching the image of the car window running in multiple various places, it is possible to create an image with the user. You can travel while you are at home, and you can get images of places that are not fixed places such as tourist spots. It may be used by travel agencies.
また、体の不自由な人が自分を含めてドライブしている映像が作れるので、旅をした雰囲気を楽しめる。図16は、映像処理システムの応用例として、ユーザが家にいながらサービスの提供を受ける例を示す。このように、映像提供者が提供した映像により、そこに行った雰囲気を楽しむことができる。病気で自宅や病院から出られない人等に適したサービスを提供することができる。 In addition, you can enjoy the atmosphere of traveling because you can make images of people with disabilities driving, including yourself. FIG. 16 shows an example in which a user receives a service while staying at home as an application example of a video processing system. In this way, the video provided by the video provider allows you to enjoy the atmosphere of going there. It is possible to provide services suitable for people who are ill and cannot leave their homes or hospitals.
また、第1通信部が、他のユーザの車両に搭載されたカメラにより撮影された映像を受信し、格納部が、第1通信部が受信した映像を格納し、報酬付与部が、エフェクト処理部が用いた映像を送信した他のユーザに対して、報酬を付与することにより、映像提供者から映像を効率的に集めることができると共に、映像提供者が報酬を得られるサービスを提供することができる。 Further, the first communication unit receives the image taken by the camera mounted on the vehicle of another user, the storage unit stores the image received by the first communication unit, and the reward giving unit processes the effect. By giving a reward to other users who have transmitted the video used by the department, it is possible to efficiently collect the video from the video provider and provide a service that the video provider can get a reward. Can be done.
すなわち、車窓映像を使いたいユーザがサービスの会員になり、所定の利用料を支払う、又はスポンサーが費用を負担する。映像提供者には、その映像が使われた場合に、ポイント等の報酬を還元する。サービス提供者となる企業等は、車窓の映像を効率的に集める。このように、当該サービスの各主体者それぞれにメリットを与えることができる。 That is, the user who wants to use the vehicle window image becomes a member of the service and pays a predetermined usage fee, or the sponsor bears the cost. When the video is used, rewards such as points are returned to the video provider. Companies that serve as service providers efficiently collect images of car windows. In this way, it is possible to give merits to each subject of the service.
また、本発明の実施形態に係る映像収集システムによれば、複数の車載器の各々から、当該車載器が搭載された車両に搭載されたカメラが撮影した映像を受信し、受信した映像をストレージに格納するため、様々なシーンに応じた映像を容易に収集することができる。特に、サービスに映像が用いられた場合に、当該映像の送信元の車載器に対して報酬を与えるため、映像提供者が映像の収集に積極的に協力してくれることとなる。このため、様々なシーンに応じた映像を効率的に収集することができる。なお、映像収集システムは1つの装置として構築されても、複数の装置により構成されていてもよい。ストレージは外部装置として構成され、受信した映像が通信網を介して格納されてもよい。また、映像収集システムは、上記映像処理システムに用いられる。このため、カーサーフィンをするための様々なシーンに応じた映像を容易に収集することができる。 Further, according to the image collection system according to the embodiment of the present invention, images taken by a camera mounted on the vehicle on which the vehicle-mounted device is mounted are received from each of the plurality of vehicle-mounted devices, and the received images are stored. Since it is stored in, it is possible to easily collect images corresponding to various scenes. In particular, when video is used for the service, the video provider will actively cooperate in collecting the video in order to reward the in-vehicle device that is the source of the video. Therefore, it is possible to efficiently collect images corresponding to various scenes. The video acquisition system may be constructed as one device or may be composed of a plurality of devices. The storage is configured as an external device, and the received video may be stored via a communication network. The video collection system is used for the video processing system. Therefore, it is possible to easily collect images corresponding to various scenes for car surfing.
なお、本開示は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present disclosure is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the gist of the present invention.
例えば、上述の実施形態では、人の顔やナンバープレートを予め変更する構成としたが、変更せずに、アニメ調にエフェクト処理を行った場合のように、人物やナンバープレートを読み取れないようにする構成としてもよい。 For example, in the above-described embodiment, the human face and license plate are changed in advance, but the person and license plate cannot be read as in the case where the effect processing is performed in an animation style without changing the person's face and license plate. It may be configured to be used.
また、上述の実施形態では、端末40の表示部404に合成映像を表示する場合を例に説明したが、これに限定されるものではない。例えば、端末40で得た合成映像を、動画共有サービスや動画配信サービス(これらを併せて動画サービスと呼ぶことにする)にアップロードして用いることができる。ユーザ自身が合成映像に映っていることにより、ユーザが配信する動画サービスに応用することができる。また、このような動画サービスを使用するユーザが車両を運転している場合に、当該車両にカメラ10、車載器20、端末40及び距離情報を持つカメラを設置し、リアルタイム配信する構成を採用することもできる。
Further, in the above-described embodiment, the case where the composite image is displayed on the
また、合成した映像から音楽を自動生成して、映像と併せて再生することもできる。 It is also possible to automatically generate music from the synthesized video and play it together with the video.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 Further, although described as an embodiment in which the program is pre-installed in the specification of the present application, it is also possible to provide the program by storing it in a computer-readable recording medium.
1 映像処理システム
10 カメラ
20 車載器
21、31、41 CPU
22、32、42 ROM
23、33、43 RAM
24、34、44 ストレージ
25 入力部
26 表示部
27 アンテナ
29 バス
30 サーバ
37 通信インターフェース
40 端末
50 基地局
60 ネットワーク
201 取得部
202 通信部
203 報酬管理部
301 第1通信部
302 格納部
303 エフェクト処理部
304 映像選択部
305 報酬付与部
401 入力部
402 第2通信部
403 合成部
404 表示部
1
22, 32, 42 ROM
23, 33, 43 RAM
24, 34, 44
Claims (7)
前記サーバは、格納部と、エフェクト処理部と、第1通信部とを含み、
前記端末は、第2通信部と、合成部と、表示部とを含み、
前記格納部は、車両に搭載されたカメラにより撮影された映像を格納し、
前記エフェクト処理部は、前記映像に対して、前記映像に含まれる個人情報が特定できないようにエフェクト処理を行い、
前記第1通信部は、前記エフェクト処理された前記映像を前記端末に送信し、
前記第2通信部は、前記サーバから前記映像を受信し、
前記合成部は、前記エフェクト処理された前記映像と、対象を抜き出した画像とを合成した合成映像を生成し、
前記表示部は、生成した前記合成映像を表示する
映像処理システム。 Including server and terminal
The server includes a storage unit, an effect processing unit, and a first communication unit.
The terminal includes a second communication unit, a synthesis unit, and a display unit.
The storage unit stores images taken by a camera mounted on the vehicle.
The effect processing unit performs effect processing on the video so that personal information included in the video cannot be specified.
The first communication unit transmits the effect-processed video to the terminal.
The second communication unit receives the video from the server and receives the video.
The compositing unit generates a composite video in which the effect-processed video and the image extracted from the target are composited.
The display unit is a video processing system that displays the generated composite video.
請求項1記載の映像処理システム。 The video processing system according to claim 1, wherein the effect processing unit performs a process of previously changing personal information into a non-identifiable video for a portion of the video stored in the storage unit in which personal information can be specified.
前記第2通信部は、ユーザから入力を受け付けたエフェクト処理の選択結果を前記サーバに送信し、
前記第1通信部は、前記端末からエフェクト処理の選択結果を受信し、
前記エフェクト処理部は、前記変更する処理を行った映像に対し、前記選択されたエフェクト処理を行う
請求項2記載の映像処理システム。 The display unit displays a plurality of types of effect processing.
The second communication unit transmits the selection result of the effect processing that has received the input from the user to the server.
The first communication unit receives the selection result of the effect processing from the terminal and receives the selection result.
The video processing system according to claim 2, wherein the effect processing unit performs the selected effect processing on the video that has undergone the change processing.
前記第1通信部は、他のユーザの車両に搭載されたカメラにより撮影された映像を受信し、
前記格納部は、前記第1通信部が受信した映像を格納し、
前記報酬付与部は、前記エフェクト処理部が用いた前記映像を送信した前記他のユーザに対して、報酬を付与する
請求項1〜請求項3の何れか1項記載の映像処理システム。 The server further includes a reward granting unit.
The first communication unit receives an image taken by a camera mounted on another user's vehicle and receives the image.
The storage unit stores the video received by the first communication unit, and stores the video.
The video processing system according to any one of claims 1 to 3, wherein the reward giving unit gives a reward to the other user who has transmitted the video used by the effect processing unit.
前記映像選択部は、前記端末が表示する映像を、前記格納部に格納されている複数の映像から選択し、
前記エフェクト処理部は、前記映像選択部により選択された映像に対してエフェクト処理を行う
請求項1〜請求項4の何れか1項記載の映像処理システム。 The server further includes a video selection unit.
The video selection unit selects a video to be displayed by the terminal from a plurality of videos stored in the storage unit.
The video processing system according to any one of claims 1 to 4, wherein the effect processing unit performs effect processing on a video selected by the video selection unit.
前記サーバの格納部が、車両に搭載されたカメラにより撮影された映像を格納し、
前記サーバのエフェクト処理部が、前記映像に対して、前記映像に含まれる個人情報が特定できないようにエフェクト処理を行い、
前記サーバの第1通信部が、前記エフェクト処理された前記映像を前記端末に送信し、
前記端末の第2通信部が、前記サーバから前記映像を受信し、
前記端末の合成部が、前記エフェクト処理された前記映像と、対象を抜き出した画像とを合成した合成映像を生成し、
前記端末の表示部が、生成した前記合成映像を表示する
映像処理方法。 A video processing method in a video processing system that includes a server and a terminal.
The storage unit of the server stores the image taken by the camera mounted on the vehicle.
The effect processing unit of the server performs effect processing on the video so that the personal information included in the video cannot be specified.
The first communication unit of the server transmits the effect-processed video to the terminal.
The second communication unit of the terminal receives the video from the server and receives the video.
The compositing unit of the terminal generates a composite video in which the effect-processed video and the image extracted from the target are composited.
A video processing method in which the display unit of the terminal displays the generated composite video.
前記通信部は、複数の車載器の各々から、前記車載器が搭載された車両に搭載されたカメラが撮影した映像を受信し、
前記格納部は、受信した映像をストレージに格納する
映像収集システム。 Including the communication unit and the storage unit
The communication unit receives images taken by a camera mounted on the vehicle on which the vehicle-mounted device is mounted from each of the plurality of vehicle-mounted devices.
The storage unit is a video collection system that stores the received video in the storage.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020053446A JP2021153275A (en) | 2020-03-24 | 2020-03-24 | Video processing system, video processing method, and video collection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020053446A JP2021153275A (en) | 2020-03-24 | 2020-03-24 | Video processing system, video processing method, and video collection system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021153275A true JP2021153275A (en) | 2021-09-30 |
Family
ID=77886740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020053446A Pending JP2021153275A (en) | 2020-03-24 | 2020-03-24 | Video processing system, video processing method, and video collection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021153275A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114040223A (en) * | 2021-11-05 | 2022-02-11 | 湖北亿咖通科技有限公司 | Image processing method and system |
-
2020
- 2020-03-24 JP JP2020053446A patent/JP2021153275A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114040223A (en) * | 2021-11-05 | 2022-02-11 | 湖北亿咖通科技有限公司 | Image processing method and system |
CN114040223B (en) * | 2021-11-05 | 2023-11-24 | 亿咖通(湖北)技术有限公司 | Image processing method and system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6503881B2 (en) | Content providing system, information processing apparatus, program, content reproducing method | |
JP4637889B2 (en) | Virtual space broadcasting device | |
US20070233744A1 (en) | Remote personalization method | |
WO2008016083A1 (en) | Overlay information presentation device and overlay information presentation system | |
KR101670824B1 (en) | Method for Intermediating Advertisement Director and Advertiser | |
CN104170394A (en) | System and method for sharing videos | |
CN111083515A (en) | Method, device and system for processing live broadcast content | |
JP2019049960A (en) | Image providing system, image providing program and video providing system | |
KR20180068945A (en) | Method and apparatus for providing contents through network, and method and apparatus for receiving contents through network | |
JP2021153275A (en) | Video processing system, video processing method, and video collection system | |
JP5800319B2 (en) | Video distribution system for souvenirs | |
JP6520254B2 (en) | Movie data reproduction method and program | |
CN111107293B (en) | 360-degree video recording method and device, electronic equipment and storage medium | |
KR102118441B1 (en) | Server for managing of natural park tour service | |
JP4946433B2 (en) | Information distribution apparatus and program | |
JP7052225B2 (en) | Information processing equipment, information processing system and information processing method | |
US20020036691A1 (en) | Method and system for determining the relative occupancy of a space via analysis of the video stream | |
JP6694163B2 (en) | Guide map output device, guide map output system, and guide map output method | |
JP6467945B2 (en) | Server apparatus and image printing apparatus | |
JP6804968B2 (en) | Information distribution device, information distribution method and information distribution program | |
JP2007028551A (en) | System for producing animation contents | |
JP4757293B2 (en) | Data generation apparatus, portable terminal, and data generation method | |
JP6428404B2 (en) | Server apparatus, moving image data reproduction method, and program | |
US20020093526A1 (en) | Method of and system for providing information, and computer product | |
JP2006126964A (en) | Data creation apparatus, mobile terminal, and data creation method |