JP2021175029A - Video shooting support system, control method and program thereof - Google Patents
Video shooting support system, control method and program thereof Download PDFInfo
- Publication number
- JP2021175029A JP2021175029A JP2020075426A JP2020075426A JP2021175029A JP 2021175029 A JP2021175029 A JP 2021175029A JP 2020075426 A JP2020075426 A JP 2020075426A JP 2020075426 A JP2020075426 A JP 2020075426A JP 2021175029 A JP2021175029 A JP 2021175029A
- Authority
- JP
- Japan
- Prior art keywords
- video
- moving image
- cause
- user terminal
- shooting support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 66
- 238000012545 processing Methods 0.000 claims abstract description 152
- 230000006870 function Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 description 71
- 230000007613 environmental effect Effects 0.000 description 34
- 238000011156 evaluation Methods 0.000 description 24
- 238000004458 analytical method Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、動画撮影支援システム、動画撮影支援システムの制御方法及びプログラムに関する。 The present invention relates to a moving image shooting support system, a control method and a program of the moving image shooting support system.
近年、インターネット上に開設された動画投稿サイトの利用者が増加している。動画投稿サイトの利用方法はサイトにより異なるが、いずれのサイトでも、所定のユーザ登録を行えば誰でも動画を投稿することができる。そしてこのようにして投稿された動画が多くの人によって閲覧されることにより、動画の出演者が有名になることもある。 In recent years, the number of users of video posting sites established on the Internet is increasing. The method of using the video posting site differs depending on the site, but anyone can post a video on any site by performing the prescribed user registration. And when the video posted in this way is viewed by many people, the performers of the video may become famous.
このような動画投稿に関しては、様々な技術が開発されている（例えば特許文献１参照）。 Various techniques have been developed for such video posting (see, for example, Patent Document 1).
一方で、投稿された動画から出演者が個人として特定された場合、出演者が第三者から迷惑行為を受けることもありうる。そのため、出演者の中には、個人が特定されないように変装したり、顔を出さないようにする者もいる。 On the other hand, if the performer is identified as an individual from the posted video, the performer may be harassed by a third party. For this reason, some performers disguise themselves so that they are not identified or do not show their faces.
しかしながら、動画を投稿するたびに、変装したり顔が映らないように撮影したりするのは大変な労力を要するため、画像処理技術を用いて、出演者が特定されないように動画を加工することも行われるようになっている。 However, it takes a lot of effort to disguise or shoot without showing the face every time you post a video, so we also use image processing technology to process the video so that the performer is not identified. It has come to be said.
ところが、このような画像処理が適切に行われるか否かは、出演者のメイクやヘアスタイル、顔の向き、動作、衣装、姿勢、さらには、動画の背景に移りこんでいる景色や背景の明るさ、撮影場所等の撮影条件や撮影環境によって様々な影響を受ける。そのため、動画の出演者やカメラマン、演出家などの動画制作者は、撮影した動画の画像処理が適切に行われるように、様々な点に気を配らなければならない。 However, whether or not such image processing is performed properly depends on the performer's makeup and hairstyle, face orientation, movement, costume, posture, and the scenery and background that are embedded in the background of the video. It is affected in various ways depending on the shooting conditions such as brightness and shooting location and the shooting environment. Therefore, video creators such as video performers, cameramen, and directors must pay attention to various points so that the image processing of the shot video is properly performed.
このようなことは、例えば、撮影した動画内に意図せずに写ってしまった人や背景にある物体などの所定の被写体を画像処理を用いて加工する場合も同様である。 This is also the case when, for example, a predetermined subject such as a person or an object in the background that is unintentionally captured in the captured moving image is processed by using image processing.
このようなことから、動画内の所定の被写体に対する画像処理が適切に行われるように、事前に動画の撮影環境や撮影条件をチェックし、動画制作者の労力を軽減可能とする技術が求められている。 For this reason, there is a need for a technology that can reduce the labor of video creators by checking the video shooting environment and shooting conditions in advance so that image processing for a predetermined subject in the video can be performed appropriately. ing.
本発明はこのような課題を鑑みてなされたものであり、動画内の所定の被写体に対する画像処理が適切に行われるように、事前に動画の撮影環境や撮影条件をチェックし、動画制作者の労力を軽減可能とする動画撮影支援装置、動画撮影支援装置の制御方法及びプログラムを提供することを目的とする。 The present invention has been made in view of such a problem, and in order to appropriately perform image processing on a predetermined subject in a moving image, the shooting environment and shooting conditions of the moving image are checked in advance, and the moving image creator It is an object of the present invention to provide a moving image shooting support device, a control method and a program of the moving image shooting support device, which can reduce labor.
本発明の一実施形態の動画撮影支援システムは、動画内の所定の被写体に対する画像処理を行う際に支障となる原因を動画データから検出して動画制作者に通知する動画撮影支援システムであって、前記被写体が記録された複数の画像データを用いて事前に行われた前記被写体に対する認証処理の結果から、前記認証処理の支障となる原因を出力するように学習されたＡＩモデルを記憶するＡＩモデル記憶部と、前記被写体が記録された動画データを取得する動画データ取得部と、前記動画データと、前記ＡＩモデルと、を用いて、前記動画データの中から前記画像処理を行う際に支障となる原因を検出する原因検出部と、前記原因を示す情報を、前記動画制作者が有するユーザ端末に出力する原因出力部と、を備える。 The moving image shooting support system of the embodiment of the present invention is a moving image shooting support system that detects a cause that hinders image processing for a predetermined subject in a moving image from the moving image data and notifies the moving image creator. , An AI that stores an AI model learned to output a cause that interferes with the authentication process from the result of the authentication process for the subject performed in advance using a plurality of image data in which the subject is recorded. There is a problem when performing the image processing from the moving image data by using the model storage unit, the moving image data acquisition unit for acquiring the moving image data in which the subject is recorded, the moving image data, and the AI model. It is provided with a cause detection unit for detecting the cause, and a cause output unit for outputting information indicating the cause to a user terminal owned by the moving image creator.
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄の記載、及び図面の記載等により明らかにされる。 In addition, the problems disclosed in the present application and the solutions thereof will be clarified by the description in the column of the mode for carrying out the invention, the description in the drawings, and the like.
本発明によれば、動画内の所定の被写体に対する画像処理が適切に行われるように、事前に動画の撮影環境や撮影条件をチェックし、動画制作者の労力を軽減可能とすることができる。 According to the present invention, it is possible to reduce the labor of the moving image creator by checking the shooting environment and shooting conditions of the moving image in advance so that the image processing for a predetermined subject in the moving image is appropriately performed.
本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。以下、本発明をその一実施形態に即して添付図面を参照しつつ説明する。 The description of this specification and the accompanying drawings will clarify at least the following matters. Hereinafter, the present invention will be described in accordance with the embodiment with reference to the accompanying drawings.
＝＝全体構成＝＝
図１に、本発明の一実施形態に係る動画撮影支援システム１０００の全体構成を示す。 動画撮影支援システム１０００は、動画内の所定の被写体に対する画像処理を行う際に支障となる原因を動画データから検出して、動画制作者に通知する情報処理システムである。本実施形態では、動画撮影支援システム１０００が、動画内の人物の顔を変形させる画像処理を行う際に支障となる原因を動画データから検出して動画制作者に通知する場合を例に説明する。
== Overall configuration ==
FIG. 1 shows the overall configuration of the moving image
本実施形態に係る動画撮影支援システム１０００は、動画撮影支援装置２００及びユーザ端末１００を含んで構成される。動画撮影支援装置２００及びユーザ端末１００は、インターネットやＬＡＮ（Local Area Network）、電話網等のネットワーク５００を通じて相互に通信可能に接続されている。
The moving image
なお図１には、ユーザ端末１００及び動画撮影支援装置２００が１台ずつ記載されているが、ユーザ端末１００及び動画撮影支援装置２００は、いずれか一方または両方が２台以上であってもよい。
Although FIG. 1 shows one
動画撮影支援装置２００は、動画制作者による動画撮影を支援するための情報処理装置である。本実施形態では、動画撮影支援装置２００は、ユーザ端末１００を用いて撮影された動画に対して、動画出演者の特定を防止するための画像処理（例えば動画出演者の顔を、本人と認識されにくいように別人の顔に変形する処理）を行う機能や、その画像処理を行う際に支障となる動画の撮影環境や撮影条件や対応策を動画制作者に指摘する機能を有している。
The moving image
このような態様によって、動画制作者は、本番の撮影に入る前のテスト撮影の段階で撮影条件や撮影環境を修正することが可能になるので、効率的に撮影作業を進めることができる。また動画の出演者が本人と認識されにくいような画像処理を確実に行うことが可能となる。 With such an aspect, the moving image producer can modify the shooting conditions and the shooting environment at the stage of the test shooting before the actual shooting, so that the shooting work can be efficiently advanced. In addition, it is possible to reliably perform image processing so that the performer of the moving image is not easily recognized as the person himself / herself.
ユーザ端末１００は、動画制作者が有する情報機器であり、本実施形態では、スマートフォンやノートパソコン、タブレット、デジタルビデオカメラなどの動画撮影機能を有する携帯型の情報処理装置である。本実施形態では、ユーザ端末１００は、動画の撮影データを解析することで、動画出演者の顔の変形などの動画に対する画像処理を行う際に支障となる撮影環境や撮影条件がないかをチェックして、その解析結果を動画撮影支援装置２００に送信する。
The
動画撮影支援装置２００は、動画に対する画像処理を行う際に支障となる撮影環境や撮影条件の内容や対応策をユーザ端末１００に送信する。動画撮影支援装置２００は、サーバやパソコン等のハードウェア機器を用いて物理的に構築されたコンピュータシステムであってもよいし、仮想マシンやクラウドコンピュータのように、ハードウェア機器上に仮想的に構築されたコンピュータシステムであってもよい。
The moving image
なお、動画撮影支援装置２００が有する機能の少なくとも一部をユーザ端末１００が備えるようにすることにより、ユーザ端末１００が動画制作者に対する上記改善点や対応策の指摘等の処理を行うような態様も可能であるが、本実施形態に係る動画撮影支援システム１０００では、動画撮影支援装置２００が改善点や対応策の指摘を行うように機能が分担されている。
By providing the
また本実施形態では、ユーザ端末１００が、動画の撮影データを解析して動画の撮影環境や撮影条件のチェックを行っているが、動画撮影支援装置２００が行うようにしてもよい。
Further, in the present embodiment, the
以下、詳細に説明する。 Hereinafter, a detailed description will be given.
＝＝ハードウェア構成＝＝
まず、ユーザ端末１００及び動画撮影支援装置２００のハードウェア構成について、図２を参照しながら説明する。なおユーザ端末１００及び動画撮影支援装置２００はいずれもコンピュータであり、これらのハードウェア構成は必ずしも同じではないものの、基本的な構成は共通している。そのため図面の重複を避けるためにこれらのハードウェア構成を図２にまとめて記す。
== Hardware configuration ==
First, the hardware configuration of the
＜ユーザ端末＞
まずユーザ端末１００のハードウェア構成について説明する。
<User terminal>
First, the hardware configuration of the
ユーザ端末１００は、ＣＰＵ（Central Processing Unit）１１０、メモリ１２０、通信装置１３０、記憶装置１４０、入力装置１５０、出力装置１６０、及び記録媒体読取装置１７０を備えて構成される。
The
記憶装置１４０は、図３に示すように、ユーザ端末１００によって実行されるユーザ端末制御プログラム７００や、出演者を撮影して得られる動画データ６００、後述する環境チェックＡＩ（Artificial Intelligence）６１０、被写体加工ＡＩ６２０等の各種のプログラムやデータを格納する。
As shown in FIG. 3, the
記憶装置１４０に記憶されているユーザ端末制御プログラム７００や各種のデータがメモリ１２０に読み出されてＣＰＵ１１０によって実行あるいは処理されることにより、ユーザ端末１００の各種機能が実現される。
Various functions of the
ここで、記憶装置１４０は例えばハードディスクやＳＳＤ（Solid State Drive）、フラッシュメモリ等の不揮発性の記憶装置である。
Here, the
環境チェックＡＩ６１０は、動画データ６００を解析することで、動画出演者の顔を変形させる画像処理を行う際に支障となる原因（撮影時の撮影環境や撮影条件）がないかを見つけ出して出力する人工知能モデル（ＡＩモデル）である。環境チェックＡＩ６１０は、事前に人間の顔が記録された複数の画像データを用いて行われた顔認証処理の結果から、顔認証処理に支障となる原因を出力するように学習（例えば教師あり学習）されることで作成される。
By analyzing the
また被写体加工ＡＩ６２０は、動画出演者が本人であると認識されにくいように動画データ６００を加工して出力する人工知能モデルである。例えば被写体加工ＡＩ６２０は、動画出演者の顔を別人の顔に変形させる。被写体加工ＡＩ６２０は、例えば出演者の髪型や目の大きさや間隔、鼻や唇の形、頭の形状、性別や年齢、人種を変換するように動画を加工することができる。動画制作者は、出演者の顔をどのように加工するかをユーザ端末１００から入力して指定することができる。
Further, the subject processing AI620 is an artificial intelligence model that processes and outputs the moving
このように本実施形態では、動画データ６００の加工、及びこの加工に支障がありそうな撮影環境や撮影条件のチェックをいずれも人工知能を用いて行っている。以下の説明では、動画データ６００の加工をＡＩ加工とも記す。
As described above, in the present embodiment, the processing of the moving
ユーザ端末制御プログラム７００は、ユーザ端末１００が有する機能を実現するためのプログラムを総称しており、例えば、ユーザ端末１００上で動作するアプリケーションプログラムやＯＳ（Operating System）、種々のライブラリ等を含む。
The user
記録媒体読取装置１７０は、ＳＤカード等の記録媒体８００に記録されたユーザ端末制御プログラム７００や各種のデータを読み取り、記憶装置１４０に格納する。
The recording medium reading device 170 reads the user
通信装置１３０は、ネットワーク５００を介して、動画撮影支援装置２００や不図示の他のコンピュータとユーザ端末制御プログラム７００や各種のデータの授受を行う。
The
例えば他のコンピュータに上述したユーザ端末制御プログラム７００や環境チェックＡＩ６１０、被写体加工ＡＩ６２０を格納しておき、ユーザ端末１００がこのコンピュータからユーザ端末制御プログラム７００や環境チェックＡＩ６１０、被写体加工ＡＩ６２０をダウンロードするようにすることができる。
For example, the above-mentioned user
入力装置１５０は、ユーザによるコマンドやデータの入力を受け付ける各種ボタンやスイッチ、キーボード、タッチパネルディスプレイ上でのタッチ位置を検出するタッチセンサ、マイクなどの入力インタフェース、加速度センサ、温度センサ、ＧＰＳ受信機やコンパスなどの位置検出センサ、カメラなどである。 The input device 150 includes various buttons and switches that accept input of commands and data by the user, a keyboard, an input interface such as a touch sensor that detects a touch position on a touch panel display, a microphone, an acceleration sensor, a temperature sensor, a GPS receiver, and the like. Position detection sensors such as compasses, cameras, etc.
なお、本実施形態では、ユーザ端末１００はカメラ機能を有しており、このカメラ機能を用いて動画の撮影が行われることを想定しているが、ユーザ端末１００は、カメラ機能を備えていなくてもよい。この場合ユーザ端末１００は、カメラ機能を備えた別途の電子機器によって撮影された動画データ６００を入力装置１５０、通信装置１３０あるいは記録媒体読取装置１７０を介して取得する。
In the present embodiment, the
出力装置１６０は、例えばディスプレイなどの表示装置、スピーカ、バイブレータ、照明などの出力ユーザインタフェースである。 The output device 160 is, for example, a display device such as a display, an output user interface such as a speaker, a vibrator, and lighting.
＜動画撮影支援装置＞
次に動画撮影支援装置２００について説明する。
<Video shooting support device>
Next, the moving image shooting
動画撮影支援装置２００は、図２に示すように、ＣＰＵ２１０、メモリ２２０、通信装置２３０、記憶装置２４０、入力装置２５０、出力装置２６０、及び記録媒体読取装置２７０を備えて構成される。なお上述したように、これらの動画撮影支援装置２００のハードウェア構成は、ユーザ端末１００のハードウェア構成と基本的に共通である。そのため、これらのハードウェア構成についての重複した説明は省略する。
As shown in FIG. 2, the moving image shooting
記憶装置２４０は、図４に示すように、動画撮影支援装置２００によって実行される動画撮影支援装置制御プログラム７１０や、マルチメディアマスタ３００、チュートリアルテーブル３１０、環境チェック指摘テーブル３２０、環境チェックアドバイステーブル３３０、ＡＩ加工関連情報ＤＢ３４０、撮影指示テーブル３５０、環境チェック履歴テーブル３６０等の各種のプログラムやデータを格納する。
As shown in FIG. 4, the
記憶装置２４０に記憶されている動画撮影支援装置制御プログラム７１０や各種のデータがメモリ２２０に読み出されてＣＰＵ２１０によって実行あるいは処理されることにより、動画撮影支援装置２００の各種機能が実現される。
Various functions of the moving image shooting
例えば動画撮影支援装置２００は、ユーザ端末１００から動画データ６００を取得してマルチメディアマスタ３００に格納する。
For example, the moving image shooting
また動画撮影支援装置２００は、ユーザ端末１００から送信されてきた動画データ６００の解析結果を元に、環境チェック指摘テーブル３２０及び環境チェックアドバイステーブル３３０から撮影環境や撮影条件に対する改善点及びアドバイスを抽出して、ユーザ端末１００に送信する。
Further, the moving image shooting
[マルチメディアマスタ]
図６に、マルチメディアマスタ３００の一例を示す。マルチメディアマスタ３００は、ユーザ端末１００から送信されてきた動画データ６００や、この動画データ６００を画像処理して加工した動画データ６００を格納している。またマルチメディアマスタ３００に格納される動画データ６００には、静止画像データが含まれていてもよい。
[Multimedia Master]
FIG. 6 shows an example of the
マルチメディアマスタ３００は、一例として「メディアＩＤ」「ユーザＩＤ」「撮影地」「撮影日」「動画ファイル」「環境チェック指摘ＩＤ」「加工状態」「ＡＩ加工関連情報ＩＤ」の各欄を有する。
As an example, the
「メディアＩＤ」は、マルチメディアマスタ３００に格納される動画データ６００の識別情報である。メディアＩＤは、新たな動画データ６００がマルチメディアマスタ３００に格納されるごとに動画撮影支援装置２００によって付与される。
The "media ID" is identification information of the moving
「ユーザＩＤ」は、動画撮影支援装置２００を利用するユーザ（動画制作者）の識別情報である。ユーザＩＤは、動画撮影支援装置２００の利用開始時に行うユーザ登録の際に、動画撮影支援装置２００によって付与される。
The "user ID" is identification information of a user (video creator) who uses the video
「撮影地」及び「撮影日」は、それぞれ、動画データ６００が撮影された場所及び撮影された日付を示す情報である。撮影地及び撮影日は、ユーザ端末１００から動画撮影支援装置２００に動画データ６００が送信されてきた際に、ユーザ端末１００から合わせて撮影メモとして送信されてくる。なお、撮影メモにはその他、撮影に用いた機材や、当日の天候、撮影時刻、出演者や撮影者、演出家等の氏名、撮影時の備忘録などが含まれていてもよい。マルチメディアマスタ３００には、これらの撮影メモも格納されてもよい。
The "shooting location" and the "shooting date" are information indicating the shooting location and the shooting date of the moving
「動画ファイル」は、動画データ６００のファイルの格納場所を示すリンク情報である。動画データ６００の格納場所は、動画撮影支援装置２００の記憶装置２４０であってもよいし、通信可能に接続された他のコンピュータやデータセンタであってもよい。
The "video file" is link information indicating a storage location of the file of the
「環境チェック指摘ＩＤ」は、動画データ６００に対する指摘内容（出演者の顔を変形させる画像処理を行う際に支障となる原因を示す情報）を特定するための情報である。詳細は後述するが、動画撮影支援装置２００は、この環境チェック指摘ＩＤを元に、図８に示す環境チェック指摘テーブル３２０を参照することにより、具体的な指摘内容を得ることができる。
The "environmental check indication ID" is information for identifying the indication content (information indicating a cause that hinders image processing that deforms the face of the performer) with respect to the moving
「加工状態」は、動画データ６００に対する画像処理が行われているか否かを示す情報である。「前」と書かれている動画データ６００には、画像処理は行われておらず、出演者の顔が未加工の状態で写っている。「後」と書かれている動画データ６００は、画像処理が実施済みであり、動画に写っている出演者は、本人とわかりにくいように加工されている。
The "processed state" is information indicating whether or not image processing is performed on the moving
「ＡＩ加工関連情報ＩＤ」は、動画データ６００に対する画像処理（ＡＩ加工）を行う際に用いるフィルタに関する情報や、ＡＩ加工による別人化の成功度合いを示す評価結果などを特定するための情報である。詳細は後述するが、動画撮影支援装置２００は、このＡＩ加工関連情報ＩＤを元に図１０に示すＡＩ加工関連情報ＤＢ３４０を参照することにより、具体的な内容を得ることができる。
The "AI processing-related information ID" is information for specifying information on a filter used when performing image processing (AI processing) on the moving
[チュートリアルテーブル]
チュートリアルテーブル３１０は、主に動画撮影支援装置２００を初めて使用するユーザや使い始めたばかりのユーザなどを対象に、どのような動画がＡＩ加工に適し、どのような動画がＡＩ加工に適さないのかについての画像データを含むチュートリアル情報（モデルケース情報）を提供するために用いられるテーブルである。
[Tutorial table]
The tutorial table 310 is mainly intended for users who are new to the video
チュートリアルテーブル３１０は、図７に示すように、「チュートリアルＩＤ」「モデルケース情報」の各欄を有している。 As shown in FIG. 7, the tutorial table 310 has columns for "tutorial ID" and "model case information".
「チュートリアルＩＤ」は、各チュートリアル情報の識別情報である。「モデルケース情報」は、本実施形態では、ユーザ端末１００にチュートリアル情報を表示する際のページを構成するデータである。チュートリアル情報には、ＡＩ加工に適した動画や静止画像及びその説明（どういった点がＡＩ加工に適しているのかなどの説明）や、ＡＩ加工に適さない動画や静止画像及びその説明（どういった点がＡＩ加工に適していないのかなどの説明）などが含まれている。
The "tutorial ID" is identification information of each tutorial information. The "model case information" is the data constituting the page when the tutorial information is displayed on the
図７に示すように、チュートリアル情報に含まれる動画や静止画像は、メディアＩＤによって特定されており、過去に環境チェック（顔の変形を行う画像処理の支障となる原因を検出する処理）が行われた動画データ６００の中から選出された動画データ６００を含んでもよい。このような態様により、架空の事例ではなく、実際の事例をチュートリアル情報としてユーザに提供することが可能となる。
As shown in FIG. 7, the moving image and the still image included in the tutorial information are specified by the media ID, and the environment check (the process of detecting the cause that interferes with the image processing that deforms the face) is performed in the past. The moving
本実施形態では、チュートリアルテーブル３１０に格納されている各チュートリアル情報は、ユーザ端末１００から送信されるリクエストに応じて、動画撮影支援装置２００からユーザ端末１００に送信され、ユーザ端末１００上で表示される。
In the present embodiment, each tutorial information stored in the tutorial table 310 is transmitted from the moving image shooting
このような態様により、撮影場所の選定やカット割り、出演者のメイクなどに関する様々な注意点や撮影のコツなどについて、撮影前に分かりやすく動作制作者に提供することが可能となる。 In such an aspect, it is possible to provide the motion creator with various precautions regarding selection of a shooting location, cut splitting, make-up of performers, and tips for shooting in an easy-to-understand manner before shooting.
[環境チェック指摘テーブル]
環境チェック指摘テーブル３２０は、ユーザ端末１００から送信されてきた動画データ６００の解析結果（ＡＩ加工の支障となる原因）に対応する指摘内容（支障となる原因に関する説明）を格納するテーブルである。この指摘内容は、例えば図１５（Ａ）（Ｂ）（Ｃ）に示すようにユーザ端末１００に表示あるいは音声として再生される。
[Environmental check indication table]
The environment check indication table 320 is a table that stores the indication contents (explanation of the cause that hinders AI processing) corresponding to the analysis result (cause that hinders AI processing) of the moving
環境チェック指摘テーブル３２０は、図８に示すように、「環境チェック指摘ＩＤ」「指摘情報」「環境評価」の各欄を備える。 As shown in FIG. 8, the environment check indication table 320 includes columns for “environment check indication ID”, “pointing information”, and “environmental evaluation”.
「環境チェック指摘ＩＤ」欄は、各指摘内容の識別情報が記録される。 In the "environmental check indication ID" column, identification information of each indication content is recorded.
「指摘情報」欄には、メディアＩＤで特定される動画データ６００の中のＡＩ加工に適さない撮影条件や撮影環境についての説明や、ＡＩ加工に適さない理由などの説明文を含む指摘情報が記録されている。また指摘情報には、環境チェックアドバイスＩＤが含まれており、動画撮影支援装置２００は、図９に示す環境チェックアドバイステーブル３３０を参照することで、指摘内容に対する具体的な対応案を取得することができる。動画撮影支援装置２００は、指摘情報と対応策とを合わせてユーザ端末１００に送信し、動画制作者に提示するようにすることができる。このような態様により、動画制作者は、動画撮影条件や動画撮影環境に対する改善作業を効率的に行うことが可能となる。
In the "pointing out information" column, there is pointing out information including explanations about shooting conditions and shooting environments that are not suitable for AI processing in the
また「環境評価」欄には、動画データ６００がどの程度ＡＩ加工に適しているのかを数値化したデータが記録される。環境評価は、例えばユーザ端末１００が環境チェックＡＩ６１０を用いて動画データ６００を解析する際に合わせて算出され、解析結果に含めてユーザ端末１００から動画撮影支援装置２００に送信される。
Further, in the "environmental evaluation" column, data quantifying how much the moving
[環境チェックアドバイステーブル]
環境チェックアドバイステーブル３３０は、動画データ６００に含まれるＡＩ加工に適さない撮影条件や撮影環境に対する対応策を記録したテーブルである。
[Environmental check advice table]
The environment check advice table 330 is a table in which the shooting conditions unsuitable for AI processing and the countermeasures for the shooting environment included in the moving
図９に示すように、環境チェックアドバイステーブル３３０は、「環境チェックアドバイスＩＤ」「アドバイス内容」の各欄を有する。 As shown in FIG. 9, the environmental check advice table 330 has columns for "environmental check advice ID" and "advice content".
アドバイス内容の欄には、上記対応策が記載されている。 The above countermeasures are described in the advice content column.
[ＡＩ加工関連情報ＤＢ]
ＡＩ加工関連情報ＤＢ３４０は、動画データ６００に対して行われるＡＩ加工の内容を記録したテーブルである。
[AI processing related information DB]
The AI processing-related
具体的には、ＡＩ加工関連情報ＤＢ３４０には、図１０に示すように、ＡＩ加工前の動画データ６００を示す加工前メディアＩＤ、ＡＩ加工後の動画データ６００を示す加工後メディアＩＤ、ＡＩ加工による別人化の成功度合いを示す加工評価が含まれる。なお上述したように、ＡＩ加工は被写体加工ＡＩ６２０によって行われる。そして図１０には示されていないが、ＡＩ加工関連情報ＤＢ３４０には、被写体加工ＡＩ６２０がＡＩ加工を行う際に用いるフィルタの種類や重さ等のパラメータを示す情報などに関する情報が含まれる。
Specifically, as shown in FIG. 10, the AI processing-related
なお加工評価は、例えば、ＡＩ加工前後の動画データ６００を比較して動画出演者が同一人物であるか否かを判定する不図示のＡＩ（加工評価ＡＩ）を用いて算出するようにすることができる。この場合、例えば被写体加工ＡＩ６２０と、この加工評価ＡＩと、を用いてＧＡＮ（Generative Adversarial Networks）を構成してもよい。
The processing evaluation is calculated using, for example, an AI (processing evaluation AI) (not shown) that compares the
[撮影指示テーブル]
撮影指示テーブル３５０は、図１１に示すように、ユーザ端末１００の使用者に対して、動画の撮影手順を指示するための情報（撮影指示内容）を記憶するテーブルである。動画撮影支援装置２００は、ユーザ端末１００から動画の撮影環境チェック開始のリクエストを受け取った際に、撮影指示テーブル３５０に記録されている撮影指示内容を順にユーザ端末１００に送信する。
[Shooting instruction table]
As shown in FIG. 11, the shooting instruction table 350 is a table that stores information (shooting instruction content) for instructing the user of the
[環境チェック履歴テーブル]
環境チェック履歴テーブル３６０には、動画撮影支援装置２００によって行われた動画の撮影環境チェックの履歴情報が記録される。図１２に示すように、環境チェック履歴テーブル３６０は、「環境チェックＩＤ」「メディアＩＤ」「履歴情報」「チェック日」「環境評価」の各欄を有する。
[Environmental check history table]
In the environment check history table 360, the history information of the moving image shooting environment check performed by the moving image shooting
「環境チェックＩＤ」の欄は、履歴情報の識別情報が記録される。 In the "environmental check ID" column, the identification information of the history information is recorded.
「メディアＩＤ」の欄には、環境チェックの対象となった動画データ６００の識別情報が記録される。
In the "media ID" column, the identification information of the moving
「履歴情報」の欄には、環境チェックの結果を表す情報が記録される。図１２には環境チェックアドバイスＩＤが記載されているが、その他に、ＡＩ加工の失敗の原因や、撮影条件や撮影環境に関する情報などが記録されていてもよい。 Information representing the result of the environmental check is recorded in the "history information" column. Although the environment check advice ID is described in FIG. 12, other information such as the cause of the failure of AI processing, the shooting conditions, and the shooting environment may be recorded.
「チェック日」の欄には、環境チェックの実施日が記録される。 The date of the environmental check is recorded in the "Check date" column.
「環境評価」の欄には、動画データ６００がどの程度ＡＩ加工に適しているのかを数値化したデータが記録される。環境評価は、環境チェック指摘テーブル３２０に記録されるものと同じである。
In the "environmental evaluation" column, data quantifying how much the moving
＜機能構成＞
次に動画撮影支援システム１０００の機能構成図の一例を図５に示す。
<Functional configuration>
Next, FIG. 5 shows an example of the functional configuration diagram of the moving image shooting
本実施形態に係る動画撮影支援システム１０００は、ＡＩモデル記憶部１００１、動画データ取得部１００２、原因検出部１００３、原因出力部１００４、対応策記憶部１００５、チュートリアル情報記憶部１００６、チュートリアル情報出力部１００７の各機能を含む。
The moving image shooting
これらの各機能は、動画撮影支援システム１０００（ユーザ端末１００及び動画撮影支援装置２００）のハードウェアによって本実施形態に係るユーザ端末制御プログラム７００及び動画撮影支援装置制御プログラム７１０が実行されることにより実現される。
Each of these functions is performed by executing the user
なお上述したように、上記各機能はユーザ端末１００と動画撮影支援装置２００との間で適宜分担させることができる。
As described above, each of the above functions can be appropriately shared between the
ＡＩモデル記憶部１００１は、人間の顔のような所定の被写体が記録された複数の画像データを用いて事前に行われた認証処理の結果から、この認証処理の支障となる原因を出力するように学習されたＡＩモデルを記憶する。本実施形態では、このＡＩモデルは環境チェックＡＩ６１０として具現化されており、ＡＩモデル記憶部１００１はユーザ端末１００の記憶装置１４０として具現化されている。
The AI
なお、環境チェックＡＩ６１０は、動画撮影支援装置２００の記憶装置２４０、あるいはユーザ端末１００の記憶装置１４０と動画撮影支援装置２００の記憶装置２４０の両方に格納される態様であってもよい。
The environment check AI610 may be stored in the
動画データ取得部１００２は、被写体である人物の顔が記録された動画データ６００を取得する。本実施形態では、ユーザ端末１００が動画データ６００を取得する。ユーザ端末１００は、カメラ機能を用いて人物を撮影することで動画データ６００を取得するが、デジタルビデオカメラ等、ユーザ端末１００とは別の撮影機器を用いて撮影された動画データ６００を取得する態様であってもよい。なおこの動画データ６００は、ユーザ端末１００から動画撮影支援装置２００に送信されて、メディアＩＤが付与された上でマルチメディアマスタ３００に格納される。
The moving image
原因検出部１００３は、動画データ取得部１００２が取得した動画データ６００と、環境チェックＡＩ６１０（ＡＩモデル）と、を用いて、被写体に対する画像処理、例えば人物の顔を変形させる画像処理を行う際に支障となる原因を動画データ６００の中から検出する。本実施形態では、原因検出部１００３は、ユーザ端末１００と動画撮影支援装置２００との間で機能を分担して実現されている。
When the
具体的には、まずユーザ端末１００において、原因検出部１００３は、動画データ６００を構成するフレーム画像を、適宜間引きながら環境チェックＡＩ６１０へ入力する。そして原因検出部１００３は、環境チェックＡＩ６１０から、各フレーム画像に対する顔認証処理の成否の判定結果と、顔認証処理が失敗したと判定された場合には、フレーム画像内で顔の候補として抽出された部分に対して顔であると判定できなかった原因となった部分と、顔認証処理に要した負荷（処理ステップあるいは処理時間など）から算出した環境評価と、を解析結果として取得する。そしてユーザ端末１００はこの解析結果を動画撮影支援装置２００に送信する。
Specifically, first, in the
動画撮影支援装置２００の原因検出部１００３は、ユーザ端末１００から送信された解析結果と、環境チェック指摘テーブル３２０内の指摘情報と、を照合することで、該当する指摘情報を特定する。
The
原因出力部１００４は、動画撮影支援装置２００に設けられる。原因出力部１００４は、環境チェック指摘テーブル３２０から、ＡＩ加工の支障になる原因を示す情報として指摘情報を抽出し、動画制作者が有するユーザ端末１００に出力する。
The
対応策記憶部１００５は、原因検出部１００３によって検出された画像処理に支障となる原因に対する対応策を記憶する。本実施形態では、対応策記憶部１００５は、環境チェックアドバイステーブル３３０として具現化されている。
The
環境チェックアドバイステーブル３３０に記憶されているアドバイス内容（対応策）は、環境チェック指摘テーブル３２０から画像処理に支障となる原因を示す情報として抽出された指摘情報と共に、原因出力部１００４によってユーザ端末１００に送信される。
The advice content (countermeasure) stored in the environment check advice table 330 includes the indication information extracted from the environment check indication table 320 as information indicating a cause that interferes with image processing, and the
原因出力部１００４によって送信された指摘情報及びアドバイス内容がユーザ端末１００に表示されている様子を図１５に示す。
FIG. 15 shows how the indication information and the advice content transmitted by the
チュートリアル情報記憶部１００６は、動画制作者にチュートリアル情報として出力される画像データを記憶する。本実施形態では、チュートリアル情報記憶部１００６は、チュートリアルテーブル３１０として具現化されている。
The tutorial
チュートリアル情報出力部１００７は、ユーザ端末１００から出力されるリクエストに応じて、チュートリアル情報記憶部１００６に記憶されているチュートリアル情報をユーザ端末１００に出力する。
The tutorial
＝＝処理の流れ＝＝
次に、本実施形態に係る動画撮影支援システム１０００による処理の具体例を、図１３〜図２１を参照しながら説明する。
== Processing flow ==
Next, a specific example of the processing by the moving image shooting
＜全体の処理＞
まず、全体の処理の流れを図１３及び図１４を参照しながら説明する。図１３は、全体の処理の流れを示すフローチャートであり、図１４は、ユーザ端末１００に表示される処理メニューの例を示す図である。動画制作者は、図１４に示すユーザ端末１００に表示される処理メニュー内の項目を選択することで、処理を開始することができる。
<Overall processing>
First, the entire processing flow will be described with reference to FIGS. 13 and 14. FIG. 13 is a flowchart showing the overall processing flow, and FIG. 14 is a diagram showing an example of a processing menu displayed on the
動画制作者が図１４に示す処理メニューにおいて「撮影環境チェック」を選択すると、動画撮影支援システム１０００は環境チェック処理を開始する（S1000）。
When the video creator selects "shooting environment check" in the processing menu shown in FIG. 14, the video
環境チェック処理は、動画内の所定の被写体に対する画像処理、例えば人物の顔を変形させる画像処理の支障となる原因を動画データ６００から検出して動画制作者に通知する処理である。つまり、動画撮影支援システム１０００は、動画撮影時の背景や明るさ、出演者の姿勢やメイク、髪型、服装など、撮影対象や撮影環境、撮影条件に問題がないかをチェックして動画制作者に通知する。例えば動画撮影支援システム１０００は、被写体加工ＡＩ６２０が出演者の顔を誤認しそうな背景になっていないか、誤認しそうな背景になっていれば、どのカットのどの構図のどの背景が問題かを通知する。これにより、動画制作者は、本番の撮影を始める前に、カット割りの修正や調整を行うことができる。
The environment check process is a process of detecting from the moving image data 600 a cause that hinders image processing for a predetermined subject in a moving image, for example, image processing that deforms a person's face, and notifies the moving image creator. That is, the video
続いて動画制作者が図１４に示す処理メニューにおいて「被写体事前撮影」を選択すると、動画撮影支援システム１０００は被写体チェック処理を開始する（S1010）。
Subsequently, when the moving image creator selects "subject pre-shooting" in the processing menu shown in FIG. 14, the moving image shooting
被写体チェック処理は、出演者の顔（被写体）の特徴量を抽出する処理である。また顔の特徴量が抽出しにくい場合は、どのようにすればよいかのアドバイスを行うこともできる。 The subject check process is a process for extracting the feature amount of the performer's face (subject). In addition, if it is difficult to extract facial features, it is possible to give advice on how to do it.
そして動画制作者が図１４に示す処理メニューにおいて「本番撮影中チェック」を選択すると、動画撮影支援システム１０００は動画撮影処理を開始する（S1020）。動画撮影処理は、本番の動画撮影を行う処理である。
Then, when the video creator selects "check during actual shooting" in the processing menu shown in FIG. 14, the video
その後、動画制作者が図１４に示す処理メニューにおいて「加工処理」を選択すると、動画撮影支援システム１０００は被写体加工処理を開始する（S1030）。
After that, when the moving image creator selects "processing processing" in the processing menu shown in FIG. 14, the moving image shooting
被写体加工処理は、被写体加工ＡＩ６２０を用いて、動画内の被写体、例えば動画の出演者の顔を別人の顔に変形する処理である。上述した環境チェック処理及び被写体チェック処理を事前に行うことで、出演者の顔を別人の顔に変形するような、被写体に対する加工を行う際の問題点が生じることなく本番の動画撮影が行われるので、本番の撮影をやり直したりすることなく、極めて効率的に動画制作作業を行うことができる。
The subject processing process is a process of transforming a subject in a moving image, for example, the face of a performer of the moving image into another person's face by using the
＜環境チェック処理＞
続いて、上述した環境チェック処理について、図１５〜図２２を参照しながら説明する。図１６は、図１４において「撮影環境チェック」を選択した場合に、ユーザ端末１００に表示される処理メニューの例を示す図である。動画制作者は、図１６に示すユーザ端末１００に表示される処理メニュー内の項目を選択することで、各処理を開始することができる。
<Environmental check process>
Subsequently, the above-mentioned environment check process will be described with reference to FIGS. 15 to 22. FIG. 16 is a diagram showing an example of a processing menu displayed on the
[チュートリアル処理]
動画制作者が図１６に示す処理メニューにおいて「チュートリアル」を選択すると、動画撮影支援システム１０００はチュートリアル情報をユーザ端末１００に出力する処理を開始する。
[Tutorial processing]
When the moving image creator selects "tutorial" in the processing menu shown in FIG. 16, the moving image shooting
ユーザ端末１００は、「チュートリアル」が選択されると、チュートリアルデータ送信要求を動画撮影支援装置２００に送信する（S2000）。これを受けて動画撮影支援装置２００は、チュートリアルテーブル３１０からチュートリアル情報を読み出して（S2010）、ユーザ端末１００に送信する（S2020）。
When the "tutorial" is selected, the
ここで、例えばチュートリアル情報はウェブページを構成しており、動画制作者は、閲覧したい内容のチュートリアル情報をユーザ端末１００上で選択して、ユーザ端末１００に表示させることができる（S2030）。
Here, for example, the tutorial information constitutes a web page, and the video creator can select the tutorial information of the content to be viewed on the
チュートリアル情報には、テキストや写真、動画、音声など、様々なデータを含めることができる。 Tutorial information can include various data such as texts, photos, videos, and audio.
このように、動画制作者はいつでも見たい内容のチュートリアル情報を閲覧することができるので、初めて動画撮影支援システム１０００を使う場合や、使い方に慣れていない場合など、ＡＩ加工に適した撮影条件や撮影環境がどういうものであるのかが分からない場合であっても、過去の環境チェックの結果や指摘内容を踏まえて、ＡＩ加工に適した事例やモデルケースを見ることができるので、不安なく動画撮影支援システム１０００を使用することが可能となる。
In this way, the video creator can browse the tutorial information of the content that he wants to see at any time, so shooting conditions suitable for AI processing, such as when using the video
[インプット]
動画制作者が図１６に示す処理メニューにおいて「インプット」を選択すると、動画撮影支援システム１０００は動画データ６００を取得する処理を開始する。動画撮影支援システム１０００への動画データ６００の取り込み方法は主に２つあり、一つは、ユーザ端末１００のカメラ機能を用いて動画を撮影する方法であり、もう一つは、別途の動画撮影機器等を用いて事前に撮影された動画の動画データ６００をユーザ端末１００に取り込む方法である。
[input]
When the moving image creator selects "input" in the processing menu shown in FIG. 16, the moving image shooting
図１６のメニュー画面において「カメラ撮影開始」を選択すると前者の方法で動画データ６００がユーザ端末１００に取り込まれ、「撮影済みデータ入稿」を選択すると、後者の方法で動画データ６００がユーザ端末１００に取り込まれる。
When "Camera shooting start" is selected on the menu screen of FIG. 16, the
図１８及び図１９に、前者の方法で動画データ６００を取り込む場合のフローチャートを示す。なお後者の方法で動画データ６００を取り込む場合のフローチャートは、S3050から始まる以外、図１８及び図１９のフローチャートと同じなので省略する。
18 and 19 show a flowchart in the case of capturing the moving
まずユーザ端末１００は、「カメラ撮影開始」が選択されると、撮影環境チェック開始要求を動画撮影支援装置２００に送信する（S3000）。これを受けて動画撮影支援装置２００は、撮影指示テーブル３５０から撮影指示内容を読み出して（S3010）、ユーザ端末１００に送信する（S3020）。
First, when "camera shooting start" is selected, the
ユーザ端末１００は、撮影指示内容を画面に表示した後（S3030）、カメラ機能を使って動画の撮影開始する（S3040）。
After displaying the shooting instruction content on the screen (S3030), the
ユーザ端末１００は、動画の撮影が終了すると、動画データ６００を動画撮影支援装置２００に送信する（S3050）。そして動画撮影支援装置２００は、動画データ６００に対してメディアＩＤを付与した上で、動画データ６００をしてマルチメディアマスタ３００に保存する（S3060）。また動画撮影支援装置２００は、新たな環境チェックＩＤを生成し、環境チェック履歴テーブル３６０に登録する（S3070）。
When the
一方、ユーザ端末１００は、動画データ６００を環境チェックＡＩ６１０に入力することで、環境チェック処理を行う（S3080）。この環境チェック処理において、動画データ６００に対する解析が行われると、ユーザ端末１００は、解析結果を動画撮影支援装置２００に送信する（S3090）。
On the other hand, the
解析結果に、顔認証処理が失敗した旨の通知が含まれていた場合には、動画撮影支援装置２００は、S3100においてYes(問題あり)に進み、環境チェック指摘テーブル３２０及び環境チェックアドバイステーブル３３０から、ぞれぞれ、解析結果の内容に該当する指摘情報とアドバイス内容を取得する（S3110）。またユーザ端末１００はS3140においてYes(問題あり)に進む。
If the analysis result includes a notification that the face recognition process has failed, the video
そして動画撮影支援装置２００は、上記の指摘情報及びアドバイス内容をユーザ端末１００に送信し（S3120）、ユーザ端末１００は、図１５に例示したように、指摘情報とアドバイス内容を画面に表示する（S3130）。
Then, the moving image shooting
一方、解析結果に、顔認証処理が失敗した旨の通知が含まれていない場合には、動画撮影支援装置２００は、S3100においてNo(問題なし)に進む。
On the other hand, if the analysis result does not include a notification that the face recognition process has failed, the moving image shooting
そしてユーザ端末１００は、S3140においてNo(問題なし)に進み、動画データ６００に問題がなかった旨の解析結果を画面に表示する
その後ユーザ端末１００は、動画撮影時の備忘録等の撮影メモの入力を受け付けて（S3160、S3170）、撮影メモを動画撮影支援装置２００に送信する（S3180）。そして動画撮影支援装置２００は、撮影メモをマルチメディアマスタ３００に記録する（S3190）。
Then, the
動画制作者が動画の撮影をやり直す場合には、ユーザ端末１００は、S3200においてNoに進み、上記の処理を繰り返し行い、動画の撮影を終了する場合には、S3200においてYesに進む。
When the video creator redoes the shooting of the moving image, the
[過去の履歴確認]
動画制作者は、図１６に示す処理メニューにおいて「過去の履歴確認」を選択すると、環境チェック履歴テーブル３６０に記録されている過去の環境チェックの履歴を閲覧することができる。図２０に、環境チェックの履歴を閲覧する場合のフローチャートを示す。
[Check past history]
When the video creator selects "past history confirmation" in the processing menu shown in FIG. 16, the past environment check history recorded in the environment check history table 360 can be viewed. FIG. 20 shows a flowchart for viewing the history of the environment check.
図１６に示す処理メニューにおいて「過去の履歴確認」が選択されると、環境チェック履歴確認要求を動画撮影支援装置２００に送信する（S4000）。 When "past history confirmation" is selected in the processing menu shown in FIG. 16, an environment check history confirmation request is transmitted to the moving image shooting support device 200 (S4000).
そうすると動画撮影支援装置２００は、環境チェック履歴テーブル３６０に記録されている履歴情報と、メディアＩＤにより特定される動画データ６００を取得して、ユーザ端末１００に送信する（S4010、S4020）。
Then, the moving image shooting
そしてユーザ端末１００はこれらの履歴情報と動画データ６００を画面に表示する（S4030）。
Then, the
このような態様により、動画制作者は、過去に撮影した動画およびその動画に対する環境チェックの結果（指摘内容やＡＩ加工に適しているかの評価など）を確認できる。 In such an aspect, the moving image creator can confirm the moving image taken in the past and the result of the environment check for the moving image (pointing content, evaluation of suitability for AI processing, etc.).
[チュートリアル改善]
なお、本実施形態に係る動画撮影支援システム１０００（動画撮影支援装置２００）は、チュートリアルテーブル３１０に記録されているチュートリアル情報を、適時のタイミングで（例えば１か月ごとや１年ごと等の所定期間ごとに自動で、あるいはオペレータからの指示入力があったときに手動で）アップデートする機能を有している。
[Tutorial improvement]
The video shooting support system 1000 (video shooting support device 200) according to the present embodiment displays the tutorial information recorded in the tutorial table 310 at a timely timing (for example, every month or every year). It has a function to update automatically every period or manually when there is an instruction input from the operator.
図２１に、動画撮影支援システム１０００がチュートリアルテーブル３１０の内容を更新する際のフローチャートを示す。
FIG. 21 shows a flowchart when the moving image shooting
所定の更新のタイミングが到来すると、動画撮影支援装置２００は、環境チェック指摘テーブル３２０を参照し、環境評価値が第１所定値以上（例えば７０以上）のメディアＩＤと、第２所定値以下（例えば３０以下）のメディアＩＤと、を抽出する（S5000）。
When the predetermined update timing arrives, the moving image shooting
また同様に、動画撮影支援装置２００は、ＡＩ加工関連情報ＤＢ３４０を参照し、加工評価値が第３所定値以上（例えば７５以上）のメディアＩＤと、第４所定値以下（例えば２５以下）のメディアＩＤと、を抽出する（S5010）。
Similarly, the moving image shooting
そして動画撮影支援装置２００は、環境評価値が第１所定値以上かつ加工評価値が第３所定値以上のメディアＩＤで特定される動画を、ＡＩ加工に適した動画（良い例）として抽出し、環境評価値が第２所定値以下かつ加工評価値が第４所定値以下のメディアＩＤで特定される動画を、ＡＩ加工に適さない動画（悪い例）として抽出する（S5020）。
Then, the moving image shooting
そして動画撮影支援装置２００は、マルチメディアマスタ３００や環境チェック指摘テーブル３２０、ＡＩ加工関連情報ＤＢ３４０に記載されている、撮影場所などの関連情報やメイク、ポージング、背景などの解析結果の情報を用いて、所定の書式に沿って説明文を作成する（S5030）。
Then, the moving image shooting
そして動画撮影支援装置２００は、各動画のメディアＩＤと上記説明文を用いてウェブページの形式でモデルケース情報を構成し、チュートリアルテーブル３１０に保存する（S5040）。
Then, the moving image shooting
このとき動画撮影支援装置２００は、チュートリアルテーブル３１０に以前から保存されていた古いモデルケース情報を削除してから新しいモデルケース情報を保存するようにするとよい。このような態様により、動画制作者に対して新しい内容のチュートリアル情報を提示し続けることができる。
At this time, the moving image shooting
あるいは動画撮影支援装置２００は、古いモデルケース情報を削除せずに、新しいモデルケース情報を追加するようにしてもよい。このような態様により、動画制作者は徐々に多くのモデルケース情報を閲覧することが可能になる。
Alternatively, the moving image shooting
[アドバイス改善]
また本実施形態に係る動画撮影支援システム１０００（動画撮影支援装置２００）は、環境チェック指摘テーブル３２０及び環境チェックアドバイステーブル３３０に記録されている内容を、適時のタイミングで（例えば１か月ごとや１年ごと等の所定期間ごとに自動で、あるいはオペレータからの指示入力があったときに手動で）アップデートする機能を有している。
[Improvement of advice]
Further, the video shooting support system 1000 (video shooting support device 200) according to the present embodiment displays the contents recorded in the environment check indication table 320 and the environment check advice table 330 at a timely timing (for example, every month). It has a function to update automatically (manually when there is an instruction input from the operator) at predetermined intervals such as every year.
図２２に、動画撮影支援システム１０００が環境チェック指摘テーブル３２０及び環境チェックアドバイステーブル３３０の内容を更新する際のフローチャートを示す。
FIG. 22 shows a flowchart when the moving image shooting
所定の更新のタイミングが到来すると、動画撮影支援装置２００は、環境チェック指摘テーブル３２０を参照し、環境評価値が第５所定値以上（例えば７０以上）のメディアＩＤと、第６所定値以下（例えば３０以下）のメディアＩＤと、を抽出する（S6000）。
When the predetermined update timing arrives, the moving image shooting
また同様に、動画撮影支援装置２００は、ＡＩ加工関連情報ＤＢ３４０を参照し、加工評価値が第７所定値以上（例えば７５以上）のメディアＩＤと、第８所定値以下（例えば２５以下）のメディアＩＤと、を抽出する（S6010）。
Similarly, the moving image shooting
そして動画撮影支援装置２００は、環境評価値が第５所定値以上かつ加工評価値が第７所定値以上のメディアＩＤで特定される動画を、ＡＩ加工に適した動画（良い例）として抽出し、環境評価値が第６所定値以下かつ加工評価値が第８所定値以下のメディアＩＤで特定される動画を、ＡＩ加工に適さない動画（悪い例）として抽出する（S6020）。
Then, the moving image shooting
そして動画撮影支援装置２００は、マルチメディアマスタ３００や環境チェック指摘テーブル３２０、ＡＩ加工関連情報ＤＢ３４０に記載されている、撮影場所などの関連情報やメイク、ポージング、背景などの解析結果の情報を用いて、加工に適したシーン、適さなかったシーンを抽出し、加工に適した理由及び加工に適さななかった理由を分析することで、所定の書式に沿って説明文及びアドバイスを作成する（S6030）。
Then, the moving image shooting
そして動画撮影支援装置２００は、各動画のメディアＩＤと上記説明文およびアドバイスを環境チェック指摘テーブル３２０及び環境チェックアドバイステーブル３３０に保存する（S6040）。
Then, the moving image shooting
このような態様により、環境チェック指摘テーブル３２０及び環境チェックアドバイステーブル３３０を最適な内容に更新することができる。これにより、動画制作者に対して適切な情報を提示することができる。 According to such an aspect, the environment check indication table 320 and the environment check advice table 330 can be updated to the optimum contents. As a result, appropriate information can be presented to the video creator.
以上、本実施形態に係る動画撮影支援システム１０００、動画撮影支援システム１０００の制御方法及びプログラムについて説明したが、本実施形態に係る動画撮影支援システム１０００、動画撮影支援システムの制御方法及びプログラムによれば、動画内の所定の被写体に対する画像処理が適切に行われるように、事前に動画の撮影環境や撮影条件をチェックして改善点を指摘し、動画制作者の労力を軽減可能とすることが可能になる。
The control methods and programs of the video
なお上述した実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得るとともに、本発明にはその等価物も含まれる。 It should be noted that the above-described embodiment is for facilitating the understanding of the present invention, and is not for limiting and interpreting the present invention. The present invention can be modified and improved without departing from the spirit thereof, and the present invention also includes an equivalent thereof.
１００ ユーザ端末
１１０ ＣＰＵ
１２０ メモリ
１３０ 通信装置
１４０ 記憶装置
１５０ 入力装置
１６０ 出力装置
１７０ 記録媒体読取装置
２００ 動画撮影支援装置
２１０ ＣＰＵ
２２０ メモリ
２３０ 通信装置
２４０ 記憶装置
２５０ 入力装置
２６０ 出力装置
２７０ 記録媒体読取装置
３００ マルチメディアマスタ
３１０ チュートリアルテーブル
３２０ 環境チェック指摘テーブル
３３０ 環境チェックアドバイステーブル
３４０ ＡＩ加工関連情報ＤＢ
３５０ 撮影指示テーブル
３６０ 環境チェック履歴テーブル
５００ ネットワーク
６００ 動画データ
６１０ 環境チェックＡＩ
６２０ 被写体加工ＡＩ
７００ ユーザ端末制御プログラム
７１０ 動画撮影支援装置制御プログラム
８００ 記録媒体
１０００ 動画撮影支援システム
１００１ ＡＩモデル記憶部
１００２ 動画データ取得部
１００３ 原因検出部
１００４ 原因出力部
１００５ 対応策記憶部
１００６ チュートリアル情報記憶部
１００７ チュートリアル情報出力部
100
120
220
350 Shooting instruction table 360 Environmental check history table 500
620 Subject processing AI
700 User
Claims (7)
前記被写体が記録された複数の画像データを用いて事前に行われた前記被写体に対する認証処理の結果から、前記認証処理の支障となる原因を出力するように学習されたＡＩモデルを記憶するＡＩモデル記憶部と、
前記被写体が記録された動画データを取得する動画データ取得部と、
前記動画データと、前記ＡＩモデルと、を用いて、前記動画データの中から前記画像処理を行う際に支障となる原因を検出する原因検出部と、
前記原因を示す情報を、前記動画制作者が有するユーザ端末に出力する原因出力部と、
を備える動画撮影支援システム。 It is a video shooting support system that detects the cause of trouble when performing image processing on a predetermined subject in a video from the video data and notifies the video creator.
An AI model that stores an AI model learned to output a cause that interferes with the authentication process from the result of an authentication process for the subject performed in advance using a plurality of image data in which the subject is recorded. Memory and
A video data acquisition unit that acquires video data in which the subject is recorded, and a video data acquisition unit.
Using the moving image data and the AI model, a cause detecting unit that detects a cause that hinders the image processing from the moving image data, and a cause detecting unit.
A cause output unit that outputs information indicating the cause to the user terminal of the video creator, and
Video shooting support system equipped with.
前記原因検出部によって検出される前記原因に対する対応策を記憶する対応策記憶部と、
を備え、
前記原因出力部は、前記原因を示す情報と共に、前記原因に対する対応策を前記ユーザ端末に出力する、動画撮影支援システム。 The video shooting support system according to claim 1.
A countermeasure storage unit that stores countermeasures for the cause detected by the cause detection unit, and a countermeasure storage unit.
With
The cause output unit is a moving image shooting support system that outputs a countermeasure for the cause to the user terminal together with information indicating the cause.
前記動画制作者にチュートリアル情報として出力される画像データを記憶するチュートリアル情報記憶部と、
前記ユーザ端末から出力されるリクエストに応じて、前記チュートリアル情報を前記ユーザ端末に出力するチュートリアル情報出力部と、
を備える動画撮影支援システム。 The moving image shooting support system according to claim 1 or 2.
A tutorial information storage unit that stores image data output as tutorial information to the video creator,
A tutorial information output unit that outputs the tutorial information to the user terminal in response to a request output from the user terminal, and a tutorial information output unit.
Video shooting support system equipped with.
前記チュートリアル情報は、過去に前記原因を検出する処理が行われた動画データの中から選出された動画データを含む、動画撮影支援システム。 The video shooting support system according to claim 3.
The tutorial information is a video shooting support system including video data selected from video data that has been processed to detect the cause in the past.
前記画像処理は、前記動画データに記録された人物の顔を別人の顔に変形させる処理である、動画撮影支援システム。 The moving image shooting support system according to any one of claims 1 to 4.
The image processing is a moving image shooting support system which is a process of transforming the face of a person recorded in the moving image data into the face of another person.
前記動画撮影支援システムが、
前記被写体が記録された複数の画像データを用いて事前に行われた前記被写体に対する認証処理の結果から、前記認証処理の支障となる原因を出力するように学習されたＡＩモデルを記憶し、
前記被写体が記録された動画データを取得し、
前記動画データと、前記ＡＩモデルと、を用いて、前記動画データの中から前記画像処理を行う際に支障となる原因を検出し、
前記原因を示す情報を、前記動画制作者が有するユーザ端末に出力する、
動画撮影支援システムの制御方法。 It is a control method of a video shooting support system that detects a cause that hinders image processing for a predetermined subject in a video from the video data and notifies the video creator.
The video shooting support system
An AI model learned to output a cause that interferes with the authentication process is stored from the result of the authentication process for the subject performed in advance using a plurality of image data in which the subject is recorded.
Acquire the moving image data in which the subject is recorded,
Using the moving image data and the AI model, a cause that hinders the image processing is detected from the moving image data.
Information indicating the cause is output to the user terminal of the video creator.
How to control the video recording support system.
前記被写体が記録された複数の画像データを用いて事前に行われた前記被写体に対する認証処理の結果から、前記認証処理の支障となる原因を出力するように学習されたＡＩモデルを記憶する機能と、
前記被写体が記録された動画データを取得する機能と、
前記動画データと、前記ＡＩモデルと、を用いて、前記動画データの中から前記画像処理を行う際に支障となる原因を検出する機能と、
前記原因を示す情報を、前記動画制作者が有するユーザ端末に出力する機能と、
を実現させるためのプログラム。 For a video shooting support system that detects the cause of trouble when performing image processing on a predetermined subject in a video from the video data and notifies the video creator.
A function of storing an AI model learned to output a cause that interferes with the authentication process from the result of an authentication process for the subject performed in advance using a plurality of image data in which the subject is recorded. ,
A function to acquire moving image data in which the subject is recorded, and
Using the moving image data and the AI model, a function of detecting a cause that hinders the image processing from the moving image data, and
A function of outputting information indicating the cause to a user terminal of the video creator, and
A program to realize.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020075426A JP2021175029A (en) | 2020-04-21 | 2020-04-21 | Video shooting support system, control method and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020075426A JP2021175029A (en) | 2020-04-21 | 2020-04-21 | Video shooting support system, control method and program thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021175029A true JP2021175029A (en) | 2021-11-01 |
Family
ID=78278837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020075426A Pending JP2021175029A (en) | 2020-04-21 | 2020-04-21 | Video shooting support system, control method and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021175029A (en) |
-
2020
- 2020-04-21 JP JP2020075426A patent/JP2021175029A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2021240234B2 (en) | System and method for user-behavior based content recommendations | |
| JP6828508B2 (en) | Information processing equipment and information processing programs | |
| JP7111632B2 (en) | Image candidate determination device, image candidate determination method, program for controlling image candidate determination device, and recording medium storing the program | |
| JP5385598B2 (en) | Image processing apparatus, image management server apparatus, control method thereof, and program | |
| JP5477017B2 (en) | Electronic device, content transmission method and program | |
| EP3255871B1 (en) | Recording of sound information and document annotations during a meeting. | |
| JP6080409B2 (en) | Information processing apparatus, information processing method, and program | |
| US7921074B2 (en) | Information processing system and information processing method | |
| JP5178392B2 (en) | Information processing apparatus and information processing apparatus control method | |
| JP7167283B2 (en) | Image candidate determination device, image candidate determination method, program for controlling image candidate determination device, and recording medium storing the program | |
| JP6059239B2 (en) | Imaging device, imaging system, imaging method, and imaging control program | |
| JP2015114920A (en) | Image evaluation apparatus, image evaluation method, image evaluation program, and recording medium storing the program | |
| US20140354758A1 (en) | System and method for remote notarization and recording digital notary logbook entries | |
| TW201539210A (en) | Personal information management service system | |
| JP2020087105A (en) | Information processing method, information processing apparatus and computer program | |
| KR20240068049A (en) | Method and apparatus for recommending asset and content to user | |
| JP2008198135A (en) | Information delivery system, information delivery device and information delivery method | |
| US11163822B2 (en) | Emotional experience metadata on recorded images | |
| CN104978389B (en) | Method, system, server and client side | |
| JP2018109893A (en) | Information processing method, apparatus, and program | |
| JP2021175029A (en) | Video shooting support system, control method and program thereof | |
| JP6752102B2 (en) | Information processing equipment and development support system | |
| JP6958795B1 (en) | Information processing methods, computer programs and information processing equipment | |
| JP6324284B2 (en) | Group learning system | |
| JP6439516B2 (en) | Summary data generation program, summary data generation method, and summary data generation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230316 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240531 |