JP2021035023A - Program production device, program production method, and program - Google Patents

Program production device, program production method, and program Download PDF

Info

Publication number
JP2021035023A
JP2021035023A JP2019157209A JP2019157209A JP2021035023A JP 2021035023 A JP2021035023 A JP 2021035023A JP 2019157209 A JP2019157209 A JP 2019157209A JP 2019157209 A JP2019157209 A JP 2019157209A JP 2021035023 A JP2021035023 A JP 2021035023A
Authority
JP
Japan
Prior art keywords
moving image
image data
effect
character
file format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019157209A
Other languages
Japanese (ja)
Other versions
JP6647512B1 (en
Inventor
ひろ美 古川
Hiromi Furukawa
ひろ美 古川
竜二 高瀬
Ryuji Takase
竜二 高瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOND KK
Original Assignee
BOND KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2019157209A priority Critical patent/JP6647512B1/en
Application filed by BOND KK filed Critical BOND KK
Publication of JP6647512B1 publication Critical patent/JP6647512B1/en
Application granted granted Critical
Priority to US17/625,631 priority patent/US20220264193A1/en
Priority to PCT/JP2020/032442 priority patent/WO2021039925A1/en
Priority to US17/637,314 priority patent/US11659258B2/en
Priority to CN202080031442.6A priority patent/CN113748623A/en
Priority to CN202080058140.8A priority patent/CN114258686A/en
Priority to PCT/JP2020/032441 priority patent/WO2021039924A1/en
Publication of JP2021035023A publication Critical patent/JP2021035023A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To propose a program production device suitable for reflecting information of people who distribute, broadcast, and watch the program.SOLUTION: A program production device 1 generates moving image data using a character. A production determination unit 5 determines the production using the character. A moving image creation unit 7 generates moving image data using the production determined by the production determination unit 5. The production determination unit 5 adjusts the movement of the character according to a file format of the moving image data created by the moving image creation unit 7, and/or adjusts at least one of the character's dialogue, BGM, and sound effect to determine the production.SELECTED DRAWING: Figure 1

Description

本願発明は、番組制作装置、番組制作方法及びプログラムに関し、特に、キャラクタを用いた動画データを生成する番組制作装置等に関する。 The present invention relates to a program production device, a program production method, and a program, and more particularly to a program production device that generates moving image data using characters.

出願人は、例えば特許文献1及び2などにあるように、作成者が入力した情報を利用してキャラクタを用いた番組を制作するシステムを研究・開発している。 The applicant is researching and developing a system for producing a program using characters by using the information input by the creator, as described in Patent Documents 1 and 2, for example.

特許第4725936号公報Japanese Patent No. 4725936 特許第4725918号公報Japanese Patent No. 4725918

しかしながら、特許文献1及び2などに記載された技術は、番組を配信したり放送したりする方々(放送事業者など)や視聴者の情報を、番組に反映させることについて、十分に検討されていなかった。 However, the technologies described in Patent Documents 1 and 2 and the like have been sufficiently studied to reflect the information of people (broadcasters, etc.) and viewers who distribute or broadcast the program in the program. There wasn't.

そこで、本願発明は、番組を配信・放送したり視聴したりする方々の情報を、番組に反映させることに適した番組制作装置等を提案することを目的とする。 Therefore, an object of the present invention is to propose a program production device or the like suitable for reflecting the information of people who distribute, broadcast, or watch a program in the program.

本願発明の第1の観点は、キャラクタを用いた動画データを生成する番組制作装置であって、前記キャラクタを用いた演出を決定する演出決定部と、前記演出を用いて前記動画データを生成する動画作成部を備え、前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに/又は、前記キャラクタのセリフ、BGM及び効果音の少なくとも一つを調整して前記演出を決定する。 The first aspect of the present invention is a program production device that generates moving image data using a character, and generates the moving image data by using an effect determining unit that determines an effect using the character and the effect. A moving image creation unit is provided, and the effect determining unit adjusts the movement of the character according to the file format of the moving image data, and / or adjusts at least one of the character's dialogue, BGM, and sound effect. The production is determined.

本願発明の第2の観点は、第1の観点の番組制作装置であって、作成者がファイル形式に応じた調整をしない指示をしたならば、前記演出決定部は、複数のファイル形式に共通する前記演出を決定し、作成者がファイル形式に応じた調整をする指示をしたならば、前記演出決定部は、それぞれのファイル形式に応じて、前記キャラクタの動きを調整し、及び/又は、前記キャラクタのセリフ、BGM及び効果音の少なくとも一つを調整して前記演出を決定する。 The second aspect of the present invention is the program production device of the first aspect, and if the creator gives an instruction not to make adjustments according to the file format, the production determination unit is common to a plurality of file formats. When the effect is determined and the creator gives an instruction to make adjustments according to the file format, the effect determination unit adjusts the movement of the character according to each file format and / or At least one of the character's dialogue, BGM, and sound effect is adjusted to determine the effect.

本願発明の第3の観点は、第2の観点の番組制作装置であって、作成者がファイル形式に応じた調整をしない指示をしたならば、前記動画作成部は、前記演出を用いて、当該番組制作装置を実現するためのコンピュータのオペレーティングシステムと関連するファイル形式の第1動画データを生成し、前記第1動画データを変換して他のファイル形式の動画データを生成する。 The third aspect of the present invention is the program production device of the second aspect, and if the creator gives an instruction not to make adjustments according to the file format, the moving image creation unit uses the effect. The first moving image data in a file format related to the operating system of the computer for realizing the program production device is generated, and the first moving image data is converted to generate moving image data in another file format.

本願発明の第4の観点は、第3の観点の番組制作装置であって、前記動画作成部は、前記第1動画データを変換して他のファイル形式の動画データを生成するときに、前記第1動画データにおける字幕の表示を、変換後のファイル形式に応じて調整する。 The fourth aspect of the present invention is the program production apparatus of the third aspect, and when the moving image creation unit converts the first moving image data to generate moving image data in another file format, the moving image is described. The display of subtitles in the first moving image data is adjusted according to the converted file format.

本願発明の第5の観点は、キャラクタを用いた動画データを生成する番組制作方法であって、情報処理装置が備える演出決定部が、前記キャラクタを用いた演出を決定する演出決定ステップと、情報処理装置が備える動画作成部が、前記演出を用いて前記動画データを生成する動画作成ステップを含み、前記演出決定ステップにおいて、前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに/又は、前記キャラクタのセリフ、BGM及び効果音の少なくとも一つを調整して前記演出を決定する。 A fifth aspect of the present invention is a program production method for generating moving image data using characters, in which an effect determination unit included in an information processing device determines an effect using the character, and information. The moving image creation unit included in the processing device includes a moving image creation step of generating the moving image data using the effect, and in the effect determining step, the effect determining unit uses the character according to the file format of the moving image data. The movement of the character is adjusted, and / or at least one of the character's dialogue, BGM, and sound effect is adjusted to determine the effect.

本願発明の第6の観点は、コンピュータを、キャラクタを用いた動画データを生成する番組制作装置として機能させるためのプログラムであって、前記番組制作装置は、前記キャラクタを用いた演出を決定する演出決定部と、前記演出を用いて前記動画データを生成する動画作成部を備え、前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに/又は、前記キャラクタのセリフ、BGM及び効果音の少なくとも一つを調整して前記演出を決定する。 A sixth aspect of the present invention is a program for making a computer function as a program production device for generating moving image data using characters, and the program production device determines an effect using the characters. A determination unit and a moving image creation unit that generates the moving image data using the effect are provided, and the effect determining unit adjusts the movement of the character according to the file format of the moving image data, and / or the above. At least one of the character's dialogue, BGM, and sound effect is adjusted to determine the effect.

なお、本願発明を、本願発明の第6の観点のプログラムを記録するコンピュータ読み取り可能な記録媒体として捉えてもよい。 The invention of the present application may be regarded as a computer-readable recording medium for recording the program of the sixth aspect of the invention of the present application.

出願人は、動画を配信・放送したり、視聴者が視聴したりする環境は、動画データのファイル形式に表れる点に着目した。本願発明の各観点によれば、動画データのファイル形式に応じて、キャラクタを用いた演出を適切に決定することができる。 The applicant paid attention to the fact that the environment in which the video is distributed / broadcast and the viewer watches it appears in the file format of the video data. According to each viewpoint of the present invention, it is possible to appropriately determine the effect using characters according to the file format of the moving image data.

さらに、例えばテレビで放送する場合には、あらかじめ定められた規格に従ったものである必要がある。本願発明によれば、動画データのファイル形式に応じて動画データを生成することができ、例えば、動画を生成して、インターネット上に配信すると同時に、テレビで生放送をすることなどが実現できる。 Further, for example, when broadcasting on a television, it is necessary to comply with a predetermined standard. According to the present invention, it is possible to generate moving image data according to the file format of moving image data, and for example, it is possible to generate a moving image and distribute it on the Internet and at the same time broadcast it live on a television.

本願発明の実施の形態に係る番組制作装置1の(a)構成の一例を示すブロック図と、(b)動作の一例を示すフロー図である。It is a block diagram which shows an example of (a) composition of the program production apparatus 1 which concerns on embodiment of this invention, and is a flow diagram which shows an example of (b) operation.

以下では、図面を参照して、本願発明の実施例について説明する。なお、本願発明は、この実施例に限定されるものではない。 Hereinafter, examples of the present invention will be described with reference to the drawings. The invention of the present application is not limited to this embodiment.

図1は、本願発明の実施の形態に係る番組制作装置1の(a)構成の一例を示すブロック図と、(b)動作の一例を示すフロー図である。 FIG. 1 is a block diagram showing an example of (a) configuration of the program production device 1 according to the embodiment of the present invention, and (b) a flow diagram showing an example of operation.

番組制作装置1は、入力部3と、演出決定部5(本願請求項の「演出決定部」の一例)と、動画作成部7(本願請求項の「動画作成部」の一例)と、出力部9と、入力データ記憶部11と、演出データ記憶部13と、素材データ記憶部15と、動画データ記憶部17を備える。 The program production device 1 includes an input unit 3, a production determination unit 5 (an example of the “production determination unit” of the present application claim), a moving image creation unit 7 (an example of the “video creation unit” of the application claim), and an output. A unit 9, an input data storage unit 11, an effect data storage unit 13, a material data storage unit 15, and a moving image data storage unit 17 are provided.

入力部3は、作成者が入力データを入力する。入力データ記憶部11は、入力データを記憶する。入力データは、番組を制作するための番組作成データと、出力する動画データのファイル形式に関する出力指定データを含む。 In the input unit 3, the creator inputs input data. The input data storage unit 11 stores the input data. The input data includes program creation data for producing a program and output designation data regarding the file format of the video data to be output.

演出データ記憶部13は、演出決定部5が演出を決定するために使用する演出データを記憶する。演出データは、例えば、番組作成データにおけるキャラクタなどに関する情報(キャラクタのセリフや動きの指定、キャラクタと同時に提示する資料に関する情報など)を感情分析するための情報、特定の感情を表現するためのキャラクタの動き(表情やゼスチャーなど)を特定する情報、特定の感情を表現してセリフを述べるときの口の形状を特定する情報、特定の感情を表現するためのセリフを発声するときの抑揚などの情報、特定の感情を表現するためのBGMや効果音の効果などの情報などを含む。 The effect data storage unit 13 stores the effect data used by the effect determination unit 5 to determine the effect. The production data is, for example, information for emotionally analyzing information about a character in program creation data (designation of character lines and movements, information about materials presented at the same time as a character, etc.), and a character for expressing a specific emotion. Information that identifies movements (facial expressions, gestures, etc.), information that identifies the shape of the mouth when expressing a specific emotion and expressing a line, inflection when uttering a line to express a specific emotion, etc. Includes information, information such as BGM for expressing specific emotions and effects of sound effects.

演出決定部5は、作成者が入力した情報を利用して、演出データを参照して、表現すべき感情情報などを分析して、キャラクタの動作及びセリフ、BGM、効果音などの演出を決定する(特許文献1など参照)。なお、演出には、例えば、ライティング、カメラ位置などを含めてもよい。 The production determination unit 5 uses the information input by the creator to refer to the production data, analyzes the emotional information to be expressed, and determines the character's movements and the production of lines, BGM, sound effects, and the like. (Refer to Patent Document 1 and the like). The production may include, for example, lighting, camera position, and the like.

素材データ記憶部15は、動画作成部7が動画データを作成するために使用する素材データを記憶する。素材データは、例えば、キャラクタの形状を特定する情報、セリフを発声するための声情報、BGMや効果音などの音情報などを含む。 The material data storage unit 15 stores the material data used by the moving image creation unit 7 to create the moving image data. The material data includes, for example, information for specifying the shape of a character, voice information for uttering a line, sound information such as BGM and sound effects, and the like.

動画作成部7は、素材データ記憶部15が記憶する素材データを利用して、演出決定部5が決定した演出に従って動画データを生成する。動画データ記憶部17は、動画作成部7が作成した動画データを記憶する(特許文献1など参照)。 The moving image creation unit 7 uses the material data stored in the material data storage unit 15 to generate moving image data according to the effect determined by the effect determination unit 5. The moving image data storage unit 17 stores the moving image data created by the moving image creating unit 7 (see Patent Document 1 and the like).

出力部9は、動画データ記憶部17が記憶する動画データを、インターネットを利用して視聴者が利用する情報処理端末(スマートフォンなど)に配信したり、放送事業者を通じてテレビに放送したりして、視聴者に表示する。 The output unit 9 distributes the video data stored in the video data storage unit 17 to an information processing terminal (smartphone or the like) used by the viewer using the Internet, or broadcasts the video data to a television through a broadcaster. , Display to the viewer.

動画データは、少なくとも、映像データと音データと字幕データを含む。映像データは、時間経過に従って表示する表示画像を特定するデータである。音データは、時間経過に従って再生する音を特定するデータである。字幕データは、映像データとともに表示する字幕を特定するデータである。 The moving image data includes at least video data, sound data, and subtitle data. The video data is data that identifies a display image to be displayed over time. Sound data is data that identifies the sound to be reproduced over time. The subtitle data is data that specifies the subtitle to be displayed together with the video data.

本実施例では、動画データ記憶部17は、ファイル形式を異にして、N個の動画データを記憶する(Nは、2以上の自然数)。第nファイル形式の動画データ(nは、1からNまでの自然数)を、「第n動画データ」という。第n動画データ21は、第n映像データ23と、第n音データ25と、第n字幕データ27を含む。以下では、Nが3とする。 In this embodiment, the moving image data storage unit 17 stores N moving image data in different file formats (N is a natural number of 2 or more). The moving image data in the nth file format (n is a natural number from 1 to N) is referred to as "nth moving image data". The nth moving image data 21 n includes the nth video data 23 n , the nth sound data 25 n , and the nth subtitle data 27 n . In the following, N is 3.

第1動画データ211は、番組制作装置1を実現するコンピュータのオペレーティングシステム(OS)に関連するものである。例えば、オペレーティングシステム(OS)がウィンドウズ(登録商標)である場合に、ウィンドウズ・メディア形式などである。ウィンドウズをOSとするPC上では、このようなファイル形式の動画データを生成する処理が実現しやすいことが期待される。 The first moving image data 21 1 is associated with the operating system of the computer (OS) for realizing the program production apparatus 1. For example, when the operating system (OS) is Windows (registered trademark), it is in the Windows media format. It is expected that the process of generating moving image data in such a file format can be easily realized on a PC using Windows as the OS.

第2動画データは、例えばMP4ビデオファイル形式などのように、インターネット上で流通する際に一般に使用されるものである。通常は、ファイル容量を小さくするために、第1動画データと比較して情報量が少なくなっている。 The second moving image data is generally used when distributed on the Internet, for example, in the MP4 video file format. Normally, in order to reduce the file size, the amount of information is smaller than that of the first moving image data.

第3動画データは、各業界において定められた規格に従ったものである。例えば放送業界におけるMXFファイル形式の動画データなどである。MXFファイル形式では、様々な規格が定められている。例えば、番組によって音の大きさが極端に異ならないように、音の大きさの範囲が定められている。また、テレビなどで適切に字幕が表示されるように、字幕の表示範囲が定められている。このような規格は、第1動画データや第2動画データなどでは定められていない。 The third moving image data conforms to the standards established in each industry. For example, moving image data in MXF file format in the broadcasting industry. Various standards are defined in the MXF file format. For example, the range of loudness is defined so that the loudness does not differ extremely depending on the program. In addition, the display range of subtitles is defined so that subtitles can be properly displayed on a television or the like. Such a standard is not defined in the first moving image data, the second moving image data, and the like.

通常、第1動画データや第2動画データには、規格による制約がない。そのため、OSに適した第1動画データを生成し、それを第2動画データに変換すれば、第1動画データ及び第2動画データを得ることができる。 Normally, the first moving image data and the second moving image data are not restricted by the standard. Therefore, if the first moving image data suitable for the OS is generated and converted into the second moving image data, the first moving image data and the second moving image data can be obtained.

他方、第3動画データは、例えばテレビ放送するならばMXFファイル形式の規格に合うように、音の大きさを変更したり字幕の表示方法を変更したりすることが必要になる。通常、単純に変換することでは足りず、人手によって規格に合うように変更していた。結果として、第1動画データを作成しても、これを第3動画データに変換してテレビ上で生放送するようなことは事実上困難であった。 On the other hand, for the third moving image data, for example, in the case of television broadcasting, it is necessary to change the loudness of the sound and the display method of the subtitles so as to meet the MXF file format standard. Usually, simple conversion was not enough, and it was manually changed to meet the standard. As a result, even if the first moving image data is created, it is practically difficult to convert it into the third moving image data and broadcast it live on the television.

なお、第3動画データを作成して、これを第1動画データ及び第2動画データに変換することも考えられる。しかしながら、MXFファイル形式では、音や字幕などに独自の制約があり、第1動画データ及び第2動画データは、不必要に制約された状態となってしまう。 It is also conceivable to create a third moving image data and convert it into the first moving image data and the second moving image data. However, in the MXF file format, there are unique restrictions on sound, subtitles, and the like, and the first moving image data and the second moving image data are unnecessarily restricted.

発明者は、動画データのファイル形式が、配信・放送する環境や、視聴者が視聴する環境と関連することに着目した。例えば、司会者が話すテンポは、テレビ番組におけるものと、ステージなどで観客が目の前にいる環境でのものとは、大きく異なるであろう。同様に、現在の視聴者は、インターネット上で視聴することに適した動画データを、そのままテレビ上で再生しても違和感がある可能性が高い。本実施例において、動画作成部7は、生成する動画データのファイル形式を考慮して、演出決定部5が決定した演出を用いて動画データを作成することにより、放送事業者などの作業を軽減するとともに、視聴者の視聴環境を反映させた動画データを作成することができる。 The inventor paid attention to the fact that the file format of video data is related to the environment of distribution / broadcasting and the environment of viewing by viewers. For example, the tempo spoken by the moderator will be very different from that on a television program and in an environment where the audience is in front of them, such as on stage. Similarly, current viewers are likely to feel uncomfortable even if they play video data suitable for viewing on the Internet as it is on a television. In this embodiment, the moving image creation unit 7 reduces the work of the broadcaster and the like by creating the moving image data using the effect determined by the effect determining unit 5 in consideration of the file format of the generated moving image data. At the same time, it is possible to create video data that reflects the viewing environment of the viewer.

ただし、例えば同時に配信及び放送する場合のように、番組によっては、インターネット上の動画データと同じ内容のものを、テレビなどで視聴できるようにすることが望ましい場合もあり得る。そのため、本実施例では、番組制作装置1の作成者は、複数のファイル形式に共通の内容の動画データを作成することを指示することもできる。この場合、動画作成部7は、それぞれのファイル形式によって要求される制約を満たした上で、共通の内容の動画データを作成する。 However, depending on the program, for example, when it is distributed and broadcast at the same time, it may be desirable to enable viewing of the same content as the moving image data on the Internet on a television or the like. Therefore, in this embodiment, the creator of the program production device 1 can also instruct to create moving image data having contents common to a plurality of file formats. In this case, the moving image creation unit 7 creates moving image data having common contents after satisfying the restrictions required by each file format.

図1(b)を参照して、図1(a)の番組制作装置1の動作の一例について説明する。 An example of the operation of the program production device 1 of FIG. 1 (a) will be described with reference to FIG. 1 (b).

まず、作成者は、入力部3を用いて、少なくとも、番組作成データと出力指定データを入力する(ステップST1)。以下では、具体的に説明するために、番組作成データは、キャラクタが「いつもありがとう。」というセリフを話すことと、その字幕を表示することとする。出力指定データは、MP4ビデオファイル形式及びMXFファイル形式を出力することとする。作成者が、共通の内容の動画データを作成することを指定する場合と、指定しない場合とを説明する。 First, the creator uses the input unit 3 to input at least the program creation data and the output designation data (step ST1). In the following, for the sake of specific explanation, it is assumed that the character speaks the line "Thank you always" and the subtitles are displayed in the program creation data. The output designation data shall output the MP4 video file format and the MXF file format. A case where the creator specifies to create video data having common contents and a case where the creator does not specify it will be described.

動画作成部7は、出力指定データにおいて共通の内容の動画データを作成することが指定されているか否かを判定する(ステップST2)。 The moving image creation unit 7 determines whether or not it is specified to create moving image data having common contents in the output designation data (step ST2).

出力指定データにおいて共通の内容の動画データを作成することが指定されている場合について説明する。この場合、ステップST2の判定は、「YES」である。 A case where it is specified to create moving image data having common contents in the output specification data will be described. In this case, the determination in step ST2 is "YES".

演出決定部5は、複数のファイル形式に共通する演出を決定する(ステップST3)。例えば、まず、「いつもありがとう。」(英語ではThank you for always being nice to me.)というセリフを分析する。「いつも」(英語ではalways)の部分からは、繰り返しや、継続した人間関係が形成されていることを抽出する。「ありがとう」(英語ではthank you)の部分からは「感謝」などのプラスの感情を抽出する。演出決定部5は、キャラクタを利用した演出として、「継続した信頼関係をベースにして感謝を伝える」動作をさせつつ、「いつもありがとう。」というセリフを言うことと決定する。そして、これに合ったBGM及び効果音を決定する。 The production determination unit 5 determines the production common to the plurality of file formats (step ST3). For example, first analyze the line "Thank you for always being nice to me." (In English, Thank you for always being nice to me.). From the "always" (always in English) part, we extract that repeated and continuous relationships are formed. Positive emotions such as "thank you" are extracted from the "thank you" part (thank you in English). The production determination unit 5 decides to say "always thank you" while performing the operation of "expressing gratitude based on the continuous relationship of trust" as the production using the character. Then, the BGM and the sound effect suitable for this are determined.

動画作成部7は、演出決定部5が決定した演出に従い、第1動画データ211を生成する(ステップST4)。具体的には、第1映像データ231として、「継続した信頼関係をベースにして感謝を伝える」動作に対応させてキャラクタを動かす。第1音データ251として、「継続した信頼関係をベースにして感謝を伝える」ように「いつもありがとう。」というセリフの音声を再生し、BGMや効果音を再生する。第1字幕データ271として、「いつもありがとう。」という字幕を表示する。 Moving image creating unit 7 in accordance with production which effect determination unit 5 is determined, to generate the first video data 21 1 (step ST4). Specifically, as the first image data 23 1, "the continued trust relationship based convey appreciation" in correspondence with the operation moving the character. As the first sound data 25 1, to play the sound of the words that "continued trust in the base convey the gratitude" as "always thank you.", To play the BGM and sound effects. As the first subtitle data 27 1 , the subtitle "Thank you always." Is displayed.

動画作成部7は、第1動画データ211を、第2動画データ212及び第3動画データ213に変換する(ステップST5)。第1動画データ211を第2動画データ212に変換する処理は、一般的なファイル形式の変換を行う処理により実現することができる。第3動画データ213に変換する処理では、規格に合うように、例えば第1音データ251の大きさを調整して第3音データ253とするとともに、第1字幕データ271の表示の表示位置などを調整して第3字幕データ273とする。これにより、第1動画データ211、第2動画データ212及び第3動画データ213は、共通の演出を用いた内容の動画データである。 Moving image creating unit 7, the first moving image data 21 1, into a second video data 21 2 and the third moving image data 21 3 (step ST5). Processing for converting the first video data 21 1 to the second moving image data 21 2 can be realized by the processing for converting popular file formats. In the process of converting the third moving image data 21 3, to fit the standard, for example, with a third sound data 25 3 by adjusting the first sound data 25 1 size, the first subtitle data display 27 1 and adjusting the display position and the third subtitle data 27 3. Thus, the first moving image data 21 1, second moving image data 21 2 and the third moving image data 21 3 is moving image data of the content using a common effect.

なお、同じ演出に基づき、複数のファイル形式の動画データをそれぞれ作成してもよい。この場合、複数の動画データを並列して作成してもよい。 In addition, based on the same effect, moving image data in a plurality of file formats may be created respectively. In this case, a plurality of moving image data may be created in parallel.

出力指定データにおいて共通の内容の動画データを作成することが指定されていない場合について説明する。この場合、ステップST2の判定は、「NO」である。 A case where it is not specified to create moving image data having common contents in the output specified data will be described. In this case, the determination in step ST2 is "NO".

演出決定部5は、第2動画ファイルに対して演出を決定する(ステップST6)。「いつもありがとう。」というセリフからは、「継続した信頼関係」及び「感謝という感情」が抽出される。第2動画ファイルは、インターネット上での配信などに利用される。この場合、例えばスマートフォンで視聴するならば、視聴者が移動している環境などで視聴するために、画面を継続して見ていない可能性がある。そうすると、聴覚情報が重要になり、また、視覚情報は、一部を見れば最も伝えたい感情が伝わる態様が望ましい。そのため、キャラクタは、動作及びセリフによって、伝えるべき「感謝」などのプラスの感情を、強く、継続して表現するようにすることが有効であると考えられる。そのため、演出決定部5は、「いつも」の段階を含めて、キャラクタの動作及びセリフ、BGM、効果音などによって「感謝」の感情を表現して、補助的に「信頼関係」を表現するように演出を決定する。 The production determination unit 5 determines the production for the second moving image file (step ST6). "Continuous relationship of trust" and "feelings of gratitude" are extracted from the line "Thank you always." The second moving image file is used for distribution on the Internet and the like. In this case, for example, when viewing on a smartphone, there is a possibility that the screen is not continuously viewed in order to view in an environment where the viewer is moving. Then, auditory information becomes important, and it is desirable that visual information conveys the emotions that one wants to convey most if one looks at a part. Therefore, it is considered effective for the character to strongly and continuously express positive emotions such as "gratitude" to be conveyed by movements and dialogues. Therefore, the production decision unit 5 expresses the feeling of "gratitude" by the movement of the character and the dialogue, BGM, sound effect, etc., including the "always" stage, and auxiliary expresses the "relationship of trust". The production is decided.

動画作成部7は、演出決定部5が決定した演出に従い、第1映像データ231、第1音データ251及び第1字幕データ271を生成して第1動画データ211を生成する。動画作成部7は、第1動画データ211の第1映像データ231、第1音データ251及び第1字幕データ271を変換して、それぞれ、第2動画データ212の第2映像データ232、第2音データ252及び第2字幕データ272として、第2動画データ212を生成する(ステップST7)。 The moving image creation unit 7 generates the first video data 23 1 , the first sound data 25 1 and the first subtitle data 27 1 according to the effect determined by the effect determining unit 5, and generates the first moving image data 21 1 . Moving image creating unit 7, the first image data 23 of the first moving image data 21 1, the first sound data 25 by converting 1 and first subtitle data 27 1, respectively, of the second moving image data 21 2 second video data 23 2, as the second sound data 25 2 and the second subtitle data 27 2 generates a second video data 21 2 (step ST7).

動画作成部7は、すべてのファイル形式の動画データを生成したか否かを判定する(ステップST8)。すべてのファイル形式を生成したならば、処理を終了する。生成していないファイル形式があれば、ステップST6に戻る。 The moving image creation unit 7 determines whether or not moving image data in all file formats has been generated (step ST8). When all file formats have been generated, the process ends. If there is a file format that has not been generated, the process returns to step ST6.

この例では、第3動画データ213を生成していないため、「NO」であり、ステップST6に戻る。 In this example, since not generating a third video data 21 3 is "NO", the flow returns to step ST6.

演出決定部5は、第3動画ファイルに対して演出を決定する(ステップST6)。「いつもありがとう。」というセリフからは、「継続した信頼関係」及び「感謝という感情」が抽出される。第3動画データ213は、例えばテレビ放送に利用される。この場合、視聴者は、継続して視聴している環境にあり、視覚情報を全体として把握している可能性が高い。そうすると、キャラクタは、視聴者との「信頼関係」を確認してから「感謝」を伝えることができる。そのため、キャラクタは、「いつも」というセリフでは、真剣な、まじめな雰囲気を形成するとともに、「ありがとう。」の部分で「感謝」などのプラスの感情を丁寧に表現することが有効である。そのため、演出決定部5は、キャラクタの動作及びセリフ、BGM、効果音などによって、「いつも」の段階で信頼関係を表現し、「ありがとう」の段階で「感謝」を強く表現するようにする。 The production determination unit 5 determines the production for the third moving image file (step ST6). "Continuous relationship of trust" and "feelings of gratitude" are extracted from the line "Thank you always." The third video data 21 3, for example, is used for television broadcasting. In this case, the viewer is in an environment of continuous viewing and is likely to grasp the visual information as a whole. Then, the character can convey "gratitude" after confirming the "relationship of trust" with the viewer. Therefore, it is effective for the character to form a serious and serious atmosphere in the line "always" and to carefully express positive emotions such as "thank you" in the "thank you" part. Therefore, the production determination unit 5 expresses the relationship of trust at the "always" stage and strongly expresses "gratitude" at the "thank you" stage by the movement of the character, dialogue, BGM, sound effects, and the like.

動画作成部7は、演出決定部5が決定した演出に従い、第3動画データ213の規格に合うように、第1映像データ231、第1音データ251及び第1字幕データ271を生成して第1動画データ211を生成する。動画作成部7は、第1動画データ211の第1映像データ231、第1音データ251及び第1字幕データ271を変換して、それぞれ、第3動画データ213の第3映像データ233、第3音データ253及び第3字幕データ273として、第3動画データ213を生成する(ステップST7)。 Moving image creating unit 7 in accordance with production which effect determination unit 5 is determined, to suit the third moving image data 21 3 standard, the first image data 23 1, the first sound data 25 1 and the first subtitle data 27 1 generated for generating a first video data 21 1. The moving image creation unit 7 converts the first video data 23 1 of the first moving image data 21 1 , the first sound data 25 1 and the first subtitle data 27 1 , and the third video of the third moving image data 21 3 respectively. data 23 3, as a third sound data 25 3 and the third subtitle data 27 3, and generates a third moving image data 21 3 (step ST7).

動画作成部7は、すべてのファイル形式の動画データを生成したか否かを判定する(ステップST8)。すべてのファイル形式を生成しており、処理を終了する。 The moving image creation unit 7 determines whether or not moving image data in all file formats has been generated (step ST8). All file formats have been generated and processing is finished.

なお、動画データ記憶部17は、例えば、同じファイル形式で圧縮度が異なるものなどを、異なる動画データとして記憶するものであってもよい。また、図1の例では、第2動画データ212及び第3動画データ213などを順に生成する場合を説明したが、複数の動画データを並列して作成してもよい。 The moving image data storage unit 17 may store, for example, data having the same file format but different compression degrees as different moving image data. Further, in the example of FIG. 1, a case has been described for generating and second video data 21 2 and the third moving image data 21 3 sequentially, may be created in parallel a plurality of video data.

1 番組制作装置、3 入力部、5 演出決定部、7 動画作成部、9 出力部、11 入力データ記憶部、13 演出データ記憶部、15 素材データ記憶部、17 動画データ記憶部、21n 第n動画データ、23n 第n映像データ、25n 第n音データ、27n 第n字幕データ 1 Program production device, 3 Input unit, 5 Production decision unit, 7 Video creation unit, 9 Output unit, 11 Input data storage unit, 13 Production data storage unit, 15 Material data storage unit, 17 Video data storage unit, 21 nth n video data, 23 n nth video data, 25 n nth sound data, 27 n nth subtitle data

Claims (6)

キャラクタを用いた動画データを生成する番組制作装置であって、
前記キャラクタを用いた演出を決定する演出決定部と、
前記演出を用いて前記動画データを生成する動画作成部を備え、
前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに/又は、前記キャラクタのセリフ、BGM及び効果音の少なくとも一つを調整して前記演出を決定する、番組制作装置。
A program production device that generates video data using characters.
A production determination unit that determines the production using the character, and
It is provided with a moving image creation unit that generates the moving image data using the effect.
The effect determining unit adjusts the movement of the character according to the file format of the moving image data, and / or adjusts at least one of the character's dialogue, BGM, and sound effect to determine the effect. , Program production equipment.
作成者がファイル形式に応じた調整をしない指示をしたならば、前記演出決定部は、複数のファイル形式に共通する前記演出を決定し、
作成者がファイル形式に応じた調整をする指示をしたならば、前記演出決定部は、それぞれのファイル形式に応じて、前記キャラクタの動きを調整し、及び/又は、前記キャラクタのセリフ、BGM及び効果音の少なくとも一つを調整して前記演出を決定する、請求項1記載の番組制作装置。
If the creator gives an instruction not to make adjustments according to the file format, the effect determination unit determines the effect common to a plurality of file formats.
If the creator gives an instruction to make adjustments according to the file format, the effect determining unit adjusts the movement of the character according to each file format, and / or, the dialogue, BGM, and / or the character's dialogue, BGM, and so on. The program production device according to claim 1, wherein at least one of the sound effects is adjusted to determine the effect.
作成者がファイル形式に応じた調整をしない指示をしたならば、前記動画作成部は、
前記演出を用いて、当該番組制作装置を実現するためのコンピュータのオペレーティングシステムと関連するファイル形式の第1動画データを生成し、
前記第1動画データを変換して他のファイル形式の動画データを生成する、請求項2記載の番組制作装置。
If the creator gives an instruction not to make adjustments according to the file format, the video creator will
Using the effect, the first moving image data in a file format related to the operating system of the computer for realizing the program production device is generated.
The program production apparatus according to claim 2, wherein the first moving image data is converted to generate moving image data in another file format.
前記動画作成部は、前記第1動画データを変換して他のファイル形式の動画データを生成するときに、前記第1動画データにおける字幕の表示を、変換後のファイル形式に応じて調整する、請求項3記載の番組制作装置。 When the moving image creation unit converts the first moving image data to generate moving image data in another file format, the moving image creating unit adjusts the display of subtitles in the first moving image data according to the converted file format. The program production device according to claim 3. キャラクタを用いた動画データを生成する番組制作方法であって、
情報処理装置が備える演出決定部が、前記キャラクタを用いた演出を決定する演出決定ステップと、
情報処理装置が備える動画作成部が、前記演出を用いて前記動画データを生成する動画作成ステップを含み、
前記演出決定ステップにおいて、前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに/又は、前記キャラクタのセリフ、BGM及び効果音の少なくとも一つを調整して前記演出を決定する、番組制作方法。
It is a program production method that generates video data using characters.
An effect determination step in which the effect determination unit provided in the information processing device determines an effect using the character, and
The moving image creation unit included in the information processing device includes a moving image creation step of generating the moving image data using the effect.
In the effect determination step, the effect determination unit adjusts the movement of the character according to the file format of the moving image data, and / or adjusts at least one of the character's dialogue, BGM, and sound effect. A program production method that determines the above-mentioned production.
コンピュータを、キャラクタを用いた動画データを生成する番組制作装置として機能させるためのプログラムであって、
前記番組制作装置は、
前記キャラクタを用いた演出を決定する演出決定部と、
前記演出を用いて前記動画データを生成する動画作成部を備え、
前記演出決定部は、前記動画データのファイル形式に応じて、前記キャラクタの動きを調整し、並びに/又は、前記キャラクタのセリフ、BGM及び効果音の少なくとも一つを調整して前記演出を決定する、プログラム。
A program for making a computer function as a program production device that generates moving image data using characters.
The program production device
A production determination unit that determines the production using the character, and
It is provided with a moving image creation unit that generates the moving image data using the effect.
The effect determining unit adjusts the movement of the character according to the file format of the moving image data, and / or adjusts at least one of the character's dialogue, BGM, and sound effect to determine the effect. ,program.
JP2019157209A 2019-08-29 2019-08-29 Program production device, program production method and program Active JP6647512B1 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2019157209A JP6647512B1 (en) 2019-08-29 2019-08-29 Program production device, program production method and program
US17/625,631 US20220264193A1 (en) 2019-08-29 2020-08-27 Program production apparatus, program production method, and recording medium
PCT/JP2020/032441 WO2021039924A1 (en) 2019-08-29 2020-08-27 Program production device, program production method, and recording medium
PCT/JP2020/032442 WO2021039925A1 (en) 2019-08-29 2020-08-27 Program creating method, program creating device, and recording medium
US17/637,314 US11659258B2 (en) 2019-08-29 2020-08-27 Program production method, program production apparatus, and recording medium
CN202080031442.6A CN113748623A (en) 2019-08-29 2020-08-27 Program creation device, program creation method, and recording medium
CN202080058140.8A CN114258686A (en) 2019-08-29 2020-08-27 Program creation method, program creation device, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019157209A JP6647512B1 (en) 2019-08-29 2019-08-29 Program production device, program production method and program

Publications (2)

Publication Number Publication Date
JP6647512B1 JP6647512B1 (en) 2020-02-14
JP2021035023A true JP2021035023A (en) 2021-03-01

Family

ID=69568224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019157209A Active JP6647512B1 (en) 2019-08-29 2019-08-29 Program production device, program production method and program

Country Status (1)

Country Link
JP (1) JP6647512B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252457A (en) * 1998-02-27 1999-09-17 Nec Corp Special effects waveform generating device
JP2005006229A (en) * 2003-06-13 2005-01-06 Sony Corp Edit device and edit method
JP2005039794A (en) * 2003-07-18 2005-02-10 Matsushita Electric Ind Co Ltd Display processing method and display processing apparatus
JP2008118468A (en) * 2006-11-06 2008-05-22 Nippon Hoso Kyokai <Nhk> Content presenting server and content presenting program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252457A (en) * 1998-02-27 1999-09-17 Nec Corp Special effects waveform generating device
JP2005006229A (en) * 2003-06-13 2005-01-06 Sony Corp Edit device and edit method
JP2005039794A (en) * 2003-07-18 2005-02-10 Matsushita Electric Ind Co Ltd Display processing method and display processing apparatus
JP2008118468A (en) * 2006-11-06 2008-05-22 Nippon Hoso Kyokai <Nhk> Content presenting server and content presenting program

Also Published As

Publication number Publication date
JP6647512B1 (en) 2020-02-14

Similar Documents

Publication Publication Date Title
US20060285654A1 (en) System and method for performing automatic dubbing on an audio-visual stream
US6088673A (en) Text-to-speech conversion system for interlocking with multimedia and a method for organizing input data of the same
KR101492359B1 (en) Input support device, input support method, and recording medium
US20130204605A1 (en) System for translating spoken language into sign language for the deaf
US10354676B2 (en) Automatic rate control for improved audio time scaling
KR101899588B1 (en) System for automatically generating a sign language animation data, broadcasting system using the same and broadcasting method
KR20010072936A (en) Post-Synchronizing an information stream
US9767825B2 (en) Automatic rate control based on user identities
CN113016190B (en) Authoring intent extensibility via physiological monitoring
CN102055941A (en) Video player and video playing method
JP2016046705A (en) Conference record editing apparatus, method and program for the same, conference record reproduction apparatus, and conference system
CN110933485A (en) Video subtitle generating method, system, device and storage medium
JP6647512B1 (en) Program production device, program production method and program
Duarte et al. Multimedia accessibility
WO2021039924A1 (en) Program production device, program production method, and recording medium
Ohanian How Artificial Intelligence and Machine Learning Will Change Content Creation Methodologies
Hayashi et al. An attempt of mimicking TV news program with full 3DCG—aiming at the text-generated TV system
Ohanian How artificial intelligence and machine learning may eventually change content creation methodologies
US20220122616A1 (en) Information processing device and information processing method
CN114079799A (en) Music live broadcast system and method based on virtual reality
US11665392B2 (en) Methods and systems for selective playback and attenuation of audio based on user preference
Гавран et al. Sound director in modern program content of TV channels
GB2589102A (en) Video comment button (VIDCOM)
Afolabi An In-Depth Study of Multimedia Elements for Programme Production in Television Stations in Lagos State, Nigeria
WO2022026425A1 (en) System and method for aggregating audiovisual content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190926

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190926

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R150 Certificate of patent or registration of utility model

Ref document number: 6647512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250