JP2021093618A - 情報処理装置及びプログラム - Google Patents
情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP2021093618A JP2021093618A JP2019222880A JP2019222880A JP2021093618A JP 2021093618 A JP2021093618 A JP 2021093618A JP 2019222880 A JP2019222880 A JP 2019222880A JP 2019222880 A JP2019222880 A JP 2019222880A JP 2021093618 A JP2021093618 A JP 2021093618A
- Authority
- JP
- Japan
- Prior art keywords
- data
- editing
- text data
- text
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Circuits (AREA)
Abstract
Description
音声のデータと画像のデータとを少なくとも含む処理対象のデータのうち、前記音声のデータに基づいて、前記画像のデータを加工することで前記処理対象のデータを編集する編集手段を備える。
また、「動画像」には、次の第1処理乃至第3処理の夫々により表示される画像を含むものとする。
第1処理とは、平面画像(2D画像)におけるオブジェクト(例えばアニメのキャラクタ)の夫々の動作に対して、複数枚からなる一連の静止画像を時間経過と共に連続的に切り替えて表示させる処理をいう。具体的には例えば、2次元アニメーション、いわゆるパラパラ漫画の原理による処理が第1処理に該当する。
第2処理とは、立体画像(3Dモデルの画像)におけるオブジェクト(例えばアニメのキャラクタ)の夫々の動作に対応するモーションを設定しておき、時間経過と共に当該モーションを変化させて表示させる処理をいう。具体的には例えば、3次元アニメーションが第2処理に該当する。
第3処理とは、オブジェクト(例えばアニメのキャラクタ)の夫々の動作に対応した映像(即ち動画像)を準備しておき、時間経過と共に当該映像を流していく処理をいう。
ここで、「映像(即ち動画像)」は、複数のフレームやフィールド等の画像(以下、「単位画像」と呼ぶ)から構成される。なお以下の例では、単位画像はフレームであるものとして説明する。
本サービスでは、音声のデータと画像のデータとを含むAVデータDのうち音声のデータが、編集可能なテキストのデータT(以下、「テキストデータT」と呼ぶ)として出力される。
出力されたテキストデータTは、ユーザUによる所定の設定操作によって、再生されるAVデータDの任意のタイミングで、任意の位置に重畳的に表示させることができる。
具体的には例えば、犬や猫の鳴き声、レストランのBGM(Back Ground Music)、自動車のエンジン音等は、いずれも音声のデータに含まれる。
表示領域F1には、編集対象となるAVデータDが再生可能な状態で表示されている。なお、図1のAVデータDの内容は、被写体として登場している人物Mが、AVデータDの視聴者に向けて様々な話をするものになっている。
表示領域F2には、編集対象となるAVデータDに含まれる音声のデータをテキストデータ化した、テキストデータTの一部が表示されている。具体的には、表示領域F2には、n個(nは1以上の整数値)の文字列に区分されたテキストデータt1乃至tn(以下、「区分テキストデータt1乃至tn」と呼ぶ)のうち、区分テキストデータt1乃至t7が表示されている。
即ち、表示領域F2には、「はいどうも」という区分テキストデータt1と、「タケノコです」という区分テキストデータt2と、「今日はですねこの」という区分テキストデータt3と、「usbcハブを」という区分テキストデータt4と、「紹介させていただこうと」という区分テキストデータt5と、「思います」という区分テキストデータt6と、「見てください」という区分テキストデータt7とが表示されている。
なお、図1の例では、「書き出し」と表記されたボタンB1が、区分テキストデータt6の上に重なるようにして表示されている。このため、図1に示す表示のタイミングでは、区分テキストデータt6が視認できない状態になっている。
また、図1の例では、区分テキストデータt1乃至tnのうち区分テキストデータt1乃至t7のみが表示されている。ただし、ユーザUが、表示領域F2を上方向にスワイプする操作を行うことで、区分テキストデータt8乃至tnを順次表示させることができる。
具体的には例えば、ユーザUが、ボタンB1をタップする操作を行うと、テキストデータTの全文として、「はいどうも タケノコです 今日はですねこの usbcハブを 紹介させていただこうと 思います これがですね 見てください hdmiの ケーブルも ガッツリささですね 僕も 何度か 使用しているんですけどね これがね 接続不良が 全然 起きないんですよ」といった内容のテキストデータTが所定形式で出力される。
なお、ユーザUがテキストデータTの全文を出力する際の形式は特に限定されない。例えば、ユーザUがテキストデータTの全文を出力する際の形式として、テキストデータTの全文をそのまま文章としてユーザ端末2に表示させることもできるし、データファイルとして出力することもできる。
以下、図2及び図3を参照して、区分テキストデータtkを個別に編集する手法について説明する。
図2(B)には、区分テキストデータtkと、区分テキストデータtk+1とが結合された後の状態の一例が示されている。
図2(A)に示す手法では、ユーザUは、区分テキストデータtkを示す編集用のオブジェクトJkに、区分テキストデータtk+1を示す編集用のオブジェクトJk+1をドラッグする操作を行う。これにより、区分テキストデータtkと区分テキストデータtk+1とを結合させることができる。
具体的には、図2(A)に示すように、ユーザUは、区分テキストデータt1を示す編集用のオブジェクトJ1の上に、区分テキストデータt2を示す編集用のオブジェクトJ2を重ねるようにドラッグする。
これにより、図2(B)に示すように、「はいどうも」という区分テキストデータt1に、「タケノコです」という区分テキストデータt2が結合されて、「はいどうもタケノコです」という区分テキストデータt1が表示される。
また、上述のドラッグ操作により、区分テキストデータt2は、区分テキストデータt1に結合されるので、その下の区分テキストデータt3乃至t8が順次繰り上がって表示される。即ち、図2(A)に示す区分テキストデータt3乃至t8の夫々は、図2(B)に示す区分テキストデータt2乃至t7の夫々として表示される。さらに、図2(A)に示す状態(上述のドラッグ操作の前を示す状態)では表示されていなかった「見てください」という区分テキストデータt9が、図2(B)に示す状態では区分テキストデータt8に繰り上がって表示される。
具体的には例えば、ユーザUは、図2(B)に示すように、区分テキストデータt1を示す編集用のオブジェクトJ1の右端に「・・・」と表記されたボタンB2をタップする操作を行う。これにより、ユーザUは、区分テキストデータt1を編集対象として指定して個別に編集することができる。
具体的には例えば、図3(A)に示すように、区分テキストデータt1が編集対象として指定されると、区分テキストデータt1を示す編集用のオブジェクトJ1がアクティブになる。また、それとともに、入力文字を選択するためのボタンB4が表示領域F2に表示される。
これにより、ユーザUは、区分テキストデータt1を自由に編集することができる。なお、図3(A)には、「はいどうもタケノコです」という文章が「はいどうもタケノコで」という文章に編集された例が示されている。
ユーザUは、編集作業が完了した場合には、その旨を示すボタンB3をタップする操作を行う。これにより、ユーザUは、編集対象として指定している区分テキストデータt1に対応する表示用のオブジェクトであるテロップP1をAVデータDに重畳させて表示させることができる。
図3(B)の例において、ユーザUがボタンB5をタップする操作を行うと、例えば図4(A)に示すようなUIがユーザ端末2に表示される。即ち、ユーザ端末2には、ユーザUがAVデータDにテロップP1を表示させる時間帯を設定するためのUIが表示される。なお、ユーザUがAVデータDにテロップP1を表示させる時間帯を設定するためのUIの具体例については、図4(A)を参照して後述する。
また、ユーザUがボタンB6をタップする操作を行うと、AVデータDにテロップP1を表示させないようにすることができる。
図4(A)に示すように、ユーザUは、表示領域F2に示すタイムラインL上の設定バーR1及びR2の夫々をドラッグする操作を行う。これにより、ユーザUは、テロップP1をAVデータDに重畳させて表示させる時間帯を自由に設定することができる。
具体的には、図4(B)の表示領域F2には、UIとして、テロップPのフォントと、テロップPのフォントカラーとの夫々を設定する操作を行うためのボタンとして、ボタンB7と、ボタンB8との夫々が表示されている。
これにより、ユーザUは、AVデータDに表示させるテロップPの見た目を自由に設定することができる。具体的には例えば、図4(B)に例示するように、AVデータDに重畳するように表示された「おはようございます」というテロップPについて、フォントを「ゴシック1」とし、フォントカラーを「白」とする設定を行うことができる。
図5は、本発明の一実施形態に係るサーバを含む、情報処理システムの構成の一例を示す図である。
サーバ1、及びユーザ端末2の夫々は、インターネット等の所定のネットワークNを介して相互に接続されている。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
出力部17は、液晶等のディスプレイやスピーカ等により構成され、各種情報を画像や音声として出力する。
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置(例えば図5のユーザ端末2等)との間で通信を行う。
また、リムーバブルメディア30は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
以下、サーバ1において処理の実行が制御される、編集受付処理を実行するための機能構成について説明する。
また、サーバ1の記憶部18の一領域には、AVデータDB181が設けられている。AVデータDB181には、ユーザ端末2で作成又は取得された1以上のAVデータDが記憶されて管理されている。
また、編集部102は、後述する対象決定部104により編集対象として決定された区分テキストデータt1乃至tnに基づいて、処理対象のAVデータDを編集する。
具体的には、テキスト生成部103は、取得部101により取得された処理対象のAVデータDに含まれる音声のデータを認識して、その音声のデータの内容を示すテキストデータTを生成する。例えば上述の図1乃至図4の例では、テキスト生成部103は、「はいどうも タケノコです 今日はですねこの usbcハブを 紹介させていただこうと 思います これがですね 見てください hdmiの ケーブルも ガッツリささですね 僕も 何度か 使用しているんですけどね これがね 接続不良が 全然 起きないんですよ」という内容のテキストデータTを生成する。
なお、テキスト生成部103がテキストデータTを生成する際に用いられる手法は特に限定されない。例えば従来の文字起こしの手法を採用することもできるし、AI(人工知能)による自動認識の手法を採用することもできる。
ここで、対象決定部104による編集対象の決定は、自動的に行われてもよいし、ユーザUに選択させてもよい。編集対象が自動的に決定される場合の具体的手法は特に限定されないが、例えば所定のアルゴリズムや、AI(人工知能)による機械学習等の技術が用いられる。
具体的には例えば、表示制御部105は、編集部102による編集を支援するための所定のUIとして、図1乃至図4に示すUIをユーザ端末2に表示させる制御を実行する。
図8は、図7の機能的構成を有するサーバ1により実行が制御される編集受付処理の流れを示すフローチャートである。
所定のAVデータDが処理対象として選択された場合には、ステップS1において「YES」と判定されて、処理はステップS2に進む。
これに対して、処理対象となるAVデータDが選択されていない場合には、ステップS1において「NO」と判定されて、所定のAVデータDが処理対象として選択されるまで、ステップS1の処理の制御が繰り返し実行される。
ステップS3において、サーバ1のテキスト生成部103は、処理対象として選択されたAVデータDに含まれる音声のデータに基づいて、音声のデータの音声の内容を示すテキストデータTを生成する。
ステップS4において、サーバ1の対象決定部104は、ステップS3でテキスト生成部103により生成されたテキストデータTを、区分テキストデータt1乃至tnに区分する。
ステップS5において、サーバ1の対象決定部104は、ステップS4で区分した区分テキストデータt1乃至tnのうち、1以上の区分テキストデータtを編集対象として決定する。
ステップS6において、サーバ1の表示制御部105は、編集部102による編集を支援するためのUIとして、操作対象となる1以上の区分テキストデータtを含むUIをユーザ端末2に表示する制御を実行する。
これに対して、処理対象となるAVデータDの区分テキストデータが編集されていない場合には、ステップS7において「NO」と判定されて、処理対象となるAVデータDの区分テキストデータが編集されるまでステップS7の処理の制御が繰り返し実行される。
これにより、サーバ1により実行が制御される編集受付処理が終了する。
例えば、図7の例において、編集受付処理の実行に必要となる機能ブロックは、サーバ1側が備える構成となっているが、これは例示に過ぎない。例えば本サービスの利用者専用のアプリケーションプログラムをユーザ端末2にインストールさせることにより、これらの機能ブロックの少なくとも一部をユーザ端末2側が備える構成としてもよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
即ち、本発明が適用される情報処理装置(例えば図7のサーバ1)は、
音声のデータ(例えば音声のデータ)と画像のデータ(例えば画像のデータ)とを少なくとも含む処理対象のデータ(例えばAVデータD)のうち、前記音声のデータに基づいて、前記画像のデータを加工することで前記処理対象のデータを編集する編集手段(例えば図7の編集部102)を備える。
生成された前記テキストを所定単位の文字列に区分して、1以上の文字列を編集対象として決定する編集対象決定手段(例えば図6の対象決定部104)と、
をさらに備え、
前記編集手段は、編集対象として決定された前記1以上の文字列に基づいて、前記処理対象のデータを編集することができる。
編集対象として決定された前記1以上の文字列の夫々を示すオブジェクトを、前記編集用画面に選択可能に表示させる制御を実行することができる。
Claims (5)
- 音声のデータと画像のデータとを少なくとも含む処理対象のデータのうち、前記音声のデータに基づいて、前記画像のデータを加工することで前記処理対象のデータを編集する編集手段を備える情報処理装置。
- 前記処理対象のデータに含まれる前記音声のデータに基づいて、当該音声の内容を示すテキストのデータを生成するテキスト生成手段と、
生成された前記テキストを所定単位の文字列に区分して、1以上の文字列を編集対象として決定する編集対象決定手段と、
をさらに備え、
前記編集手段は、編集対象として決定された前記1以上の文字列に基づいて、前記処理対象のデータを編集する、
請求項1に記載の情報処理装置。 - 前記編集を支援するための所定の編集用画面を表示する制御を実行する表示制御手段をさらに備える、
請求項1又は2に記載の情報処理装置。 - 前記表示制御手段は、
編集対象として決定された前記1以上の文字列の夫々を示すオブジェクトを、前記編集用画面に選択可能に表示させる制御を実行する、
請求項3に記載の情報処理装置。 - 情報処理装置を制御するコンピュータに、
音声のデータと画像のデータとを少なくとも含む処理対象のデータのうち、前記音声のデータに基づいて、前記画像のデータを加工することで前記処理対象のデータを編集する編集ステップを含む制御処理を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019222880A JP6773349B1 (ja) | 2019-12-10 | 2019-12-10 | 情報処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019222880A JP6773349B1 (ja) | 2019-12-10 | 2019-12-10 | 情報処理装置及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020160057A Division JP2021093718A (ja) | 2020-09-24 | 2020-09-24 | 情報処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6773349B1 JP6773349B1 (ja) | 2020-10-21 |
JP2021093618A true JP2021093618A (ja) | 2021-06-17 |
Family
ID=72829288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019222880A Active JP6773349B1 (ja) | 2019-12-10 | 2019-12-10 | 情報処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6773349B1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002374494A (ja) * | 2001-06-14 | 2002-12-26 | Fuji Electric Co Ltd | ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 |
JP2007027990A (ja) * | 2005-07-13 | 2007-02-01 | Canon Inc | 動画データから字幕を作成する装置及び方法、プログラム、並びに記憶媒体 |
JP2017090716A (ja) * | 2015-11-11 | 2017-05-25 | 株式会社フュートレック | 書き起こしテキスト作成支援システム、書き起こしテキスト作成支援方法及び書き起こしテキスト作成支援プログラム |
JP2018092365A (ja) * | 2016-12-02 | 2018-06-14 | 株式会社アドバンスト・メディア | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
WO2019230225A1 (ja) * | 2018-05-29 | 2019-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
-
2019
- 2019-12-10 JP JP2019222880A patent/JP6773349B1/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002374494A (ja) * | 2001-06-14 | 2002-12-26 | Fuji Electric Co Ltd | ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 |
JP2007027990A (ja) * | 2005-07-13 | 2007-02-01 | Canon Inc | 動画データから字幕を作成する装置及び方法、プログラム、並びに記憶媒体 |
JP2017090716A (ja) * | 2015-11-11 | 2017-05-25 | 株式会社フュートレック | 書き起こしテキスト作成支援システム、書き起こしテキスト作成支援方法及び書き起こしテキスト作成支援プログラム |
JP2018092365A (ja) * | 2016-12-02 | 2018-06-14 | 株式会社アドバンスト・メディア | 情報処理システム、情報処理装置、情報処理方法及びプログラム |
WO2019230225A1 (ja) * | 2018-05-29 | 2019-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6773349B1 (ja) | 2020-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107770626B (zh) | 视频素材的处理方法、视频合成方法、装置及存储介质 | |
US10331766B2 (en) | Templating for content authoring and distribution | |
US10452920B2 (en) | Systems and methods for generating a summary storyboard from a plurality of image frames | |
US20180226101A1 (en) | Methods and systems for interactive multimedia creation | |
US20050069225A1 (en) | Binding interactive multichannel digital document system and authoring tool | |
US20060204214A1 (en) | Picture line audio augmentation | |
CN112584086A (zh) | 视频会议中的实时视频变换 | |
US9454838B2 (en) | Multi-character authoring interface for large scale animations | |
US20160267700A1 (en) | Generating Motion Data Stories | |
US20180143741A1 (en) | Intelligent graphical feature generation for user content | |
CN113261058B (zh) | 使用节拍匹配检测的自动视频编辑 | |
JP2008136213A (ja) | 動画のフレーム情報を生成する方法、それを利用したシステム及び記録媒体 | |
CN113542624A (zh) | 生成商品对象讲解视频的方法及装置 | |
US10719545B2 (en) | Methods and systems for facilitating storytelling using visual media | |
KR101831802B1 (ko) | 적어도 하나의 시퀀스에 대한 가상현실 컨텐츠 제작방법 및 장치 | |
US10943371B1 (en) | Customizing soundtracks and hairstyles in modifiable videos of multimedia messaging application | |
KR101720635B1 (ko) | 웹 기반의 3d 영상 컨텐츠 제작 방법 및 이를 운영하는 서버 | |
US10269388B2 (en) | Clip-specific asset configuration | |
JP2023506364A (ja) | メッセージングプラットフォーム上のオーディオメッセージングインターフェース | |
WO2014126497A1 (ru) | Автоматическая съемка и монтаж видеоролика | |
US9396574B2 (en) | Choreography of animated crowds | |
JP6773349B1 (ja) | 情報処理装置及びプログラム | |
JP2021093718A (ja) | 情報処理装置及びプログラム | |
US20240127704A1 (en) | Systems and methods for generating content through an interactive script and 3d virtual characters | |
CN114286179B (zh) | 视频编辑方法、设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200403 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200403 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6773349 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |