JP2012253673A - Ｈｔｍｌ文書に基づく短編動画作品の自動制作 - Google Patents

Abstract

【課題】ホームページ（ＨＴＭＬ文書）の記述から電子看板用などの短編動画作品を自動的に制作する。
【解決手段】ＨＴＭＬ文書の処理対象部分から、ブラウザにより可視化されるひとまとまりの文字列を１つの部品文字列として、複数の部品の順列を生成する。各部品に含まれている単語を解析するとともに、単語の意味内容に基づいて設定されている複数の意味類型と対照し、各部品を少なくとも１つの意味類型に分類する。複数の部品を前記順列に従って１部品ずつ順番に処理することにより、各部品に基づく文字列由来短編動画を生成してそれらを順番につなげた短編動画作品を表示出力する。１つの部品に基づく文字列由来短編動画は、当該部品が分類された意味類型に基づいて、背景データベースから１つの背景動画データを抽出するとともに、動態テーブルから１つの動態規則を抽出し、背景動画データの動画の上に当該部品文字列を動態規則に従って動画的に変化する文字列画像を重ねた動画である。
【選択図】図３

Description

この発明は、コンピューター情報処理システムによりＨＴＭＬ文書に基づいて短編動画作品を自動制作する技術に関する。この発明の方法により自動制作する短編動画作品は、電子看板（デジタルサイネージ）により表示したり、インターネットを通じてパソコン・タブレット端末・携帯電話機などに転送して表示させるコンテンツとして活用される。

飲食店・小売店・理美容室・パチンコ店などの経営者は、インターネット上に自店のホームページを掲載し、お店の細かなサービス情報を顧客に向けて発信し、集客に努めている。また店頭に電子看板（デジタルサイネージ）を設置し、行き交う人々に自店の存在をアピールして集客に努めている。

お店の宣伝にホームページを活用することはかなり以前から大いに普及しているため、ホームページ制作や活用に関する豊富な知識をもった人が多く存在し、お店の人は自分でホームページを制作できなくても、専門家に依頼して好みのホームページを比較的安価に制作してもらえる環境が整っている。

ところが電子看板の有効活用に関しては、上記のような望ましい環境が整っているとはいえない。そのため店頭の電子看板で「営業中」といった単純な電飾表示を繰り返すような利用形態が散見される。表現力の豊かな動画を表示できる高性能な電子看板を導入しても、その性能を活かし、周囲の人々の関心を惹きつける多彩な動画をつぎつぎと表示するような運用は簡単ではない。そのため小規模な商店の電子看板は、数種類の画像情報を長期間繰り返し表示し続けるような単調な運用になりがちである。

この発明の目的は、ホームページ（ＨＴＭＬ文書）の記述から電子看板用などの短編動画作品を自動的に制作することにある。たとえば、ある飲食店においては、自店のホームページに豊富な情報を掲載しており、また「本日のおすすめ」といったような日々変化する情報もホームページに掲載する人的な管理システムが整っているとする。そうしたホームページのある記載部分を指定することで、その部分の記載内容を素材とする短編動画作品が自動的に制作され、その短編動画作品を当該飲食店の電子看板のコンテンツとして利用する。あるいは、その短編動画作品をメールに添付してお客さんに送付したりする。このような用途を考えてこの発明が創作されたものである。

この発明の核心とするところは、つぎの事項（１）〜（８）により特定される、ＨＴＭＬ文書に基づく短編動画作品の自動制作の方法発明である。
（１）背景データベースおよび動態テーブルを備えたコンピューター情報処理システムによりＨＴＭＬ文書に基づいて短編動画作品を自動制作する方法であること
（２）第１過程では、ＨＴＭＬ文書の処理対象部分から、ブラウザにより可視化されるひとまとまりの文字列を１つの部品文字列として、複数の部品文字列の順列を生成すること
（３）第２過程では、生成した各部品文字列に含まれている単語を解析するとともに、単語の意味内容に基づいて設定されている複数の意味類型と対照し、各部品文字列を少なくとも１つの意味類型に分類すること
（４）背景データベースは、前記の複数の意味類型のひとつ１つに対して複数の背景動画データを対応づけして格納すること
（５）動態テーブルは、前記の複数の意味類型のひとつ１つに対して複数の動態規則を対応づけして記述すること
（６）動態規則は、部品文字列の文字列画像を生成して動画的に変化させる態様を規定する時系列の規則であること
（７）第３過程では、前記の複数の部品文字列を前記順列に従って１部品ずつ順番に処理することにより、各部品文字列に基づく文字列由来短編動画を生成してそれらを順番につなげた短編動画作品を表示出力すること
（８）１つの部品文字列Ａに基づく文字列由来短編動画は、当該部品文字列Ａが分類された意味類型Ｂに基づいて、背景データベースから１つの背景動画データＣを抽出するとともに、動態テーブルから１つの動態規則Ｄを抽出し、背景動画データＣの動画の上に当該部品文字列を動態規則Ｄに従って生成した文字列画像を重ねた動画であること

より望ましい発明としては、上記の基本となる発明特定事項（１）〜（８）に加えて、第１過程では、前記ＨＴＭＬ文書の前記処理対象部分に存在する静止画を部品静止画として抽出し、前記部品文字列の順列中に加入し、第３過程では、各部品文字列に基づく文字列由来短編動画のつながり中に、前記部品静止画に基づく静止画枠をその表示位置や大きさや姿勢を動画的に変化させつつ表示する静止画由来短編動画を加入して短編動画作品として表示出力することとする。

ブラウザにより表示されたＨＴＭＬ文書の一例 同上ＨＴＭＬ文書のソース記述 同上ＨＴＭＬ文書から抽出された５個の部品文字列と１個の部品静止画 同上部品文字列Ａから自動制作された文字列由来短編動画のコマ送り解説 同上部品静止画Ｄから自動制作された静止画由来短編動画のコマ送り解説 意味類型の解説 動態規則の解説

＝＝＝素材となるＨＴＭＬ文書＝＝＝
図１に示すのは、インターネットに掲載されている、ある居酒屋のホームページ中の１ページであり、図２に示すのは当該ページの元になっているＨＴＭＬ記述である。このページでは、いくつかのお勧めメニューを紹介している。このページの中央には、泡立つ２個のビールジョッキをデザインした静止画が配置され、その上下に文字列が配置されている。図１と図２の対応関係は当業者にとって自明であるので逐一説明しない。

＝＝＝部品の抽出＝＝＝
この発明の方法を実行するコンピューター情報システムは、処理対象として図２に示したＨＴＭＬ記述をメモリに読み込み、この記述から部品文字列や部品静止画を抽出する。この実施例における部品抽出のアルゴリズムはつぎのとおりである。

（ア）ＨＴＭＬ記述を先頭から末尾方向に調べ、イメージタグが現れたら、そのイメージを部品静止画として抽出する。
（イ）ＨＴＭＬ記述を先頭から末尾方向に調べ、タグ以外のテキスト（文字や記号）が現れたら、それを文字列の始点と認識する。
（ウ）文字列の始点を認識したならば、ＨＴＭＬ記述を先頭から末尾方向に調べ、改行タグが２個以上続いて現れたら、改行直前が前記文字列の終点であると認識し、始点から終点までの文字列をひとまとまりの部品文字列として抽出する。
（エ）ＨＴＭＬ記述を先頭から末尾方向に調べ、抽出した部品に抽出した順番を対応づけした順列とする。

図２に示したＨＴＭＬ記述を上記のアルゴリズムで処理すると、図３に示す５個の部品文字列Ａ、Ｂ、Ｃ、Ｅ、Ｆと１個の部品静止画Ｄの合計６個の部品がＡ〜Ｆの順列で抽出される。なお上記のアルゴリズムは単純化した一例にすぎない。文字列については、構文解析処理を行って複数の部品に区分したり、文章の意味解釈の処理を行って複数の部品に区分するなど、コンピューターによる周知のテキスト処理技術を利用した他の方法・要素を採り入れて部品抽出処理を行うこともできる。

＝＝＝部品文字列の分類＝＝＝
この発明の方法を実行するコンピューター情報処理システムは、抽出した部品文字列ごとに、各部品文字列に含まれている単語を解析するとともに、単語の意味内容に基づいて設定されている複数の意味類型と対照し、各部品文字列を少なくとも１つの意味類型に分類する。分類のアルゴリズムとしては、周知のテキストマイニングの各種の手法を活用することができる。

この発明の方法はなんらかの特定の分類アルゴリズムを採用しなければならないものではないので、ごく単純化した実施例を説明する。図６に示すのは単純化した意味類型の解説表である。図６の例では、類型１（テーマ名「さっぱり」）から類型５（テーマ名「セットメニュー」）までの５個の類型が用意されている。

（カ）部品文字列に、「さっぱり」または「あっさり」という単語が含まれていて、「こってり」という単語が含まれていない場合、当該部品文字列は類型１に分類される。
（キ）部品文字列に、「こってり」「油」のいずれかが含まれていて、「さっぱり」および「あっさり」という単語が含まれていない場合、当該部品文字列は類型２に分類される。
（ク）部品文字列に、「オリジナル」「秘伝」「特製」のいずれかが含まれていると、当該部品文字列は類型３に分類される。
（ケ）部品文字列に、「ビール」「ジョッキ」のいずれかが含まれていて、「ワイン」が含まれていない場合、当該文字列は類型４に分類される。
（コ）部品文字列に、「ビール」および「枝豆」が含まれている場合、当該部品文字列は類型５に分類される。
（サ）部品文字列が類型１〜５のいずれにも分類されない場合、当該部品文字列はその他という類型６に分類される。

＝＝＝背景データベース＝＝＝
この発明の方法を実行するコンピューター情報処理システムは、複数の背景動画データを格納した背景データベースを備えている。１つの背景動画データは再生時間が５秒である。複数の背景動画データは、前記の６個の意味分類（類型１〜６）に関連づけされていおり、１個の類型に対してたとえば１０個の背景動画データが対応づけされている。

１個の背景動画データが複数の類型に対応づけされていてもよいので、必ずしも６０個の背景動画データを用意しなくてもよい。背景動画データは、たとえば、ＣＧアニメーションにより作成したサイケデリックな内容でもよいし、自然の景色の実写映像でもよい。図６に示した５個の類型１〜５の各テーマ名に相応しいと感じられた背景動画データが各類型に対応づけされている。なお、テーマ名とはこの実施例の創作途上での作業の便のためにつけたものにすぎない。

＝＝＝動態テーブル＝＝＝
この発明の方法を実行するコンピューター情報処理システムは、動態テーブルを備えている。動態テーブルは、前記の６個の意味類型１〜６のひとつ１つに対して複数種類の動態規則を対応づけして記述したものである。動態規則とは、部品文字列（部品静止画）として図３のように抽出した画像を、５秒間のアニメーション動画中に、どのように登場させてどのように変化させるのかを記述した、周知の作画編集用のスクリプト（簡易プログラム）のことである。

図７においては、１７種類の動態規則の概要を解説している。動態規則には０番〜１６番の規則番号を付けている。たとえば６番の動態規則は、部品文字列の画像が画面の上から落ちてきて画面の下辺にぶつかってバウンドする５秒間のアニメーションをつくり出す内容であることが解説してある。この規則には、部品文字列の画像を点滅させるかフラッシュさせることが不確定なバリエーション要素として含まれているとともに、画面中で傾けるバリエーション要素も含まれている。なお、図７のモーション名とはこの実施例の創作途上での作業の便のためにつけたものにすぎない。

実施例の動態テーブルは、具体的には、意味類型１〜６の各１つに対して１０個の異なる動態規則の番号を対応づけしたものである。１個の動態規則が複数の意味類型に対応づけされていてもかまわないので、６０個の異なる動態規則が必要なわけではない。

＝＝＝文字列由来短編動画の生成＝＝＝
全体のシーケンスは後述する。ここでは、図３に示した部品文字列Ａに基づいて５秒間の文字列由来動画の生成手順を説明する。この発明の方法を実行するコンピューター情報処理システムは、抽出した部品文字列Ａについて分類処理を行い、その他の類型６に分類する。つぎにシステムは、背景データベースから類型６に対応づけされた１０個の背景動画データ（５秒間）のうちの１個をランダムに抽出するとともに、動態テーブルを利用して類型６に対応づけされた１０個の動態規則のうちの１個をランダムに抽出する。

つぎにシステムは、抽出した５秒間の背景動画を再生しつつ、抽出した動態規則に従って生成した部品文字列Ａの画像を背景動画の上に重ねた５秒間の文字列由来短編動画を生成する。この文字列由来短編動画の概略を図４に８コマのコマ送りで表現している。同じようにして、部品文字列Ｂ、Ｃ、Ｅ、Ｆについてもそれぞれ５秒間の文字列由来短編動画が生成される。

＝＝＝静止画由来動画の生成＝＝＝
この発明の方法を実行するコンピューター情報処理システムは、部品静止画Ｄに基づいて５秒間の静止画由来短編動画を生成する。この動画においては、抽出した部品静止画Ｄの静止画枠を、画面中の表示位置や大きさや姿勢（傾き・回転など）を動画的に変化させつつ表示させる。背景はあってもよいし無くてもよい。背景を加える場合、静止画でも動画でもよい。

部品静止画Ｄの静止画枠の動画的変化は、前述した動態テーブルに登録されている各種の動態規則の中からランダムに１個の動態規則を抽出し、その規則に従ってつくり出すのが望ましい。また、背景動画を付加する場合、前述した背景データベースからランダムに抽出した背景動画データを採用すればよい。

また、図２のＨＴＭＬ記述の例では部品静止画Ｄに関するコメント文字列は記述されていないが、静止画にタグとしてコメント文字列を記述したＨＴＭＬ記述が多く見られる。このように静止画のコメント文字列がある場合、この実施例においては、システムはコメント文字列を抽出し、部品文字列の処理について説明したのと同様に、当該コメント文字列に含まれている単語を解析するとともに、単語の意味内容に基づいて設定されている複数の意味類型と対照し、当該コメント文字列を少なくとも１つの意味類型に分類する。そして、当該部品静止画に基づいて静止画由来短編動画を生成する際、前記コメント文字列が分類された意味類型に対応づけされた背景動画データおよび動態規則を背景データベースおよび動態テーブルから抽出することとしている。

図３に示した部品静止画Ｄに基づいて生成した５秒間の静止画由来短編動画の概略を、図５において８コマのコマ送りで表現している。なお、静止画由来短編動画を生成する際の背景動画データおよび動態規則の選択に関し、その元となる部品静止画自体の色や形などの特徴要素を分析し、その分析結果に基づいて選択する方法を採用してもよい。

＝＝＝全体のシーケンス＝＝＝
この発明の方法の具体的活用の場面では、たとえば、つぎのようにシーケンスが進行する。この発明の方法を実施するコンピューター情報処理システムに対し、まず最初に利用者は、処理対象となるＨＴＭＬ文書を特定して処理対象となる部分を指定し、処理実行を指示する。なお、ＨＴＭＬ文書の処理対象部分があらかじめ決まっているのであれば、対象部分の指定操作は不必要である。

処理実行の指示を受けたシステムは、すでに説明したように、図２に示すＨＴＭＬ記述から６個の部品Ａ〜Ｆを抽出し、１部品あたり５秒間の短編動画を部品順列に従って順番に生成してそれらを連続させ、合計３０秒間の短編動画作品とし、この作品を利用者が見るディスプレイに表示するとともに、データファイルとしてメモリに一時記憶する。

３０秒間の短編動画作品の表示を終了したならば、システムは、利用者に対して「この作品でよいか、作り直しをするか」を問う。利用者が作品を承認したならば、一時記憶してあるデータファイルにファイル名をつけて出力する。

利用者が作り直しを指示した場合、システムは、各部品に基づく短編動画（５秒間）の作成時に用いた背景動画データと動態規則の組み合わせを、別の異なる組み合わせになるように選択し直して、あらたな背景動画データと動態規則の組み合わせによりあらたな短編動画（５秒間）を生成し、それらをつなげた３０秒間の短編動画作品とし、利用者に見せてこれでよいかと問う。利用者は、こうしたことを何回か繰り返し、それまで見た複数作品の中から１つを選択してデータファイルを取得できるようにしてもよい。また、作り直しを１部品による５秒間の短編動画単位で指示できるようにしてもよい。

Claims (9)

1. 背景データベースおよび動態テーブルを備えたコンピューター情報処理システムによりＨＴＭＬ文書に基づいて短編動画作品を自動制作する方法であって、
   第１過程では、ＨＴＭＬ文書の処理対象部分から、ブラウザにより可視化されるひとまとまりの文字列を１つの部品文字列として、複数の部品文字列の順列を生成し、
   第２過程では、生成した各部品文字列に含まれている単語を解析するとともに、単語の意味内容に基づいて設定されている複数の意味類型と対照し、各部品文字列を少なくとも１つの意味類型に分類し、
   背景データベースは、前記の複数の意味類型のひとつ１つに対して複数の背景動画データを対応づけして格納し、
   動態テーブルは、前記の複数の意味類型のひとつ１つに対して複数の動態規則を対応づけして記述し、
   動態規則は、部品文字列の文字列画像を生成して動画的に変化させる態様を規定する時系列の規則であり、
   第３過程では、前記の複数の部品文字列を前記順列に従って１部品ずつ順番に処理することにより、各部品文字列に基づく文字列由来短編動画を生成してそれらを順番につなげた短編動画作品を表示出力し、
   １つの部品文字列Ａに基づく文字列由来短編動画は、当該部品文字列Ａが分類された意味類型Ｂに基づいて、背景データベースから１つの背景動画データＣを抽出するとともに、動態テーブルから１つの動態規則Ｄを抽出し、背景動画データＣの動画の上に当該部品文字列を動態規則Ｄに従って生成した文字列画像を重ねた動画である
   方法。
2. 第１過程では、前記ＨＴＭＬ文書の前記処理対象部分に存在する静止画を部品静止画として抽出し、前記部品文字列の順列中に加入し、
   第３過程では、各部品文字列に基づく文字列由来短編動画のつながり中に、前記部品静止画に基づく静止画枠をその表示位置や大きさや姿勢を動画的に変化させつつ表示する静止画由来短編動画を加入して短編動画作品として表示出力する
   請求項１に記載の方法。
3. 前記静止画由来短編動画は、前記部品静止画Ｌに基づく静止画枠を、背景データベースから抽出した背景動画データＭの動画の上に、前記動態テーブルから抽出した動態規則Ｎに従って動画的に変化させつつ重ねた動画である
   請求項２に記載の方法。
4. 前記ＨＴＭＬ文書において部品静止画に対応づけされているコメント文字列を抽出し、当該コメント文字列に含まれている単語を解析するとともに、単語の意味内容に基づいて設定されている複数の意味類型と対照し、当該コメント文字列を少なくとも１つの意味類型に分類し、
   当該部品静止画に基づいて静止画由来短編動画を生成する際、前記コメント文字列が分類された意味類型に対応づけされた背景動画データおよび動態規則を背景データベースおよび動態テーブルから抽出する
   請求項３に記載の方法。
5. 第３過程で短編動画作品を表示した後、作り直し指示の利用者入力を受け付けた場合、第３過程をやり直し、１つの部品文字列Ａに基づく文字列由来短編動画の生成に際し、当該部品文字列Ａが分類された意味類型Ｂに基づいて、背景データベースおよび動態テーブルから前記の背景動画データＣと動態規則Ｄの組み合わせとは異なる背景動画データと動態規則の組み合わせを抽出し、あらたに抽出した背景動画データと動態規則の組み合わせに基づいて生成された短編動画作品をあらたに表示出力する
   請求項１〜４のいずれかに記載の方法。
6. 第３過程で短編動画作品を表示した後、作り直し指示の利用者入力を受け付けた場合、第３過程をやり直し、１つの部品静止画Ｌに基づく静止画由来短編動画の生成に際し、背景データベースおよび動態テーブルから、前記の背景動画データＭと動態規則Ｎの組み合わせとは異なる背景動画データと動態規則の組み合わせを抽出し、あらたに抽出した背景動画データと動態規則の組み合わせに基づいて生成された短編動画作品をあらたに表示出力する
   請求項４に記載の方法。
7. 第３過程で短編動画作品を表示した後、作品承認の利用者入力を受け付けた場合、当該短編動画作品のデータファイルを出力する
   請求項１〜６のいずれかに記載の方法。
8. 請求項１〜７のいずれかに記載の方法の情報処理を実行するコンピューター情報処理システム。
9. 請求項１〜７のいずれかに記載の方法の情報処理をコンピューター情報処理システムに行わせるプログラム。