JP2018169949A - シーケンス生成装置およびその制御方法 - Google Patents

Abstract

【課題】多様で自然なシーケンスを効率的に生成可能とする。
【解決手段】対象物の状態遷移を示すシーケンスを生成するシーケンス生成装置は、生成するシーケンスにおける対象物の冒頭状態を入力する入力手段と、生成するシーケンスにおける対象物の結末状態を設定する設定手段と、冒頭状態に基づいて所定の予測モデルを用いて複数のシーケンスを生成する生成手段と、複数のシーケンスのうち、結末状態と整合する１以上のシーケンスを出力する出力手段と、を有する。
【選択図】図２

Description

本発明は、多様性のあるシーケンスを効率的に生成する技術に関するものである。

要素データの順序的な集合をシーケンスと呼ぶ。要素データとは、注目する人物や物体、事象などのある瞬間の状態を表すデータである。シーケンスには様々な種類が存在する。たとえば、行動は動作カテゴリや対象物の位置を示す座標などを要素データとするシーケンスであり、動画は画像を要素データとするシーケンスである。近年ではシーケンスを用いた認識手法がさまざま存在する。たとえば、動画のシーケンスを用いた人物の行動認識手法や、音声のシーケンスを用いた音声認識手法が存在する。これらのシーケンスを用いた認識手法は、技術の根幹として機械学習を用いる場合がある。ただし、機械学習では、学習や評価に用いるデータの多様性が重要であるため、機械学習のデータとしてシーケンスを用いる場合、多様なデータを収集する方法が課題となる。

シーケンスを収集するための方法としては、実際に発生した現象を観測し収集する方法、人工的にシーケンスを生成する方法、シーケンスをランダムに生成する方法などがある。また、特許文献１には、ソフトウェアのテストに関して、ソフトウェアの画面を要素データとする画面遷移のシーケンスを網羅的に生成する手法が開示されている。また、特許文献２には、アニメーションの生成に関して、キャラクターに与えられた意図（「目的地に向かう」など）に応じた行動のシーケンスを生成する手法が開示されている。

特開２００２−２５９１６１号公報 特開２００２−８３３１２号公報

しかしながら、上述したシーケンスの収集方法には様々な課題が存在する。たとえば、ビデオカメラなどを用いて撮影した動画に基づいて動画のシーケンスを収集する場合、撮影される動画は撮影時に発生する現象に依存するため、発生頻度の低い現象に関するシーケンスを収集するには効率的ではない。また、手動で行動のシーケンスを設定し人工的にシーケンスを生成する場合、多様なシーケンスを網羅するための作業コストが高くなる。更に、ランダムにシーケンスを生成する場合、現実には発生しえないような不自然なシーケンスが生成される場合がある。また、特許文献１や特許文献２の技術はこれらの複数の課題を解決するものでは無い。

本発明はこのような問題を鑑みてなされたものであり、多様で自然なシーケンスを効率的に生成可能とする技術を提供することを目的とする。

上述の問題点を解決するため、本発明に係るシーケンス生成装置は以下の構成を備える。すなわち、対象物の状態遷移を示すシーケンスを生成するシーケンス生成装置は、生成するシーケンスにおける前記対象物の冒頭状態を入力する入力手段と、生成するシーケンスにおける前記対象物の結末状態を設定する設定手段と、前記冒頭状態に基づいて所定の予測モデルを用いて複数のシーケンスを生成する生成手段と、前記複数のシーケンスのうち、前記結末状態と整合する１以上のシーケンスを出力する出力手段と、を有する。

本発明によれば、多様で自然なシーケンスを効率的に生成可能とする技術を提供することができる。

シーケンスの一例を示す図である。 第１実施形態に係るシーケンス生成システムの構成の一例を示す図である。 結末状態設定部のＧＵＩの一例を示す図である。 多様性設定部のＧＵＩの一例を示す図である。 シーケンス生成部の処理過程の一例を示す図である。 シーケンス生成システムの処理を示すフローチャートである。 複合シーケンスの一例を示す図である。 第２実施形態に係る複合シーケンス生成システムの構成の一例を示す図である。 複合シーケンス生成システムの処理を示すフローチャートである。 階層シーケンスの一例を示す図である。 第３実施形態に係る階層シーケンス生成システムの構成の一例を示す図である。 階層シーケンス生成システムの処理を示すフローチャートである。

以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係るシーケンス生成装置の第１実施形態として、対象物である単独人物の行動に関する状態遷移を示す単独行動シーケンスを生成するシステムを例に挙げて以下に説明する。

＜シーケンス＞
図１は、シーケンスの一例を示す図である。ここでは、単独行動シーケンスの要素データとして、歩行や転倒といった人物の「動作」および人物の位置を示す「座標」に注目した例を示している。これ以外にも、速度や向きなど、単独人物の行動に関わる任意の項目がシーケンスの要素データとして利用され得る。

単独行動シーケンスは、コンピュータグラフィックス（ＣＧ）動画を生成するためのキャラクターの行動を定義するために用いることが可能である。たとえば、ＣＧ動画生成ツールでは、キャラクターのモデルおよびアニメーションを設定することで、ＣＧ動画を生成することができる。単独行動シーケンスは、歩行や転倒などの動作カテゴリ、キャラクターの座標といったアニメーションの構成要件に対応するため、単独行動シーケンスを用いてアニメーションを設定することで、キャラクターが行動するＣＧ動画を生成することができる。また、このようなＣＧ動画は機械学習に基づく行動認識手法の学習や評価などに応用されている。

第１実施形態では、シーケンスが単独行動シーケンスである場合について説明し、単独行動シーケンスのことを単にシーケンスと呼ぶ。第１実施形態に係るシーケンス生成システムは、作業者による各種設定や、入力されたシーケンスに基づいて、多様で自然な１以上のシーケンスを生成する。

＜装置構成＞
図２は、第１実施形態に係るシーケンス生成システムの構成の一例を示す図である。シーケンス生成システムは、シーケンス生成装置１０、端末装置１００を有する。なお、これらの装置間は、ネットワークを介して接続されていてもよい。このネットワークには、たとえば固定電話回線網や携帯電話回線網、インターネットなどが適用できる。また、これらの装置はいずれかの装置に内包されるものであってもよい。

端末装置１００は、作業者が利用するコンピュータ装置であり、不図示の表示部ＤＳと操作検出部ＯＰとを備えている。端末装置１００としては、例えばパーソナルコンピュータ（ＰＣ）やタブレットＰＣ、スマートフォン、フィーチャーフォンなどが利用できる。

表示部ＤＳは、液晶パネルや有機ＥＬパネルなどの画像表示パネルを備えており、シーケンス生成装置１０から入力された情報を表示する。表示される内容は、たとえば、シーケンスの各種情報や、操作に用いるボタンやテキストフィールドなどのＧＵＩコンポーネントなどがある。

操作検出部ＯＰは、表示部ＤＳの画像表示パネルに配置されたタッチセンサを備えており、作業者の指やタッチペンの動きに基づく作業者の操作を検出するとともに、検出した操作を示す操作情報をシーケンス生成装置１０に出力する。なお、操作検出部ＯＰは、コントローラ、キーボード及びマウスなどの入力デバイスを備え、画像表示パネルの表示内容に対する作業者の操作を示す操作情報を取得してもよい。

シーケンス生成装置１０は、各種設定およびシーケンスを入力するためのユーザーインターフェース（ＵＩ）を提供し、ＵＩを介した各種入力に基づいて、多様で自然なシーケンスを生成する装置である。シーケンス生成装置１０は、シーケンス取得部１１、予測モデル学習部１２、シーケンス属性設定部１３、予測モデル適応部１４、結末状態設定部１５、多様性設定部１６、シーケンス生成部１７を備える。

シーケンス取得部１１は、シーケンスと後述するシーケンス属性とのペアを取得し、予測モデル学習部１２およびシーケンス生成部１７に出力する。ここで、シーケンス属性とは、ひとつのシーケンスの中で共通する１以上の項目で構成される静的な情報である。項目としては、屋内や路上などといった環境の種類、人物が移動可能な領域、注目する人物の年齢、性別などがある。シーケンス属性の各項目は、固定値、数値の範囲もしくは確率分布などにより指定され得る。シーケンスおよびシーケンス属性の取得方法は特定の方法に限定しない。たとえば、端末装置１００を用いて作業者が手動入力してもよいし、映像認識手法によって映像から自動抽出してもよい。

ここで、後述する予測モデルの学習に用いる所与のシーケンスを「学習シーケンス」、シーケンスを生成する際に用いる所与のシーケンスを「参照シーケンス」と呼ぶ。また、学習シーケンスと参照シーケンスは、それぞれ、ペアになるシーケンス属性を含むものとする。学習シーケンスは多様であることが望ましく、さまざまな条件のもとで広く取得する。たとえば、インターネットを介して得た不特定多数の映像などを学習シーケンスとして取得してもよい。一方で、参照シーケンスは、自然なシーケンスであることが望ましく、生成したいシーケンスと等しい、もしくは類似した条件のもとで取得する。たとえば、ある監視カメラの撮影環境に対応したシーケンスを生成したい場合、その監視カメラで実際に撮影された映像に基づいて、参照シーケンスを取得してもよい。

予測モデル学習部１２は、シーケンス取得部１１から入力された１以上の学習シーケンスを用いた学習に基づいて「予測モデル」を生成する。そして、生成した予測モデルを予測モデル適応部１６に出力する。

ここで、予測モデルとは、シーケンスが与えられたもとで、与えられたシーケンスに続くことが予測されるシーケンスに関する情報を定義したモデルである。予測されるシーケンスに関する情報としては、たとえば、予測されるシーケンスの集合もしくはシーケンスが発生する確率分布などを用いてよい。ここで、予測モデルに基づいて予測されるシーケンス（シーケンス生成部２７が生成するシーケンス）のことを、「予測シーケンス」と呼ぶ。予測シーケンスの要素データ数は固定値であってもよいし、任意に変化してもよい。また、予測シーケンスは単一の要素データで構成されていてもよい。

予測モデルの形式は、特定の形式に限定されない。たとえば、マルコフ決定モデルに代表されるような確率モデルであってもよいし、状態遷移テーブルに基づくものであってもよい。また、ディープラーニングなどを用いてもよい。たとえば、予測モデルとして要素データを観測値とする連続分布型隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）を用いることが出来る。その場合、シーケンスを入力すると、そのシーケンスが観測された後で要素データが観測される確率分布を生成することができる。たとえば、要素データが動作カテゴリと座標である場合、各動作カテゴリの確率および座標の確率分布を生成する。これは、要素データ数が１個の場合における、予測シーケンスの確率分布に相当する。

上述のように、予測モデルは、学習シーケンスを用いた学習に基づいて定義される。そのため、予測モデルを利用することにより、学習シーケンスに含まれないような、違和感のある不自然な予測シーケンスが生成されることを防ぐことができる。たとえば、進行方向を頻繁に変更しながら歩行する動作が学習シーケンスとして含まれない場合、予測シーケンスとして同様のシーケンスが生成される確率は低くなる。一方で、学習シーケンスに多数含まれるような行動については、予測シーケンスとして生成される確率は高くなる。

シーケンス属性設定部１３は、シーケンス生成システムが出力することになるシーケンスである「出力シーケンス」について、移動可能領域や年齢などのシーケンス属性を設定し、予測モデル適応部１４に出力する。ここで、シーケンス属性設定部１３が設定するシーケンス属性のことを、出力シーケンス属性と呼ぶ。

出力シーケンス属性の設定は、端末装置１００を介して作業者が直接入力することなどで行う。もしくは、あらかじめ定義された設定ファイルを読み込むことで、出力シーケンス属性を設定してもよい。それ以外の方法として、参照シーケンスを読み込み、各参照シーケンスのシーケンス属性から、共通する項目を抽出し、出力シーケンス属性として設定してもよい。また、出力シーケンス属性は、ＵＩを介して端末装置１００の表示部ＤＳに表示してもよい。

予測モデル適応部１４は、出力シーケンス属性に基づいて予測モデルを適応させ、適応後の予測モデルをシーケンス生成部１７に出力する。すなわち、学習シーケンスのシーケンス属性によっては、予測モデル学習部２２が生成する予測モデルは必ずしも出力シーケンス属性と適合しない。たとえば出力シーケンス属性として移動可能領域が設定されていた場合、壁内部など移動不可能な領域に移動することは通常ありえない。このような場合に対応するため、壁内部の座標は移動先から除去するように予測モデルを適応させるなど、出力シーケンス属性に矛盾するようなシーケンスが予測に含まれないように予測モデルを変化させることで、予測モデルを出力シーケンス属性に適応させる。ただし、適応処理するための具体的な方法は特定の方法に限定しない。たとえば、出力シーケンス属性とシーケンス属性が共通する学習シーケンスを抽出し、抽出された学習シーケンスのみを用いて予測モデルを学習してもよい。また、予測モデルが確率分布で定義される場合、出力シーケンス属性に矛盾する部分の確率を"０．０"に変化させてもよい。

結末状態設定部１５は、出力シーケンスの結末部分の候補の集合または条件である結末状態を設定し、シーケンス生成部１７に出力する。結末状態の設定項目は作業者が任意に設定してもよい。たとえば、結末における要素データもしくはシーケンスの集合であってもよいし、動作カテゴリの種類や座標の範囲であってもよい。また、複数の項目が同時に設定されていてもよい。結末状態設定部１４は、作業者が結末状態を設定し、設定された結末状態を可視化することが可能なＵＩを提供する。ＵＩは、コマンドＵＩ（ＣＵＩ）であってもよいし、グラフィカルＵＩ（ＧＵＩ）であってもよい。

図３は、結末状態設定部１５のＧＵＩの一例を示す図である。具体的には、結末状態として「動作カテゴリ」と「座標」を指定するためのＧＵＩを表している。特に、行動のシーケンスのシーケンス属性として、対象物である人物の周囲環境を規定する「移動可能領域」が設定されている場合の例を示している。ここで、領域１２０１は、出力シーケンス属性として設定された移動可能領域を示すマップが表示される領域である。ここでは、白い領域が移動可能な領域、黒い領域が壁などの移動不可能な領域を表している。

領域１２０２は、結末状態の動作カテゴリを示すアイコンの所与のリストが配置される領域である。ユーザが、所望のアイコンをクリックもしくはタップすることで、結末状態における動作カテゴリを選択できる。

アイコン１２０３は選択された動作カテゴリのアイコンで、太枠などで協調表示される。アイコン１２０４は、選択したアイコン１２０３を、移動可能領域マップ上に配置した結果を示している。例えば、マウスを用いたドラッグアンドドロップ操作により配置され得る。アイコンの配置された座標は結末状態における座標に対応する。アイコンはマップ上の移動可能な領域にしか配置できないようになっている。すなわち、シーケンス属性と矛盾する結末状態の設定を抑止することが可能となっている。以上のＧＵＩを用いることで、結末状態の動作カテゴリおよび座標を設定することができる。なお、結末状態設定部１５のＵＩは図３の例に限定されるものではなく、任意のＵＩを用いることが可能である。

多様性設定部１６は、シーケンス生成システムが生成するシーケンスの多様性の程度（度合い）を制御する、多様性パラメータを設定するＵＩを提供し、設定された多様性パラメータをシーケンス生成部１７に出力する。多様性パラメータはさまざまな形式であってよい。たとえば、予測モデルの予測確率に対する閾値であってもよいし、座標など要素データの各項目の分散であってもよい。また、予測確率に基づく生成確率ランキング順位の閾値であってもよい。多様性設定部１６は、ＵＩを介して多様性パラメータの入力を作業者から受け付ける。多様性設定部１６のＵＩは、多様性パラメータの項目を表示および入力するものであってもよいし、抽象化された多様性の度合いを表示および入力し、多様性の度合いに基づいて多様性パラメータを調整するものであってもよい。

なお、シーケンス生成システムは多様で自然なシーケンスを生成可能であるが、どの程度の多様性が必要かは目的に応じて異なる。また、多様性と自然さはトレードオフの関係があり、多様性が増加すればするほど自然さを損なったシーケンスが混入しやすく、多様性が低下すればするほど自然なシーケンスのみを生成しやすい。このように、多様性の制御はシーケンスを自動生成する上で重要な課題であり、多様性パラメータを用いることで、目的に合ったシーケンスを生成しやすくなることが期待できる。

図４は、多様性設定部１６のＧＵＩの一例を示す図である。具体的には、要素データの項目である「座標の分散」と、予測モデルによって定義された動作カテゴリが変化する「確率の閾値」を多様性パラメータとして設定するためのＧＵＩを表している。

項目１３０１、１３０２は、それぞれ多様性の度合いを設定するためのパラメータ項目であり、項目１３０１は「座標の分散」、項目１３０２は予測シーケンスの「確率の閾値」の設定を受け付ける例を示している。ここでは、各項目の値をスライダー１３０３およびスライダー１３０４により受け付ける構成としている。これにより、作業者は各項目のスライダーを操作することで、多様性パラメータを設定することが可能である。なお、多様性設定部１６のＵＩは図４の例に限定されるものではなく、任意のＵＩを用いてよい。たとえば、多様性パラメータを変化させた結果をプレビューとして表示してもよい。

シーケンス生成部１７は、予測モデル、結末状態、多様性パラメータ、１以上の参照シーケンスに基づいて、当該参照シーケンスを冒頭状態とした出力シーケンスを生成する。そして、設定された結末状態と整合する出力シーケンスをシーケンス生成システム全体の処理結果として出力する。

図５は、シーケンス生成部１７の処理過程の一例を示す図である。シーケンス１１０１、１１０２は、参照シーケンスを示している。参照シーケンスが複数ある場合、シーケンス生成部１７は、いずれかもしくはすべての参照シーケンスを選択して用いる。選択された参照シーケンスは、予測モデルに基づく、予測シーケンスの情報、即ち、予測シーケンスの集合あるいは予測シーケンスが発生する確率分布などの生成に用いる。

結末状態１１０３は、出力シーケンスの結末状態の設定を示しており、アイコン１１０４〜１１０７は具体的な結末状態の例を示している。結末状態は「結末候補の集合」である場合と「結末の条件」である場合がある。結末状態が結末候補の集合である場合、結末状態は、予測シーケンスから結末状態と整合しないものを除去するために用いられる。結末状態が結末の条件である場合、結末状態は、予測モデルを修正するために用いられる。たとえば、結末状態と矛盾する予測シーケンスが発生する確率分布を"０．０"に変化させるなどの方法で予測モデルを修正する。

さらに、シーケンス生成部１７は、多様性パラメータに基づいて、多様性パラメータが示す条件に整合する予測シーケンスのみを出力シーケンスとして生成する。たとえば、多様性パラメータとして「座標の分散」が設定されている場合、設定された座標の分散を上回る予測シーケンスは予測シーケンスの集合から除去する。また、多様性パラメータとして「確率の閾値」が設定されている場合、予測シーケンスの確率分布のうち、閾値を下回る部分は生成対象から除外する。これにより、各種の条件に整合する予測シーケンスが発生する確率分布が得られた場合、確率分布に基づいて予測シーケンスを生成する。

以上により、最終的に生成された予測シーケンスと、選択された参照シーケンスを結合することで「出力シーケンス」を生成する。シーケンス１１０８、１１０９は、生成された出力シーケンスの一例である。ただし、参照シーケンスに対応する予測シーケンスが存在しなかった場合、当該参照シーケンスは選択対象から除外する。また、参照シーケンスの選択方法は特定の方法に限定しない。たとえば、ランダムに選択してもよいし、選択された参照シーケンス間の類似度を生成し、類似度が低くなる参照シーケンスを選択してもよい。また、選択されない参照シーケンスが存在してもよい。また、予測シーケンスの候補を新たな参照シーケンスとして選択してもよい。また、参照シーケンスを選択する際は、ある参照シーケンスの始点から終点までの、いずれかの部分を選択して用いてもよい。

＜装置の動作＞
図６は、シーケンス生成システムの処理を示すフローチャートである。シーケンス生成フローは、学習シーケンスの取得、予測モデルの学習、出力シーケンス属性の設定、予測モデルの適応、結末状態の設定、多様性パラメータの設定、参照シーケンスの取得、シーケンスの生成という流れで構成される。

ステップＳ１０１では、シーケンス取得部１１は、予測モデルの学習に用いる１以上のシーケンスおよびシーケンス属性のペアを、学習シーケンスとして取得する。ステップＳ１０２では、予測モデル学習部１２は、学習シーケンスに基づく学習予測モデルを生成する。

ステップＳ１０３では、シーケンス属性設定部１３は、出力シーケンス属性を設定する。ステップＳ１０４では、予測モデル適応部１４は、学習予測モデルを出力シーケンス属性に合わせて適応させた所定の予測モデルを生成する。

ステップＳ１０５では、結末状態設定部１５は、生成するシーケンスの結末状態を設定する。ステップＳ１０６では、多様性設定部１６は、生成するシーケンスの多様性パラメータを設定する。ステップＳ１０７では、シーケンス取得部１１は、参照シーケンスを取得する。

ステップＳ１０８では、シーケンス生成部１７は、適応処理後の予測モデル、結末状態、多様性パラメータ、１以上の参照シーケンスに基づいて、１以上の出力シーケンスを生成する。

以上説明したとおり第１実施形態によれば、結末状態、多様性パラメータ、出力シーケンス属性に基づいて、自動的に出力シーケンスを生成する。これにより、作業者は少ない作業量で所望のシーケンスを得ることが可能となる。さらに、参照シーケンスに基づいて出力シーケンスを生成することにより、より違和感の無い自然なシーケンスを生成することができる。さらに、予測シーケンスの情報（予測シーケンスの集合あるいは予測シーケンスが発生する確率分布など）に基づいて出力シーケンスを生成することにより、予測シーケンスに含まれる範囲で多様なシーケンスを生成することができる。

さらに、多様性パラメータおよび出力シーケンス属性を調整可能とすることにより、目的に応じた多様さを保持しつつ、自然さを損なわないような調整が可能となる。

（第２実施形態）
第２実施形態では、複合シーケンスを生成する形態について説明する。ここで、複合シーケンスとは、互いに相互作用するシーケンスの集合を示す。複合シーケンスを構成する各シーケンスのことを個別シーケンスと呼ぶ。個別シーケンスはそれぞれ任意の要素データ数であってもよく、各個別シーケンスには始点のタイミングを示すインデックスが付与される。

第２実施形態では、複数人物の行動を表す複合シーケンスを例に説明する。本実施形態では、複数の人物の行動に関する状態遷移を示す複合シーケンスを、複合行動シーケンスと呼ぶ。複合行動シーケンスを構成する個別シーケンスのそれぞれは、第１実施形態で説明した単独行動シーケンスに相当するものである。

図７は、複合シーケンスの一例を示す図である。ここでは、２人の人物についての複合行動シーケンスを示している。より詳細には、歩行者である人物Ａが泥酔者である人物Ｂに暴行される様子を、それぞれの人物に対する単独行動シーケンスとして示したものである。要素データは、歩行、蹴りなどの「動作」である。

複合行動シーケンスは、第１実施形態における単独行動シーケンスと同様に、ＣＧ動画を生成するために用いることが可能であり、特に複数の人物が相互作用する場合に利用できる。また、このようなＣＧ動画は機械学習に基づく行動認識手法の学習や評価などに応用可能である。また、複合行動シーケンスはスポーツの試合や災害時の避難行動など、集団の行動を分析するために用いることも可能である。

図８は、第２実施形態に係る複合シーケンス生成システムの構成の一例を示す図である。各構成要素は、第１実施形態で例示した構成と同様であるが、各構成の動作が一部異なる。図８に示すように、本実施形態における複合シーケンス生成システムは、複合シーケンス生成装置２０、端末装置１００ｂを有する。なお、これらの装置間は、ネットワークを介して接続されていてもよい。このネットワークには、たとえば固定電話回線網や携帯電話回線網、インターネットなどが適用できる。また、これらの装置はいずれかの装置に内包されるものであってもよい。

端末装置１００ｂは、第１実施形態で例示した端末装置１００と同様のコンピュータ装置である。端末装置１００ｂは、本実施形態における複合シーケンス生成システムについて、作業者が各種情報の入出力を行うために用いる。

複合シーケンス生成装置２０は、各種設定およびデータ入力のためのＵＩを提供し、ＵＩを介した各種入力に基づいて、多様で自然な複合シーケンスを生成する装置である。複合シーケンス生成装置２０は、シーケンス取得部２１、予測モデル学習部２２、シーケンス属性設定部２３、結末状態設定部２４、参照シーケンス取得部２５、予測モデル適応部２６、シーケンス生成部２７を備える。

シーケンス取得部２１は、学習シーケンスおよび参照シーケンスを取得する。ただし、第２実施形態における学習シーケンスと参照シーケンスは、どちらも複合シーケンスであるものとする。学習シーケンスおよび参照シーケンスの取得方法は、特定の方法に限定されない。たとえば、作業者が手動入力してもよいし、行動認識手法を用いて動画から自動抽出してもよい。また、スポーツの試合などの記録データを介して取得してもよい。

予測モデル学習部２２は、学習シーケンスに基づいて予測モデルを学習し、予測モデル適応部２４に出力する。本実施形態の予測モデルは、第１実施形態における予測モデルとは一部が異なり、複合シーケンスが与えられたもとで、個別シーケンスを予測する。これにより、個別シーケンス間の相互作用に基づく予測シーケンスの生成が可能となる。予測モデルを用いて予測シーケンスを生成する際は、複合シーケンス中の個別シーケンスを選択し、選択された個別シーケンスに続く予測シーケンスを生成する。

シーケンス属性設定部２３は、出力シーケンス属性を設定し、予測モデル適応部２４に出力する。本実施形態では、出力シーケンス属性は、個別シーケンスの個数を含んでもよい。また、出力シーケンス属性を各個別シーケンスに対して独立に設定してもよい。たとえば、サッカーの試合のシーケンスを出力する場合、各選手やボールの数を設定し、それぞれに対応する出力シーケンス属性を個別に設定してもよい。また、複数の個別シーケンスに共通する出力シーケンス属性は、共通する出力シーケンス属性として別途一括に設定してもよい。

予測モデル適応部２４は、予測モデルを出力シーケンス属性に適応させ、シーケンス生成部２７に出力する。ただし、出力シーケンス属性が複数設定されている場合には、それぞれの出力シーケンス属性に対して予測モデルの適応を独立に行い、異なる複数の予測モデルとして出力してもよい。

結末状態設定部２５は、結末状態を設定し、シーケンス生成部２７に出力する。本実施形態における結末状態は、たとえば、サッカーの試合のシーケンスの場合、「シュートが成功する」や「オフサイドが発生する」などが考えられる。また、結末状態部２５では、各個別シーケンスに対して独立に結末状態を設定してもよい。たとえば、ボールに対応する個別シーケンスは「座標がゴールの中にある」などとしてもよい。

多様性設定部２６は、複合シーケンス生成システムが生成するシーケンスの多様性を制御する、多様性パラメータを設定するＵＩを提供し、設定された多様性パラメータをシーケンス生成部２７に出力する。本実施形態における多様性パラメータは、各個別シーケンスに対して独立に設定されていてもよいし、共通して設定されていてもよい。

シーケンス生成部２７は、予測モデル、結末状態、多様性パラメータ、参照シーケンスに基づいて、複合シーケンスを生成し出力する。具体的には、シーケンス生成部２７では、参照シーケンス中の各個別シーケンスに対応する予測モデルをシーケンス属性に基づいて選択し、各個別シーケンスについて予測シーケンスを生成する。そして、共通する参照シーケンスから予測される１以上の個別シーケンスを生成し、さらに結末状態に整合する組み合わせの個別シーケンスによって複合シーケンスを構成／生成する。

図９は、複合シーケンス生成システムの処理を示すフローチャートである。本実施形態における複合シーケンス生成フローは、学習シーケンスの取得、予測モデルの学習、出力シーケンス属性の設定、予測モデルの適応、結末状態の設定、多様性パラメータの設定、参照シーケンスの取得、シーケンスの生成という流れで構成される。

ステップＳ２０１では、シーケンス取得部２１は、予測モデルの学習に用いる学習シーケンスを取得する。ステップＳ２０２では、予測モデル学習部２２は、学習シーケンスに基づく予測モデルを学習する。

ステップＳ２０３では、シーケンス属性設定部２３によって、出力シーケンス属性を設定する。ステップＳ２０４では、予測モデル適応部２４は、予測モデルを出力シーケンス属性に合わせて変化・適応させる。

ステップＳ２０５では、結末状態設定部２５は、出力シーケンスの結末状態を設定する。ステップＳ２０６では、多様性設定部２６は、出力シーケンスの多様性パラメータを設定する。ステップＳ２０７では、シーケンス取得部２１は、参照シーケンスを取得する。

ステップＳ２０８では、シーケンス生成部２７は、適応処理後の予測モデル、結末状態、多様性パラメータ、参照シーケンスに基づいて、出力シーケンスを生成する。

以上説明したとおり第２実施形態によれば、結末状態、多様性パラメータ、出力シーケンス属性に基づいて、自動的に複合シーケンスを生成する。これにより、作業者は少ない作業量で所望の複合シーケンスを得ることが可能となる。

さらに、複数対象物の相互作用を考慮して予測モデルを学習し、複合シーケンスを生成する。これにより、作業者による対象物間の相互作用の詳細入力を必要とすることなく、対象物間の相互作用が考慮された複合シーケンスを生成することが可能となる。

（第３実施形態）
第３実施形態では、階層シーケンスを生成する形態について説明する。ここで、階層シーケンスとは、階層構造を持つ複数のシーケンスによって構成されるシーケンスを示す。第３実施形態では、階層シーケンスとして、複数の建物をまたがった人物の移動を表す場合を例に説明する。

図１０は、階層シーケンスの一例を示す図である。ここでは、人物の移動に関する状態遷移を示す階層シーケンスを示している。図１０は、建物、フロア、座標の３階層からなるシーケンスを示しており、具体的には、Ａ棟２階からＢ棟１３階までの移動を表す階層シーケンスである。

要素データは、建物、フロア、座標である。座標はそれぞれのフロアに対して規定され、フロアはそれぞれの建物に対して規定される。このように、階層シーケンスは、建物、フロア、座標など包含関係にある要素を構造的に表現することができる。

ここで、図１０における建物、フロア、座標のような、要素データを同じくする階層シーケンス中の位置を層と呼ぶ。また、ある層を包含する層を上層と呼び、ある層に包含される層を下層と呼ぶ。たとえば、「フロア」を基準とすると、「建物」は上層、「座標」は下層である。

図１１は、第３実施形態に係る階層シーケンス生成システムの構成の一例を示す図である。各構成要素は、第１実施形態で例示した構成と同一の部分を含むため、差異部分についてのみ説明する。図１１に示すように、本実施形態における階層シーケンス生成システムは、階層シーケンス生成装置３０、端末装置１００ｃを有する。なお、これらの装置間は、ネットワークを介して接続されていてもよい。このネットワークには、たとえば固定電話回線網や携帯電話回線網、インターネットなどが適用できる。また、これらの装置はいずれかの装置に内包されるものであってもよい。

端末装置１００ｃは、第１実施形態で例示した端末装置１００と同様のコンピュータ装置である。端末装置１００ｃは、本実施形態における階層シーケンス生成システムについて、作業者が各種情報の入出力を行うために用いる。

階層シーケンス生成装置３０は、各種設定およびデータ入力のためのＵＩを提供し、ＵＩを介した各種入力に基づいて、多様で自然な１以上の階層シーケンスを生成する装置である。階層シーケンス生成装置３０は、シーケンス取得部３１、予測モデル学習部３２、シーケンス属性設定部３３、結末状態設定部３４、参照シーケンス取得部３５、予測モデル適応部３６、シーケンス生成部３７を備える。

シーケンス取得部３１は、学習シーケンスおよび参照シーケンスを取得し、予測モデル学習部３２およびシーケンス生成部３７に出力する。ただし、シーケンス取得部３１における学習シーケンスと参照シーケンスは、どちらも階層シーケンスであるものとする。シーケンス取得部３１は、階層構造を認識する手法を用いて、シーケンスを階層シーケンスに変換してもよい。

予測モデル学習部３２は、学習シーケンスに基づいて、予測モデルを学習し、予測モデル適応部３４に出力する。ただし、本実施形態における予測モデルは、階層シーケンスの各層に対応してそれぞれ学習する。また、各層の予測モデルは、対応する層のシーケンスおよび、上層のシーケンスの要素データに基づいて、予測シーケンスを生成する。

たとえば、図１０で示すような、建物、フロア、座標に対応した階層シーケンスの場合、「建物」、「Ａ棟のフロア」、「Ａ棟１階の座標」といったように、上層の要素データに基づいて、各層について定義される。予測モデルは、上層の要素データごとに独立して定義してもよいし、上層の要素データに基づいて変化する単一の予測モデルとして定義してもよい。

シーケンス属性設定部３３は、作業者が出力シーケンス属性を設定するＵＩを提供し、設定された出力シーケンス属性を予測モデル適応部３４に出力する。出力シーケンス属性は、階層シーケンスの各層に対して独立に設定してもいいし、共通して設定してもいい。

予測モデル適応部３４は、出力シーケンス属性に基づいて予測モデルを変化・適応させ、シーケンス生成部３７に出力する。予測モデル適応部３４では、各層に対応した予測モデルに対してそれぞれ適応処理を行う。

結末状態設定部３５は、結末状態を設定し、シーケンス生成部３７に出力する。結末状態は各層について設定してもよいし、特定の層のみに設定してもよい。また、結末状態は、上層のシーケンスに基づいて自動的に設定されてもよい。たとえば、上層のシーケンスが「Ａ棟」から「Ｂ棟」に変化する場合、下層のフロアでは、建物間の移動が可能な「１階」であることが結末状態として設定される。結末状態を自動的に設定するための情報は、学習シーケンスから結末部分の要素データを抽出することで設定してもよいし、手動で設定してもよい。

多様性設定部３６は、階層シーケンス生成システムが生成する階層シーケンスの多様性を制御する、多様性パラメータを設定するＵＩを提供し、設定された多様性パラメータをシーケンス生成部３７に出力する。本実施形態における多様性パラメータは、各層が対応する要素データそれぞれに対して設定してもよいし、特定の層のみに対して設定してもよい。

シーケンス生成部３７は、予測モデル、結末状態、多様性パラメータ、参照シーケンスに基づいて、各階層のシーケンスを生成し、階層シーケンス生成システム全体の処理結果として出力する。シーケンス生成部３７では、上層のシーケンスから順番に生成し、上層のシーケンスに基づいて、下層のシーケンスを順番に生成することで、階層シーケンスを生成する。

図１２は、階層シーケンス生成システムの処理を示すフローチャートである。階層シーケンス生成フローは、学習シーケンスの取得、予測モデルの学習、出力シーケンス属性の設定、予測モデルの適応、結末状態の設定、多様性パラメータの設定、参照シーケンスの取得、シーケンスの生成という流れで構成される。

ステップＳ３０１では、シーケンス取得部３１は、予測モデルの学習に用いる学習シーケンスを取得する。ステップＳ３０２では、予測モデル学習部３２は、学習シーケンスに基づく予測モデルを各層について学習する。

ステップＳ３０３では、シーケンス属性設定部３３は、出力シーケンス属性を設定する。ステップＳ３０４では、予測モデル適応部３４は、各層の予測モデルを出力シーケンス属性に合わせて適応させる。

ステップＳ３０５では、結末状態設定部３５は、結末状態を設定する。ステップＳ３０６では、多様性設定部３６は、多様性パラメータを設定する。ステップＳ３０７では、シーケンス取得部３１は、参照シーケンスを取得する。

ステップＳ３０８では、シーケンス生成部３７は、適応処理後の予測モデル、結末状態、多様性パラメータ、参照シーケンスに基づいて、上層のシーケンスから順番に出力シーケンスを生成する。

以上説明したとおり第３実施形態によれば、結末状態、多様性パラメータ、出力シーケンス属性に基づいて、自動的に階層シーケンスを生成する。これにより、作業者は少ない作業量で所望の階層シーケンスを得ることが可能となる。

さらに、本実施形態における階層シーケンス生成システムは、上層のシーケンスから順番にシーケンスを生成し、上層のシーケンスに基づいて下層のシーケンスを生成する。これにより、予測シーケンスの生成範囲が層ごとに絞り込まれるため、効率的に階層シーケンスを生成することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ シーケンス生成装置； １１ シーケンス取得部； １２ 予測モデル学習部； １３ シーケンス属性設定部； １４ 予測モデル適応部； １５ 結末状態設定部； １６ 多様性設定部； １７ シーケンス生成部

Claims (12)

1. 対象物の状態遷移を示すシーケンスを生成するシーケンス生成装置であって、
   生成するシーケンスにおける前記対象物の冒頭状態を入力する入力手段と、
   生成するシーケンスにおける前記対象物の結末状態を設定する設定手段と、
   前記冒頭状態に基づいて所定の予測モデルを用いて複数のシーケンスを生成する生成手段と、
   前記複数のシーケンスのうち、前記結末状態と整合する１以上のシーケンスを出力する出力手段と、
   を有することを特徴とするシーケンス生成装置。
2. 前記入力手段は、ユーザから指定された所与の参照シーケンスを前記冒頭状態として入力する
   ことを特徴とする請求項１に記載のシーケンス生成装置。
3. 前記設定手段は、所与の複数の結末候補のうちユーザから選択された１以上の結末候補を前記結末状態として設定する
   ことを特徴とする請求項１又は２に記載のシーケンス生成装置。
4. 生成するシーケンスにわたって共通する属性を設定する属性設定手段を更に有し、
   前記所定の予測モデルは、学習シーケンスを学習して得られた学習予測モデルを前記共通する属性に適応させた予測モデルである
   ことを特徴とする請求項１乃至３の何れか１項に記載のシーケンス生成装置。
5. 前記共通する属性は、前記対象物の属性と該対象物の周囲環境の属性との少なくとも一方を含む
   ことを特徴とする請求項４に記載のシーケンス生成装置。
6. 前記入力手段は、前記共通する属性に整合しない冒頭状態の入力を抑止する
   ことを特徴とする請求項４又は５に記載のシーケンス生成装置。
7. 前記設定手段は、前記共通する属性に整合しない結末状態の設定を抑止する
   ことを特徴とする請求項４乃至６の何れか１項に記載のシーケンス生成装置。
8. 前記生成手段が生成するシーケンスの多様性の度合いを設定する多様性設定手段を更に有し、
   前記生成手段は、前記度合いに基づいて、生成するシーケンスの多様性を変化させる
   ことを特徴とする請求項１乃至７の何れか１項に記載のシーケンス生成装置。
9. 前記生成手段が生成するシーケンスは、互いに相互作用するシーケンスの集合である複合シーケンスである
   ことを特徴とする請求項１乃至８の何れか１項に記載のシーケンス生成装置。
10. 前記生成手段が生成するシーケンスは、階層構造を持つ複数のシーケンスによって構成される階層シーケンスである
    ことを特徴とする請求項１乃至８の何れか１項に記載のシーケンス生成装置。
11. 対象物の状態遷移を示すシーケンスを生成するシーケンス生成装置の制御方法であって、
    生成するシーケンスにおける前記対象物の冒頭状態を入力する入力工程と、
    生成するシーケンスにおける前記対象物の結末状態を設定する設定工程と、
    前記冒頭状態に基づいて所定の予測モデルを用いて複数のシーケンスを生成する生成工程と、
    前記複数のシーケンスのうち、前記結末状態と整合する１以上のシーケンスを出力する出力工程と、
    を含むことを特徴とする制御方法。
12. コンピュータを、請求項１乃至１０の何れか１項に記載のシーケンス生成装置の各手段として機能させるためのプログラム。

Images