JP2020014132A - 情報処理方法および情報処理装置 - Google Patents

Abstract

【課題】各種の事象の時間的な変化と音響データを含む収録データとの時間的な関係を解析可能とする。【解決手段】情報処理装置１０は、表示装置１３が表示する画像の時系列を表す画像系列データＱを記憶装置１２に記録する画像記録部５２と、表示装置１３による画像の表示に並行して収音装置１４が収音する音響を表す音響データＡ1を、画像系列データＱに対応付けて記憶装置１２に記録する音響記録部５３とを具備する。【選択図】図４

Description

本発明は、情報処理方法および情報処理装置に関する。

例えば特許文献１には、複数の映像音声符号化データの相互間において音声レベル情報のパターンを比較することで、複数の映像音声符号化データを時間的に同期させる構成が開示されている。

特開２００９−０１０５４８号公報

しかし、特許文献１の技術では、同期対象となる全部の映像音声符号化データが音声情報を含む必要がある。すなわち、音声情報を含まない時系列データについては、他の映像音声符号化データに同期させることができない。以上の事情を考慮して、本発明は、各種の事象の時間的な変化と音響データを含む収録データとの時間的な関係を解析可能とすることを目的とする。

以上の課題を解決するために、本発明の好適な態様に係る情報処理方法は、表示装置が表示する画像の時系列を表す画像系列データを記憶装置に記録し、前記表示装置による前記画像の表示に並行して収音装置が収音する音響を表す第１音響データを、前記画像系列データに対応付けて前記記憶装置に記録する。

本発明の好適な態様に係る情報処理装置は、表示装置が表示する画像の時系列を表す画像系列データを記憶装置に記録する画像記録部と、前記表示装置による前記画像の表示に並行して収音装置が収音する音響を表す第１音響データを、前記画像系列データに対応付けて前記記憶装置に記録する音響記録部とを具備する。

本発明の実施形態に係る情報処理装置の構成を例示するブロック図である。 収録データと画像系列データとの関係を例示する模式図である。 情報処理装置の機能的な構成を例示するブロック図である。 測定値を表す画像の模式図である。 合成データにより表示される画像の模式図である。 情報処理装置の動作の具体的な手順を例示するフローチャートである。

＜実施形態＞
図１は、本発明の好適な形態に係る収録システム１００の構成を例示するブロック図である。図１に例示された収録システム１００は、特定の空間（以下「収録空間」という）内で運動する運動者の様子を収録するとともに当該運動者の運動に関する情報の時系列を記録するためのコンピュータシステムである。図１に例示される通り、収録システム１００は、情報処理装置１０と収録装置２０と測定装置３０とを具備する。収録装置２０および測定装置３０の各々は、情報処理装置１０との間で有線または無線により通信可能である。収録装置２０および測定装置３０の各々と情報処理装置１０との間の通信の方式は任意であるが、例えばBluetooth（登録商標）またはWi-Fi（登録商標）等の近距離無線通信が好適である。

収録装置２０は、映像および音響を収録する映像機器である。本実施形態の収録装置２０は、映像データＶと音響データＡ2（第２音響データの例示）とを含む収録データＲを生成する。映像および音響の収録に専用されるデジタルカムコーダ等の映像機器のほか、撮像機能および収音機能を搭載した携帯電話機またはスマートフォン等の情報端末が、収録装置２０として利用される。収録装置２０が生成した収録データＲは情報処理装置１０に送信される。

本実施形態の収録装置２０は、撮像装置２１と収音装置２２とを具備する。撮像装置２１は、収録空間内の運動者を撮像することで映像データＶを生成する。映像データＶは、運動者の動画を表すデータである。収音装置２２は、収録空間内の音響を収音することで音響データＡ2を生成する。音響データＡ2は、収録空間内の音響を表すデータである。例えば収録空間内で再生される音楽、収録空間内の発話者による発話音声、運動者（または他者）の動作音、収録空間内に設置された時計等の機器の動作音等、収録空間内に存在する任意の音響を表す音響データＡ2が収音装置２２により生成される。

測定装置３０は、運動者の運動に関する測定値Ｍを生成する。測定装置３０による測定値Ｍの生成は、所定の周期で反復される。例えば、運動者の身体の加速度を測定値Ｍとして生成する加速度センサ、または、運動者の運動により発生する荷重を測定値Ｍとして生成する荷重センサが、測定装置３０として好適に利用される。測定装置３０が生成した測定値Ｍは、測定装置３０による生成毎に情報処理装置１０に対して順次に送信される。すなわち、測定値Ｍの時系列が測定装置３０から情報処理装置１０に供給される。

収録装置２０による収録（収録データＲの生成）と測定装置３０による測定（測定値Ｍの生成）とは、相互に並行に実行される。収録装置２０による収録の開始と測定装置３０による測定の開始とは、利用者（例えば運動者または他の観測者）により個別に指示される。したがって、収録装置２０による収録の始点と測定装置３０による測定の始点とは、時間軸上で相互に近似するけれども完全には合致しない。

情報処理装置１０は、収音装置２２が生成する収録データＲと測定装置３０が生成する測定値Ｍの時系列とを処理するコンピュータシステムである。本実施形態の情報処理装置１０は、制御装置１１と記憶装置１２と表示装置１３と収音装置１４とを具備する。例えば携帯電話機，スマートフォン，タブレット端末またはパーソナルコンピュータ等の各種の情報端末が、情報処理装置１０として好適に利用される。なお、情報処理装置１０に測定装置３０を搭載してもよい。また、情報処理装置１０とは別個の表示装置１３または収音装置１４を、情報処理装置１０に有線または無線で接続してもよい。

制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、情報処理装置１０の各要素を統括的に制御する。表示装置１３は、例えば液晶表示パネルで構成され、制御装置１１による制御のもとで各種の画像を表示する。

記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶するメモリである。例えば収録装置２０から供給される収録データＲが記憶装置１２に記憶される。磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として利用される。なお、情報処理装置１０に対して着脱可能な可搬型の記憶回路、または情報処理装置１０が通信可能なサーバ（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。

収音装置１４は、収録空間内の音響を収音することで音響データＡ1を生成する。音響データＡ1（第１音響データの例示）は、収録空間内の音響を表すデータである。収音装置１４による収音（すなわち音響データＡ1の生成）と収録装置２０の収音装置２２による収音（すなわち音響データＡ2の生成）とは相互に並行して実行される。すなわち、収音装置２２が収音する期間と収音装置１４が収音する期間とは、時間軸上で部分的に重複する。したがって、図２に例示される通り、音響データＡ2が表す音響と音響データＡ1が表す音響とには、収録空間内に存在する共通の音響成分が含まれる。また、収音装置１４による収音は、測定装置３０による測定に並行して実行される。

図３は、情報処理装置１０の機能的な構成を例示するブロック図である。図３に例示される通り、本実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、収録データＲと測定値Ｍの時系列とを処理するための複数の機能（表示制御部５１，画像記録部５２，音響記録部５３、時間解析部５４および合成処理部５５）を実現する。なお、相互に別体で構成された複数の装置の集合（すなわちシステム）で制御装置１１の機能を実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。

表示制御部５１は、表示装置１３に画像を表示させる。本実施形態の表示制御部５１は、測定装置３０から順次に供給される測定値Ｍの時系列を表示装置１３に表示させる。例えば、図４に例示される通り、横方向の時間軸が設定された領域Ｘ内に測定値Ｍの時系列が折線グラフとして表示される。表示制御部５１は、測定装置３０による測定に並行して、測定装置３０からの測定値Ｍの供給毎に、表示装置１３が表示する画像（以下「表示画像」という）を順次に更新する。すなわち、収録装置２０による収録と測定装置３０による測定とに並行して、表示装置１３による表示画像は、時間の経過とともに刻々と変化する。

画像記録部５２は、表示装置１３による表示画像の時系列を表す画像系列データＱを記憶装置１２に記録する。画像記録部５２は、表示装置１３による表示画像を所定の周期で順次に取込み、取込み済の複数の表示画像（すなわちキャプチャ画像）の時系列を表す画像系列データＱを記憶装置１２に格納する。本実施形態の画像記録部５２は、表示装置１３による表示画像のうち領域Ｘ内の画像の時系列（すなわち測定値Ｍの時系列）を表す画像系列データＱを記録する。すなわち、表示装置１３の表示画像の一部の動画が画像系列データＱとして記録される。以上に説明した通り、画像系列データＱは、測定値Ｍの時系列を表す動画データに相当する。なお、画像系列データＱのファイル形式は任意である。

音響記録部５３は、収音装置１４が生成する音響データＡ1を記憶装置１２に記録する。前述の通り、収音装置１４による収音と測定装置３０による測定と表示装置１３による表示画像の表示とは並列に実行される。したがって、表示装置１３による画像の表示に並行して収音装置１４が収音する音響を表す音響データＡ1が記憶装置１２に格納される。音響記録部５３は、表示装置１３による表示画像（測定値Ｍ）の表示に並行して収音装置１４が生成する音響データＡ1を、当該表示画像の時系列を表す画像系列データＱに対応付けて記憶装置１２に記録する。画像記録部５２による画像系列データＱの記録と音響記録部５３による音響データＡ1の記録とは、例えば情報処理装置１０に対する利用者からの指示を契機として同時に開始される。

前述の通り、収録装置２０による収録の始点と測定装置３０による測定の始点とは時間軸上で相違する。したがって、図２に例示される通り、画像系列データＱが表す表示画像の時系列の始点と、収録データＲが表す音響および映像の始点とは、時間軸上において相違する。他方、収録装置２０の収音装置１４による音響データＡ1の生成と収音装置２２による音響データＡ2の生成とは相互に並行して実行される。したがって、画像系列データＱに対応付けられた音響データＡ1が表す音響と、収録データＲに含まれる音響データＡ2が表す音響とには、収録空間内に存在する共通の音響成分が含まれる。

そこで、時間解析部５４は、音響記録部５３が画像系列データＱに対応付けた音響データＡ1と、収録装置２０が収録した収録データＲに含まれる音響データＡ2とを対比することで、画像系列データＱと収録データＲとの時間的な関係を解析する。本実施形態の時間解析部５４は、画像系列データＱと収録データＲとの時間差Ｔを、両者間の時間的な関係として特定する。時間差Ｔは、図２に例示される通り、時間軸上で始点が共通するように音響データＡ1と音響データＡ2とを配置した場合に、音響データＡ1のうち特定の音響成分が発音される時点と音響データＡ2のうち当該音響成分が発音される時点との時間差（すなわち音響データＡ1と音響データＡ2との位相差）である。測定装置３０による測定が開始された時刻と収録装置２０による収録が開始された時刻との差異を時間差Ｔと換言してもよい。

具体的には、時間解析部５４は、音響データＡ1と音響データＡ2との間における波形の類似性を評価することで時間差Ｔを特定する。波形の類似性の指標としては相互相関が好適である。すなわち、時間解析部５４は、音響データＡ1と音響データＡ2との時間差τを変化させながら相互相関を順次に算定し、相互相関が最大となるとき（すなわち波形の類似性が最大であるとき）の時間差τを、音響データＡ1と音響データＡ2との時間差Ｔとして特定する。

図３の合成処理部５５は、画像系列データＱと収録データＲとを相互に同期させた状態で合成する。画像系列データＱと収録データＲとの間の同期とは、図２に例示される通り、画像系列データＱにおける特定の時刻と収録データＲにおける特定の時刻とが時間軸上で合致する状態を意味する。具体的には、本実施形態の合成処理部５５は、画像系列データＱおよび収録データＲの一方を他方に対して時間軸上で時間差Ｔだけ移動することで両者を同期させる。本実施形態の合成処理部５５は、相互に同期した画像系列データＱと収録データＲの映像データＶとを合成することで合成データＺを生成する。

表示制御部５１は、合成処理部５５が生成した合成データＺが表す画像を表示装置１３に表示させる。具体的には、表示制御部５１は、図５に例示される通り、画像系列データＱが表す画像系列の動画Ｇ1と映像データＶが表す動画Ｇ2とを並列に表示装置１３に表示させる。前述の通り、画像系列データＱが表す動画Ｇ1と映像データＶが表す動画Ｇ2とは相互に同期した状態で表示される。したがって、例えば映像データＶが表す運動者の動作の時間的な変化と、画像系列データＱが表す測定値Ｍの時間的な変化との関係（例えば運動者がどのような運動をしたときに測定値Ｍが変化するのか）を、情報処理装置１０の利用者は視覚的に確認できる。

図６は、制御装置１１が実行する処理の具体的な手順（情報処理方法）を例示するフローチャートである。例えば情報処理装置１０に対する利用者からの指示を契機として図６の処理が開始される。図６の処理は、測定装置３０から順次に供給される測定値Ｍを表示制御部５１が表示装置１３に表示させる動作に並行して実行される。

情報処理装置１０に対する利用者からの指示を契機として、画像記録部５２による画像系列データＱの記録と音響記録部５３による音響データＡ1の記録とが同時に開始される（Ｓa1）。画像記録部５２は、表示装置１３による表示画像の時系列を表す画像系列データＱを記憶装置１２に記録する（Ｓa2）。画像系列データＱの記録に並行して、音響記録部５３は、収音装置１４が生成する音響データＡ1を当該画像系列データＱに対応付けて記憶装置１２に記録する（Ｓa3）。画像系列データＱおよび音響データＡ1の記録は、情報処理装置１０に対する利用者からの指示を契機として終了される。

以上に説明した画像系列データＱおよび音響データＡ1の記録に並行して、収録装置２０による収録（収録データＲの生成）が実行される。画像系列データＱおよび音響データＡ1の記録が終了すると、制御装置１１は、収録装置２０から収録データＲを取得して記憶装置１２に格納する（Ｓa4）。

以上に説明した収録が終了すると、時間解析部５４は、画像系列データＱに対応付けられた音響データＡ1と収録データＲに含まれる音響データＡ2とを対比することで、画像系列データＱと収録データＲとの間の時間的な関係を解析する（Ｓa5）。具体的には、画像系列データＱと収録データＲとの時間差Ｔが特定される。合成処理部５５は、画像系列データＱと収録データＲの映像データＶとを、時間差Ｔに応じて相互に同期させた状態で合成することで合成データＺを生成する（Ｓa6）。表示制御部５１は、合成処理部５５が生成した合成データＺが表す動画Ｇ1および動画Ｇ2を表示装置１３に表示させる（Ｓa7）。

以上に説明した通り、本実施形態によれば、表示装置１３による画像の表示に並行して生成された音響データＡ1が、画像系列データＱに対応付けて記録される。したがって、画像系列データＱと、収音装置１４が収音する収録空間内で収録された収録データＲとの時間的な関係を、当該画像系列データＱに対応付けられた音響データＡ1と、収録データＲに含まれる音響データＡ2との対比により解析することが可能である。例えば、本実施形態の例示の通り、運動者による運動に関する測定値Ｍの時間的な変化と収録データＲが表す映像との時間的な関係を解析することが可能である。

また、表示装置１３による表示画像のうち特定の領域Ｘ内の画像の時系列を表す画像系列データＱが記録されるから、表示画像の全体を記録する場合と比較して記憶装置１２に必要な容量が削減されるという利点もある。

＜変形例＞
以上に例示した態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）前述の各形態では、運動者の運動に関する測定値Ｍの時系列を表示装置１３に表示し、当該表示画像の時系列を表す画像系列データＱを記録したが、画像系列データＱが表す表示画像の内容は以上の例示に限定されない。

例えば、運動者による運動に並行して、利用者（例えば運動の指導者）が当該運動に関する情報を順次に入力する場合を想定する。運動に関する情報は、例えば運動の指導のためのコメント、または備忘のためのメモである。表示制御部５１は、利用者が順次に入力する情報を表示装置１３に表示させる。画像記録部５２は、表示装置１３による表示画像の時系列（すなわち利用者が入力した情報の時間的な変化）を表す画像系列データＱを記憶装置１２に記録する（Ｓa1，Ｓa2）。音響記録部５３は、収録データＲの収録に並行して収音された音響データＡ1を当該画像系列データＱに対応付けて記録する（Ｓa1，Ｓa3）。時間解析部５４は、音響データＡ1と音響データＡ2とを対比することで、画像系列データＱと収録データＲとの時間的な関係を解析する（Ｓa4，Ｓa5）。合成処理部５５は、画像系列データＱと収録データＲとを相互に同期させた状態で合成する（Ｓa6）。以上の構成によれば、収録データＲが表す運動者の運動と利用者による情報の入力との時間的な関係を、情報処理装置１０の利用者が視覚的に確認できる。例えば、運動者がどのような運動をしたときに利用者がどのような情報を入力したのかを、利用者は確認することが可能である。

また、例えば、複数の話者が参加する会議等の場面において、複数の話者による対話の様子を収録装置２０により収録するとともに、話者毎の発話内容を音声認識により特定して順次に表示装置１３に表示させる場合を想定する。画像記録部５２は、表示装置１３による表示画像の時系列（すなわち複数の話者による発話内容の時間的な変化）を表す画像系列データＱを記憶装置１２に記録する（Ｓa1，Ｓa2）。音響記録部５３は、収録データＲの収録に並行して収音された音響データＡ1を当該画像系列データＱに対応付けて記録する（Ｓa1，Ｓa3）。時間解析部５４は、画像系列データＱと収録データＲとの時間的な関係を解析する（Ｓa4，Ｓa5）。合成処理部５５は、画像系列データＱと収録データＲとを相互に同期させた状態で合成する（Ｓa6）。以上の構成によれば、収録データＲが表す各話者の様子と発話内容との時間的な関係を、情報処理装置１０の利用者が視覚的に確認できる。例えば、各話者がどのような様子で発話したのかを、利用者は確認することが可能である。

以上の例示から理解される通り、本発明の好適な態様によれば、各種の事象（測定値Ｍ，利用者が入力した情報，または各話者の発話内容）の時間的な変化と、音響データＡ2を含む収録データＲとの時間的な関係を解析することが可能である。

（２）携帯電話機またはスマートフォン等の端末装置との間で通信するサーバ装置により情報処理装置１０の機能を実現してもよい。例えば、情報処理装置１０は、端末装置から受信した収録データＲおよび測定値Ｍから合成データＺを生成して端末装置に送信する。なお、時間解析部５４が解析した時間差Ｔを端末装置に送信してもよい。すなわち、合成処理部５５を情報処理装置１０から省略してもよい。

（３）前述の形態に係る情報処理装置１０の機能は、コンピュータ（例えば制御装置１１）とプログラムとの協働により実現される。前述の形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。

＜付記＞
以上に例示した形態から、例えば以下の構成が把握される。

本発明の好適な態様（第１態様）に係る情報処理方法は、表示装置が表示する画像の時系列を表す画像系列データを記憶装置に記録し、前記表示装置による前記画像の表示に並行して収音装置が収音する音響を表す第１音響データを、前記画像系列データに対応付けて前記記憶装置に記録する。以上の態様によれば、表示装置による画像の表示に並行して生成された第１音響データが、当該画像の時系列を表す画像系列データに対応付けて記録される。したがって、画像系列データと、収録装置が収音する空間内で収録された収録データとの時間的な関係を、当該画像系列データに対応付けられた第１音響データと、収録データに含まれる第２音響データとの対比により解析することが可能である。例えば、各種の事象の時間的な変化（例えば測定値の時間的な変化、または文字の入力等）を表示装置に表示させることで、当該事象の変化と収録データとの時間的な関係を解析することが可能である。

第１態様の好適例（第２態様）に係る情報処理方法は、前記画像系列データに対応付けた第１音響データと、収録装置が収録した収録データに含まれる第２音響データとを対比することで、前記画像系列データと前記収録データとの時間的な関係を解析する。以上の態様によれば、画像系列データと収録データとの時間的な関係を解析することが可能である。

第１態様または第２態様の好適例（第３態様）において、前記画像系列データは、前記表示装置による表示画像のうち特定の領域内の画像の時系列を表す。以上の態様によれば、表示画像のうち特定の領域内の画像の時系列を表す画像系列データが記憶装置に記録されるから、表示画像の全体を記録する場合と比較して記憶装置に必要な容量が削減されるという利点がある。

第１態様から第３態様の何れかの好適例（第４態様）において、前記画像系列データは、測定装置が生成した測定値を表す画像の時系列である。以上の態様によれば、測定値の時間的な変化と収録データとの時間的な関係を解析することが可能である。

以上に例示した各態様の情報処理方法を実行する情報処理装置、または、以上に例示した各態様の情報処理方法をコンピュータに実行させるプログラムとしても、本発明の好適な態様は実現される。

１００…収録システム、１０…情報処理装置、１１…制御装置、１２…記憶装置、１３…表示装置、１４…収音装置、２０…収録装置、２１…撮像装置、２２…収音装置、３０…測定装置、５１…表示制御部、５２…画像記録部、５３…音響記録部、５４…時間解析部、５５…合成処理部。

Claims (8)

1. 表示装置が表示する画像の時系列を表す画像系列データを記憶装置に記録し、
   前記表示装置による前記画像の表示に並行して収音装置が収音する音響を表す第１音響データを、前記画像系列データに対応付けて前記記憶装置に記録する
   を具備する情報処理方法。
2. 前記画像系列データに対応付けた第１音響データと、収録装置が収録した収録データに含まれる第２音響データとを対比することで、前記画像系列データと前記収録データとの時間的な関係を解析する
   を具備する請求項１の情報処理方法。
3. 前記画像系列データは、前記表示装置による表示画像のうち特定の領域内の画像の時系列を表す
   請求項１または請求項２の情報処理方法。
4. 前記画像系列データは、測定装置が生成した測定値を表す画像の時系列である
   請求項１から請求項３の何れかの情報処理方法。
5. 表示装置が表示する画像の時系列を表す画像系列データを記憶装置に記録する画像記録部と、
   前記表示装置による前記画像の表示に並行して収音装置が収音する音響を表す第１音響データを、前記画像系列データに対応付けて前記記憶装置に記録する音響記録部と
   を具備する情報処理装置。
6. 前記音響記録部が前記画像系列データに対応付けた第１音響データと、収録装置が収録した収録データに含まれる第２音響データとを対比することで、前記画像系列データと前記収録データとの時間的な関係を解析する時間解析部
   を具備する請求項５の情報処理装置。
7. 前記画像系列データは、前記表示装置による表示画像のうち特定の領域内の画像の時系列を表す
   請求項５または請求項６の情報処理装置。
8. 前記画像系列データは、測定装置が生成した測定値を表す画像の時系列である
   請求項５から請求項７の何れかの情報処理装置。
   

Images