JP6260979B1 - 事象評価支援システム、事象評価支援装置、及び事象評価支援プログラム - Google Patents

Abstract

【課題】画像及び音を含む映像データに基づき、将来起こり得る事象の評価における精度の向上が可能となる事象評価支援システム、事象評価支援装置、及び事象評価支援プログラムを提供する。【解決手段】画像及び音を含む映像データに基づき、将来起こり得る事象の評価を支援する事象評価支援システムであって、評価用映像データを取得する取得手段Ｓ１１０と、予め取得された過去の映像データ、前記過去の映像データの評価に用いられた参照データ、及び、前記過去の映像データと前記参照データとの間における３段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記評価用映像データと、前記参照データとの間の第１連関度を含む評価データを取得する評価手段Ｓ１２０と、前記評価データに基づき評価結果を生成し、前記評価結果を出力する出力手段Ｓ１３０と、を備えることを特徴とする。【選択図】図１

Description

本発明は、画像及び音を含む映像データに基づき、将来起こり得る事象の評価を支援する事象評価支援システム、事象評価支援装置、及び事象評価支援プログラムに関する。

従来、人同士の会話を記録分析し、その利用者の会話相手の受容度および利用者の会話の巧みさを分析するためのシステムとして、例えば特許文献１の会話分析システム等が開示されている。また、学習者等の感情を高精度かつ高信頼に推定することが可能なシステムとして、例えば特許文献２の感情推定システム等が開示されている。

特許文献１に開示された会話分析システムは、ウェアラブル端末であって、会話中で発声する重要な言葉抽出のための重要語データベースと、会話中のある特定の話題に対するインフルエンサー抽出のための話題語データベースと、会話の音声情報を収集するマイクロフォンと、会話相手の顔表情と頭部の動きを映像として収集するカメラと、音声情報から話題語および重要語を認識する音声評価部と、映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する映像評価部と、音声評価部及び映像評価部の認識結果から所定の重み付けをして会話に対する相手の受容度及び会話の巧みさを分析する会話分析部と、前記受容度及び会話の巧みさを利用者にフィードバックする表示部とを備える。

特許文献２に開示された感情推定システムは、顔画像データを取得可能なカメラと、カメラで撮影した被験者の顔画像データから平均変化率を算出する平均変化率算出手段と、複数の被験者の顔特徴点の平均変化率と感情との相関行列から感情推定に用いる複数の異なる感情対に対応する顔特徴点を抽出して絞り込みを行うと共に、他方、平均変化率の大小により２つに分けた各グループ内の平均値及び分散共分散行列を算出して構成した推定基準量データベースと、カメラによって得られた顔画像データに基づいて被感情推定者がいずれのグループに属するかを判定する判定手段と、判定手段の判定結果に基づいて推定基準量データベースのうち被感情推定者が属するグループのデータを用いて感情を推定する感情推定手段とを備えてなる。

特開２０１６−１０３０８１号公報 特開２０１１−３９９３４号公報

ここで、テレビやインターネット等で公開される画像及び音を含む映像データは、例えば音声を発した人の特徴や感情等を推定できるほか、映像データを視聴した他人の感情や動作に影響を与える可能性を備えている。このため、映像データに基づき、将来起こり得る事象の評価に繋げられる可能性がある。しかしながら、将来起こり得る事象の評価には、評価者等の主観が介入する恐れがある。このため、映像データに基づいた定量的な評価を実施できず、評価の精度が低いという課題が挙げられる。

この点、特許文献１に開示された技術では、ある話題について他人への影響が大きいユーザを抽出するのみに過ぎず、映像データが実際に他人等に対してどのような影響を与え、将来起こり得る事象の定量的な評価を行うことができない。

また、特許文献２に開示された技術では、ｅ−ラーニングの学習者の顔画像のみをリアルタイム処理することを前提としており、音声を含む映像データを情報として用いることがない。また、特許文献２に開示された技術では、ｅ−ラーニングを実施中の学習者の顔画像を取得するため、学習時の感情に限定されている。このため、他人の感情や動作に与える影響を十分に評価することが難しい。これにより、将来起こり得る事象の定量的な評価を行うことができない。

上述した事情により、映像データに基づき、将来起こり得る事象の評価における精度の向上が望まれている。

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、画像及び音を含む映像データに基づき、将来起こり得る事象の評価における精度の向上が可能となる事象評価支援システム、事象評価支援装置、及び事象評価支援プログラムを提供することにある。

第１発明に係る事象評価支援システムは、画像及び音を含む映像データに基づき、将来起こり得る事象の評価を支援する事象評価支援システムであって、評価用映像データを取得する取得手段と、予め取得された過去の映像データ、前記過去の映像データの評価に用いられた参照データ、及び、前記過去の映像データと前記参照データとの間における３段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記評価用映像データと、前記参照データとの間の３段階以上の第１連関度を含む評価データを取得する評価手段と、前記評価データに基づき評価結果を生成し、前記評価結果を出力する出力手段と、を備えることを特徴とする。

第２発明に係る事象評価支援システムは、第１発明において、 前記評価用映像データは、撮影された人、動物、背景、及び説明資料の少なくとも何れかを含む画像データと、撮影された人の声、動物の声、効果音、及び挿入曲の少なくとも何れかを含む音データと、を含み、前記評価手段は、前記参照データベースを参照し、前記画像データ及び前記音データの組み合わせと、前記参照データとの間の前記第１連関度を算出することを特徴とする。

第３発明に係る事象評価支援システムは、第２発明において、前記評価手段は、前記参照データベースを参照し、一定期間に撮影された前記評価用映像データに対して時系列で算出された前記第１連関度を含む前記評価データを取得することを特徴とする。

第４発明に係る事象評価支援システムは、第３発明において、前記取得手段は、前記評価用映像データの撮影された時間に対応し、株式、為替、及び先物取引の少なくとも何れかの値動きを示す評価用値動きを取得し、前記参照データは、過去の株式、為替、及び先物取引の少なくとも何れかの過去の値動きの経時推移を含み、前記出力手段は、前記第１連関度に基づく前記評価用値動きの経時推移の評価を含む前記評価結果を生成することを特徴とする。

第５発明に係る事象評価支援システムは、第４発明において、前記評価用映像データ及び前記過去の映像データは、経済情報に関する映像であることを特徴とする。

第６発明に係る事象評価支援システムは、第３発明において、前記出力手段は、予め設定された報知基準値と、前記第１連関度とを比較した結果に基づき、前記評価結果を出力することを特徴とする。

第７発明に係る事象評価支援システムは、第６発明において前記過去の映像データは、犯行現場における犯行前後の映像を含み、前記参照データは、犯罪の種類に関する情報であり、前記出力手段は、前記評価用映像データに撮影された人のうち、犯行に及ぶ可能性のある人を特定する情報を含む前記評価結果を生成することを特徴とする。

第８発明に係る事象評価支援システムは、第３発明において、前記過去の映像データは、複数の視聴者に公開された映像であり、前記参照データは、公開された前記過去の映像データに対応する視聴率であり、前記評価用映像データは、未公開の映像データであり、前記出力手段は、前記第１連関度に基づく視聴率の経時推移の評価を含む前記評価結果を生成することを特徴とする。

第９発明に係る事象評価支援システムは、第３発明において、前記過去の映像データは、ゲームの進行に関する進行情報を含み、前記評価用映像データは、開発中のゲームの進行に関する開発進行情報を含み、前記参照データは、前記ゲームの進行情報に対する課金量、ログイン数、及びプレイ時間の少なくとも何れかを含み、前記出力手段は、前記第１連関度に基づいて、前記開発進行情報に対する課金量、ログイン数、プレイ時間の少なくとも何れかの経時推移の評価を含む前記評価結果を生成することを特徴とする。

第１０発明に係る事象評価支援システムは、第２発明において、前記評価手段は、前記参照データベースを参照し、一定期間に撮影された前記評価用映像データの全体に対して算出された前記第１連関度を含む前記評価データを取得することを特徴とする。

第１１発明に係る事象評価支援システムは、第１０発明において、前記評価用映像データ及び前記過去の映像データは、防犯カメラの映像、取り調べ室における映像、会話中の映像、接客時の映像、カウンセリング時の映像、公演時の映像、診察時の映像、又は、手術時の映像を含むことを特徴とする。

第１２発明に係る事象評価支援システムは、第１発明〜第１１発明の何れか１つにおいて、前記過去の映像データは、過去に撮影された人、動物、及び背景の少なくとも何れかを含む過去の画像データと、過去に撮影された人の声、動物の声、効果音、及び挿入曲の少なくとも何れかを含む過去の音データと、前記参照データとの間に前記連関度を有する合成データと、前記過去の画像データと前記合成データとの間、及び、前記過去の音データと前記合成データとの間における３段階以上の類似度と、を含み、前記参照データベースには、前記合成データと、前記参照データとの間における前記連関度が記憶されることを特徴とする。

第１３発明に係る事象評価支援システムは、第１発明〜第１２発明の何れか１つにおいて、前記過去の映像データと、前記参照データとの間の関係を新たに取得した場合には、前記関係を前記連関度に反映させる更新手段をさらに備えることを特徴とする。

第１４発明に係る事象評価支援システムは、第２発明において、前記評価用映像データは、前記音データの内容に対応するテキストデータを含み、
前記評価手段は、前記参照データベースを参照し、前記画像データ、前記音データ、及び前記テキストデータの組み合わせと、前記参照データとの間の前記第１連関度を算出することを特徴とする。

第１５発明に係る事象評価支援装置は、画像及び音を含む映像データに基づき、将来起こり得る事象の評価を支援する事象評価支援装置であって、評価用映像データを取得する取得部と、予め取得された過去の映像データ、前記過去の映像データの評価に用いられた参照データ、及び、前記過去の映像データと前記参照データとの間における３段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記評価用映像データと、前記参照データとの間の３段階以上の第１連関度を含む評価データを取得する評価部と、前記評価データに基づき評価結果を生成し、前記評価結果を出力する出力部と、を備えることを特徴とする。

第１６発明に係る事象評価支援装置は、画像及び音を含む映像データに基づき、将来起こり得る事象の評価を支援する事象評価支援プログラムであって、評価用映像データを取得し、予め取得された過去の映像データ、前記過去の映像データの評価に用いられた参照データ、及び、前記過去の映像データと前記参照データとの間における３段階以上の連関度が記憶された参照データベースを参照し、前記評価用映像データと、前記参照データとの間の３段階以上の第１連関度を含む評価データを取得し、前記評価データに基づき評価結果を生成し、前記評価結果を出力することをコンピュータに実行させることを特徴とする。

第１発明〜第１４発明によれば、評価手段は、参照データベースを参照し、評価用映像データと、参照データとの間の第１連関度を含む評価データを取得する。このため、評価用映像データに対して参照データを紐づけられ、評価用映像データに基づいて将来起こり得る事象の定量的な評価結果を取得することができる。これにより、将来起こり得る事象の評価における精度の向上が可能となる。

特に、第２発明〜第１４発明によれば、評価手段は、画像データ及び音データの組み合わせと、参照データとの間の第１関連性を算出する。このため、画像データ又は音データの何れか１つを用いた場合に比べ、その映像の特徴若しくは撮影された人の感情の推定、又は、映像を視聴した他人の感情若しくは他人の動作に影響を与える可能性を評価する精度の向上を図ることができる。これにより、将来起こり得る事象の評価の精度をさらに向上させることが可能となる。

特に、第３発明〜第９発明、第１２発明〜第１４発明によれば、評価手段は、一定期間に撮影された評価用映像データに対して、第１連関度を時系列で算出する。このため、評価用映像データに対する評価の経時変化を示すことができる。これにより、評価用映像データの経時変化に伴う評価をすることができ、将来起こり得る事象の詳細な評価を実施することが可能となる。

特に、第４発明、第５発明、第１２発明〜第１４発明によれば、出力手段は、第１連関度に基づく評価用値動きの経時推移の評価を含む評価結果を生成する。このため、評価用映像データの影響を踏まえた値動きの経時推移の評価を容易に取得することができる。これにより、上記評価結果を一材料として企業等の事業計画等を検討することができ、事業戦略の選択肢を増加させることが可能となる。

特に、第６発明、第７発明、第１２発明〜第１４発明によれば、出力手段は、予め設定された報知基準値と、第１連関度とを比較した結果に基づき、評価結果を出力する。このため、報知基準値の設定条件に応じて、評価結果を出力するか否かを制御することができる。これにより、評価結果が必要な場合のみ出力させることができ、利用者等は、常に評価結果を確認する必要がない。従って、利用者等の作業負荷を低減させることが可能となる。

特に、第７発明、第１２発明〜第１４発明によれば、出力手段は、評価データに基づき、評価用映像データに撮影された人のうち、犯行に及ぶ可能性のある人を特定する情報を含む評価結果を生成する。このため、犯行を事前に抑制することが可能となる。また、大勢の人が行き交う場所においても、定量的に評価をすることができ、主観を含んだ誤認や見落としを抑制することが可能となる。

特に、第８発明、第１２発明〜第１４発明によれば、出力手段は、第１連関度に基づく視聴率の経時推移の評価を含む評価結果を生成する。このため、未公開の評価用映像データに対して、予め視聴率の経時推移を評価することができる。これにより、映像データを公開する前に改善点等を把握することができ、映像データの質の向上を図ることが可能となる。

特に、第９発明、第１２発明〜第１４発明によれば、出力手段は、第１連関度に基づいて、開発進行情報に対する課金量等の経時推移の評価を含む評価結果を生成する。このため、開発中のゲームにおいて課金されるタイミングや頻度等を評価することができる。これにより、ゲームを販売する前に改善点等を把握することができ、ゲームの質の向上を図ることが可能となる。

特に、第１０発明〜第１４発明によれば、評価手段は、一定期間に撮影された評価用画像データの全体に対して第１連関度を算出する。このため、一定期間に撮影された画像データ及び音データを含む評価用映像データを総合的に評価することができる。これにより、定量的な評価を行える事象の選択範囲を大幅に広げることが可能となる。

特に、第１２発明〜第１４発明によれば、過去の映像データは、過去の画像データと合成データとの間、及び、過去の音データと合成データとの間における３段階以上の類似度を含む。このため、新たに過去の画像データ及び過去の音データを参照データベースに記憶（更新）させた場合、連関度をその都度更新する必要がない。これにより、参照データベースの更新に伴い、連関度を更新する負荷を抑制することが可能となる。

特に、第１３発明及び第１４発明によれば、更新手段は、過去の映像データと、参照データとの間の関係を新たに取得した場合には、関係を連関度に反映させる。このため、連関度を容易に更新することができ、評価の精度を向上させることが可能となる。

特に、第１４発明によれば、画像データ、音データ、及びテキストデータの組み合わせと、参照データとの間の第１関連性を算出する。このため、テキストデータを組み合わせに加えることで、その人の特徴若しくは感情の推定、又は、他人の感情若しくは動作に影響を与える可能性を評価する精度のさらなる向上を図ることができる。これにより、将来起こり得る事象の評価の精度をさらに向上させることが可能となる。

第１５発明によれば、評価部は、参照データベースを参照し、評価用映像データと、参照データとの間の第１連関度を含む評価データを取得する。このため、評価用映像データに対して参照データを紐づけられ、評価用映像データに基づいて将来起こり得る事象の定量的な評価結果を取得することができる。これにより、将来起こり得る事象の評価における精度の向上が可能となる。

第１６発明によれば、参照データベースを参照し、評価用映像データと、参照データとの間の第１連関度を含む評価データを取得することをコンピュータに実行させる。このため、評価用映像データに対して参照データを紐づけられ、評価用映像データに基づいて将来起こり得る事象の定量的な評価結果を取得することができる。これにより、将来起こり得る事象の評価における精度の向上が可能となる。

図１は、実施形態における事象評価支援システムの全体構成を示すブロック図である。 図２（ａ）及び図２（ｂ）は、実施形態における評価結果の一例を示す模式図である。 図３は、実施形態における評価用映像データ、過去の映像データ、参照データ、及び評価結果の一例を示す図である。 図４は、実施形態における評価用映像データ、過去の映像データ、参照データ、及び評価結果の一例を示す図である。 図５（ａ）は、実施形態における事象評価支援装置の構成の一例を示す模式図であり、図５（ｂ）は、実施形態における事象評価支援装置の機能の一例を示す模式図である。 図６は、実施形態における参照データベースの一例を示す模式図である。 図７は、実施形態における参照データベースの第１変形例を示す模式図である。 図８は、実施形態における参照データベースの第２変形例を示す模式図である。 図９は、実施形態における参照データベースの第３変形例を示す模式図である。 図１０は、実施形態における参照データベースの第４変形例を示す模式図である。 図１１は、実施形態における事象評価支援システムの動作の一例を示すフローチャートである。 図１２（ａ）及び図１２（ｂ）は、実施形態における評価結果の一例を示す模式図である。

以下、本発明を適用した実施形態における事象評価支援システム１００の一例について、図面を参照しながら説明する。

（実施形態：事象評価支援システム１００の構成）
図１を参照して、本実施形態における事象評価支援システム１００の構成の一例について説明する。図１は、本実施形態における事象評価支援システム１００の全体構成を示すブロック図である。

事象評価支援システム１００は事象評価支援装置１を備える。事象評価支援装置１は、例えば公衆通信網４を介して、サーバ２及び撮影装置３の少なくとも何れかと接続されてもよい。

事象評価支援システム１００は、画像及び音を含む映像データに基づき、将来起こり得る事象の評価を支援するために用いられる。事象評価支援装置１は、例えば図２（ａ）に示すように、撮影された人等を含む画像データＤ１と、撮影された人の声等に対応する音データＤ２とを含む評価用映像データを取得し、評価用映像データに基づく評価結果を出力する。評価結果は、例えば「日経平均株価が○○円上昇する可能性あり」等の将来起こり得る事象に関する情報を含む。評価結果に基づき、例えば利用者は将来の事象について判断することができる。

事象評価支援装置１は、例えば図２（ｂ）に示すように、所定位置に固定された撮影装置３から定期的に評価用映像データを取得してもよい。この場合、例えば犯行に及ぶ可能性のある人等を特定し、「万引きをする可能性があります（破線部）」等の評価結果を出力することができる。評価情報には、人を特定するための情報として、例えば特定される人が破線で囲まれるほか、矢印等で人を特定するようにしてもよい。事象評価支援装置１は、上記のほかに、例えば公衆通信網４を介して取得したテレビ番組の映像、接客時の映像、会話中の映像等に基づき、経済情報や売上等に関する評価を行うことができる。

事象評価支援装置１は、評価結果を出力する際、参照データベースを参照する。参照データベースには、予め取得された過去の映像データ、過去の映像データの評価に用いられた参照データ、及び、過去の映像データと参照データとの間における連関度が記憶されている。事象評価支援装置１は、参照データベースを参照し、評価用映像データと、参照データとの間の第１連関性を算出し、第１連関性を含む評価データに基づいて、評価結果を生成する。

上述した評価用画像データ、過去の映像データ、参照データ、及び評価結果は、例えば図３及び図４に示したデータの一例を含む。評価用映像データは、画像データＤ１及び音データＤ２を含む。過去の映像データは、過去に撮影された人等を含む過去の画像データを含み、例えば過去に撮影された人の声等に対応する過去の音データを含んでもよい。

画像データＤ１及び過去の画像データは、動画のほか静止画も含み、各映像データに撮影された人、動物、背景、及び説明資料（例えば説明用のグラフ、フリップボード、プレゼン用資料）の少なくとも何れかを含む。すなわち、画像データＤ１及び過去の画像データは、撮影された人等を含む画像全体のデータを示す。画像データＤ１及び過去の画像データは、例えば人又は動物の動作傾向を含み、例えば撮影された人の喜怒哀楽に対応する表情を対象にするほか、例えば口角の位置や眉間の状態等のように、表情に影響する顔の一部の状態をデータの対象としてもよい。画像データ及び過去の画像データは、上記のほか、例えば撮影された人の身振り、振る舞い、行い、手癖等のほか、歩行位置や停止時間等の行動をデータの対象としてもよい。

音データＤ２及び過去の音データは、撮影された人の声、動物の声、効果音、及び挿入曲の少なくとも何れかを含む。すなわち、音データＤ２及び過去の音データは、撮影された人の声等を含む全ての音のデータを示す。音データＤ２及び過去の音データは、声や音の大きさ、スピードのほか、例えば言葉使い、イントネーション等を含み、例えば予め設定された喜怒哀楽等のカテゴリ別に分類されるようにしてもよい。なお、音データＤ２及び過去の音データは、音源毎又は人毎の声に分類された状態でもよく、複数の音源又は複数人の声が混合された状態でもよい。

上述した画像データＤ１と、音データＤ２とを組み合わせて評価することで、将来起こり得る事象の評価を精度良く行うことができる。例えば画像データＤ１における人の動作と、音データＤ２における人の口調とを組み合わせることにより、例えば喜怒哀楽等の画像データＤ１のみでは判断できない感情を評価対象として取り入れることができる。

評価用映像データは、例えば上記音データの内容に対応するテキストデータを含む。過去の映像データは、例えば上記過去の音データの内容に対応する過去のテキストデータを含む。テキストデータ及び過去のテキストデータは、例えば音の全文を含むほか、例えば音の全文のうち、特徴とする形態素、単語、句、節等のみが抽出されたものでもよい。なお、テキストデータ及び過去のテキストデータは、例えば言語以外の効果音等を、擬音語に変換したものでもよい。

画像データＤ１、過去の画像データ、音データＤ２、過去の音データ、テキストデータ、及び過去のテキストデータは、例えば数値化することもでき、それぞれ３〜１０段階評価等に設定してもよい。各データの詳細は、後述する。

＜事象評価支援装置１の構成＞
図５（ａ）は、事象評価支援装置１の構成の一例を示す模式図である。事象評価支援装置１として、パーソナルコンピュータ（ＰＣ）等の電子機器が用いられる。事象評価支援装置１は、例えば評価用映像データを取得できる任意の装置と一体に形成されてもよい。事象評価支援装置１は、筐体１０と、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、記憶部１０４と、Ｉ／Ｆ１０５〜１０７とを備える。各構成１０１〜１０７は、内部バス１１０により接続される。

ＣＰＵ（Central Processing Unit）１０１は、事象評価支援装置１全体を制御する。ＲＯＭ（Read Only Memory）１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ（Random Access Memory）１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。記憶部１０４は、細胞画像等の各種情報が記憶される。記憶部１０４として、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（solid state drive）やフロッピーディスク等のデータ保存装置が用いられる。なお、例えば事象評価支援装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。ＧＰＵを有することで、通常よりも高速演算処理が可能となる。

Ｉ／Ｆ１０５は、公衆通信網４を介してサーバ２等との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部分１０８との情報の送受信を行うためのインターフェースである。入力部分１０８として、例えばキーボードが用いられ、事象評価支援システム１００の利用者等は、入力部分１０８を介して、各種情報又は事象評価支援装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、出力部分１０９との各種情報の送受信を行うためのインターフェースである。出力部分１０９は、記憶部１０４に保存された各種情報、又は事象評価支援装置１の処理状況等を出力する。出力部分１０９として、ディスプレイが用いられ、例えばタッチパネル式でもよい。

図５（ｂ）は、事象評価支援装置１の機能の一例を示す模式図である。事象評価支援装置１は、情報ＤＢ１１と、取得部１２と、評価部１３と、出力部１４と、入力部１５とを備える。事象評価支援装置１は、例えば更新部１６を備えてもよい。なお、図５（ｂ）に示した機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、記憶部１０４等に記憶されたプログラムを実行することにより実現される。また、各構成１１〜１６は、例えば人工知能により制御されてもよい。

＜情報ＤＢ１１＞
情報ＤＢ１１には、予め取得された過去の映像データ、及び過去の映像データに用いられた参照データが記憶された参照データベースが記憶される。情報ＤＢ１１には、例えば評価用映像データ、評価用映像データと参照データとの間の第１連関度を含む評価データ、評価データに基づき生成された評価結果、及び評価結果を表示するフォーマット等の各種情報が記憶される。参照データベース及び各種情報は、ＨＤＤやＳＳＤ等で具現化された記憶部１０４に、各種情報のデータベースとして保存される。各構成１２〜１６は、必要に応じて情報ＤＢ１１に各種情報を記憶させ、又は各種情報を取出す。

参照データベースには、例えば図６に示すように、過去の映像データと参照データとの間における３段階以上の連関度が記憶される。参照データベースは、例えば連関度を算出できるアルゴリズムで形成される。過去の映像データ及び参照データは、複数のデータを有し、各過去のデータと各参照データとの関係は、それぞれ連関度で紐づいている。

例えば、過去の映像データに含まれる映像Ａは、参照データに含まれる評価Ａとの間の連関度「８０％」を示し、参照データに含まれる評価Ｂとの間の連関度「１５％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、連関度が高いほど、各データの繋がりが強いことを示す。

なお、過去の映像データ及び参照データは、映像の形式で参照データベースに記憶されるほか、例えば数値、行列（ベクトル）、又はヒストグラム等の形式で記憶されてもよい。

連関度は、例えば機械学習を用いて算出される。機械学習には、例えば深層学習が用いられる。特に、本実施形態における事象評価支援システム１００では、畳込みニューラルネットワークを用いることが好ましい。

過去の映像データは、例えば図７に示すように、過去の画像データと過去の音データとを分割して参照データベースに記憶されてもよい。この場合、過去の画像データ及び過去の音データの組み合わせと、参照データとの間の関係に基づいて、連関度が算出される。例えば、過去の画像データに含まれる画像Ａ及び過去の音データに含まれる音Ａの組み合わせは、評価Ａとの間の連関度「９０％」を示し、評価Ｂとの間の連関度「２０％」を示す。この場合、過去の画像データ及び過去の音データをそれぞれ独立してデータを記憶させることができる。このため、後述する評価用映像データに基づく評価結果を生成する場合、精度の向上及び選択肢の範囲を拡大させることが可能となる。

過去の映像データは、例えば図８に示すように、合成データと、類似度とを含んでもよい。合成データは、過去の画像データ又は過去の音データとの間における３段階以上の類似度により示される。合成データは、映像の形式で参照データベースに記憶されるほか、例えば数値、行列（ベクトル）、又はヒストグラム等の形式で記憶されてもよい。

過去の映像データは、例えば過去のテキストデータを含んでもよい。過去の映像データが過去のテキストデータを含む場合、例えば図９に示すように、過去の画像データ、過去の音データ、及び過去のテキストデータの組み合わせと、参照データとの間に基づいて、連関度が算出される。このほか、過去の映像データは、例えば図１０に示すように、テキストデータと、合成データとの間の関係を示す類似度を含んでもよい。

＜取得部１２＞
取得部１２は、評価の対象となる評価用映像データを取得する。取得部１２は、撮影装置３により一定期間に撮影された評価用映像データを取得するほか、例えば公衆通信網４や可搬メモリ等の記憶媒体を介して、一定期間に撮影された評価用映像データを取得してもよい。なお、評価用映像データの形式は任意であり、例えば取得部１２が任意のファイル形式に変換してもよい。

取得部１２は、評価用映像データに加え、例えば評価用映像データに撮影された人に関する人物情報を取得してもよい。これにより、人物情報に対応した評価結果を出力することが可能となる。

＜評価部１３＞
評価部１３は、評価用映像データと、参照データとの間における３段階以上の第１連関度を含む評価データを取得する。評価部１３は、例えば参照データベースを参照して、評価用映像データと一致又は類似する過去の映像データを選択し、選択された過去の映像データに紐づけられた連関度を第１連関度として算出する。このほか、評価部１３は、例えば参照データベースを分類器のアルゴリズムとして用い、評価用映像データと参照データとの間における第１連関度を算出してもよい。

例えば、図６に示した参照データベースを用いる場合、評価用映像データが映像Ａと一致又は類似するとき、評価Ａに対して「８０％」、評価Ｂに対して「１５％」、評価Ｃに対して「１％」の第１連関度がそれぞれ算出される。また、評価用映像データが映像Ａ及び映像Ｂと類似するときは、例えば映像Ａ及び映像Ｂと参照データとの間の連関度に対して任意の係数を乗算した値が第１連関度として算出される。

評価部１３は、第１連関度を算出したあと、評価用映像データ、参照データ、及び第１連関度を含む評価データを取得する。なお、評価部１３は、例えば図７又は図８に示した参照データベースを参照して、第１連関度を算出してもよい。

＜出力部１４＞
出力部１４は、評価データに基づき評価結果を生成し、評価結果を出力する。出力部１４は、例えば評価データの第１連関度に基づいて、評価用映像データに対する評価結果を生成する。また、出力部１４は、例えば評価データの加工処理等を行わずに評価結果として生成してもよい。

出力部１４は、生成した評価結果を出力する。出力部１４は、Ｉ／Ｆ１０７を介して出力部分１０９に評価結果を出力するほか、例えばＩ／Ｆ１０５を介して任意の装置に評価結果を出力してもよい。

＜入力部１５＞
入力部１５は、Ｉ／Ｆ１０５を介して撮影装置３から送信された評価用映像データを受信するほか、例えばＩ／Ｆ１０６を介して入力部分１０８から入力された各種情報を受信する。そのほか、入力部１５は、例えばサーバ２に記憶された評価用映像データを受信してもよい。入力部１５は、例えば可搬メモリ等の記憶媒体を介して、評価用映像データ等を受信してもよい。入力部１５は、例えば利用者が評価結果に基づいて作成した更新用データや、連関度を更新するために用いられる学習用データ等を受信する。

＜更新部１６＞
更新部１６は、例えば過去の映像データと、参照データとの間の関係を新たに取得した場合には、関係を連関度に反映させる。連関度に反映させるデータとして、例えば利用者が新たに作成した映像データと、映像データに対応する参照データとを含む更新データが用いられる。このほか、連関度に反映させるデータとして、例えば利用者が評価結果に基づいて作成した学習用データが用いられる。

＜サーバ２＞
サーバ２には、各種情報に関するデータ（データベース）が記憶されている。このデータベースには、例えば公衆通信網４を介して送られてきた情報が蓄積される。サーバ２には、例えば情報ＤＢ１１と同様の情報が記憶され、公衆通信網４を介して事象評価支援装置１と各種情報の送受信が行われてもよい。サーバ２として、例えばネットワーク上のデータベースサーバが用いられてもよい。サーバ２は、上述した記憶部１０４や情報ＤＢ１１の代わりに用いられてもよい。

＜撮影装置３＞
撮影装置３は、評価用映像データを撮影し、事象評価支援装置１に送信する。撮影装置３として、例えば防犯カメラやピンホールカメラ等の画像及び音を含んだ映像を取得できる装置が用いられる。撮影装置３として、例えばカメラを備えたドローンや、カメラ付きの携帯端末等が用いられてもよい。なお、撮影装置３は、例えば事象評価支援装置１の構成を含んでもよい。

＜公衆通信網４＞
公衆通信網４（ネットワーク）は、事象評価支援装置１及び撮影装置３等が通信回路を介して接続されるインターネット網等である。公衆通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、公衆通信網４は、有線通信網には限定されず、無線通信網で実現してもよい。

（実施形態：事象評価支援システム１００の動作）
次に、本実施形態における事象評価支援システム１００の動作の一例について説明する。図１１は、本実施形態における事象評価支援システム１００の動作の一例を示すフローチャートである。

＜取得手段：Ｓ１１０＞
先ず、評価の対象となる評価用映像データを取得する（取得手段Ｓ１１０）。取得部１２は、入力部１５を介して、撮影装置３により生成された評価用映像データを取得するほか、例えば公衆通信網４や可搬メモリ等の記憶媒体を介して、評価用映像データを取得してもよい。取得部１２は、評価用映像データに加え、例えば人物情報を取得してもよい。なお、取得部１２は、取得した評価用映像データ等を情報ＤＢ１１に記憶させてもよい。

例えば取得部１２は、一定期間に撮影された評価用映像データを取得する。撮影装置３から取得する場合、取得部１２は、連続的に撮影された評価用映像データを取得するほか、断続的に撮影された評価用映像データを取得してもよい。取得部１２が撮影装置３から評価用映像データを取得するタイミングは、任意である。なお、取得部１２が取得する評価用映像データの撮影条件等は任意である。

＜評価手段：Ｓ１２０＞
次に、参照データベースを参照し、評価用映像データと、参照データとの間の第１連関度を含む評価データを取得する（評価手段Ｓ１２０）。評価部１３は、取得部１２又は情報ＤＢ１１から評価用映像データを取得し、情報ＤＢ１１から参照データベースを取得する。

評価部１３は、参照データベースを参照することで、評価用映像データと、参照データとの間の第１連関度を算出することができる。評価部１３は、例えば評価用画像データと一致、一部一致、又は類似する過去の映像データを選択し、対応する連関度に基づいて第１連関度を算出するほか、例えば参照データベースを分類器のアルゴリズムとして用い、第１連関度を算出してもよい。なお、評価部１３は、算出した第１連関度及び取得した評価データを情報ＤＢ１１に記憶させてもよい。

評価部１３は、例えば参照データベースを参照し、一定期間に撮影された評価用映像データに対して時系列で第１連関度を算出し、第１連関度を含む評価データを取得する。なお、算出における時系列の単位は、任意である。

評価部１３は、例えば参照データベースを参照し、一定期間に撮影された評価用映像データの全体に対して第１連関度を算出し、第１連関度を含む評価データを取得する。なお、評価用映像データを撮影する一定期間は、任意である。

評価部１３は、例えば図７に示した参照データベースを参照し、画像データ及び音データの組み合わせと、参照データとの間の第１連関度を算出してもよい。

評価部１３は、例えば図８に示した参照データベースを参照し、画像データと合成データとの間の第１類似度、及び音データと合成データとの間の第２類似度を算出したあと、合成データと参照データとの間の第１連関度を算出してもよい。なお、第１類似度及び第２類似度の算出方法は、第１連関度と同様である。

評価部１３は、例えば図９に示した参照データベースを参照し、画像データ、音データ、及びテキストデータの組み合わせと、参照データとの間の第１連関度を算出してもよい。

評価部１３は、例えば図１０に示した参照データベースを参照し、画像データと合成データとの間の第１類似度、音データと合成データとの間の第２類似度、及びテキストデータと合成データとの間の第３類似度を算出したあと、合成データと参照データとの間の第１連関度を算出してもよい。

＜出力手段：Ｓ１３０＞
次に、評価データに基づき評価結果を生成し、評価結果を出力する（出力手段Ｓ１３０）。出力部１４は、評価部１３又は情報ＤＢ１１から評価データを取得し、例えば情報ＤＢ１１から評価結果を表示するフォーマットを取得してもよい。

出力部１４は、評価データに基づいて、例えばフォーマットを参照して評価結果を生成する。出力部１４は、例えば図２（ａ）に示すように、テキスト形式で評価結果を生成するほか、例えば図２（ｂ）に示すように、評価用映像データの一部を用いた形式で評価結果を生成してもよい。

その後、出力部１４は、評価結果を出力する。出力部１４は、出力部分１０９に評価結果を出力する。出力部１４は、例えば予め設定された報知基準値と、第１連関度とを比較した結果に基づき、評価結果を出力してもよい。この場合、例えば報知基準値を「９０％以上」と設定したとき、第１連関度が９０％以上の場合のみ評価結果を出力する。すなわち、報知基準値は任意の閾値であり、報知基準値以上又は以下等の条件は任意に設定することができる。

＜更新手段：Ｓ１４０＞
その後、例えば過去の映像データと、参照データとの間の関係を新たに取得した場合には、関係を連関度に反映させてもよい（更新手段：Ｓ１４０）。更新部１６は、例えば利用者が新たに作成した更新データを取得し、類似度に反映させる。このほか、更新部１６は、例えば利用者が評価結果に基づいて作成した学習用データを取得し、類似度に反映させる。更新部１６は、例えば機械学習を用いて類似度の算出及び更新を行い、機械学習には、例えば畳込みニューラルネットワークが用いられる。なお、更新部１６は、例えば画像データと合成データとの間の関係、音データと合成データとの間の関係、及びテキストデータと合成データとの間の関係の少なくとも何れかを新たに取得した場合には、関係を類似度に更新させてもよい。類似度を更新させる場合、連関度を更新させる必要が無い。このため、参照データベースの更新に伴う負荷を最小限に抑えることが可能となる。

これにより、本実施形態における事象評価支援システム１００の動作が終了する。なお、上述した更新手段Ｓ１４０を実施するか否かは任意である。また、本実施形態における事象評価支援プログラムとして、上記動作をコンピュータに実行させてもよい。

（実施形態：評価用映像データ、過去の映像データ、及び参照データ）
次に、評価用映像データ、過去の映像データ、及び参照データについて説明する。評価用映像データ、過去の映像データ、及び参照データは、図３及び図４に示すように、事象評価支援システム１００の利用環境（カテゴリ）毎に異なるデータを含む。参照データベースには、各カテゴリに対応するデータが状況に応じて記憶される。以下、カテゴリ別の特徴を説明する。なお、図３及び図４には、各カテゴリに対応するデータの一例が記載されている。

＜テレビ番組制作＞
事象評価支援システム１００は、カテゴリ「テレビ番組制作」において、制作中のテレビ番組に基づいて視聴率の予測等を出力する（例えば図１２（ａ））。ここで「テレビ番組」とは、地上デジタルテレビ放送で放送される番組のほか、例えばインターネットを介して配信されるインターネットテレビ等の番組を示す。

この場合、評価用映像データとして、制作中のテレビ番組に関する映像が用いられる。すなわち、評価用映像データは、未公開の映像データである。このとき、画像データは、制作中のテレビ番組の画像、撮影された動物や出演者の動作を含むほか、例えば背景、フリップボード、説明資料、テロップ、ワイプ等を含む。音データは、制作中のテレビ番組に流れる音、出演者の声や口調、動物の鳴き声等を含む。評価用映像データは、例えば制作中のテレビ番組に流れる音、出演者が言った内容、動物の鳴き声等に対応するテキストデータを含んでもよい。

また、過去の映像データとして、放送されたテレビ番組に関する映像が用いられる。すなわち、過去の映像データは、複数の視聴者に公開された映像である。このとき、過去の画像データは、既に放送されたテレビ番組の画像、撮影された動物や出演者の動作等を含むほか、例えば背景、フリップボード、説明資料、テロップ、ワイプ等を含む。過去の音データは、既に放送されたテレビ番組に流れる音、出演者の声や口調、動物の鳴き声等を含む。過去の評価用映像データは、例えば既に放送されたテレビ番組に流れる音、出演者が言った内容、動物の鳴き声等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、既に公開された過去の映像データに対応する視聴率（例えば０％〜１００％）が用いられる。このとき、評価結果として、評価用映像データに対する視聴率の予測が含まれるほか、例えば予測される視聴率の推移、視聴率が取れる番組の傾向や特徴等が含まれる。

上記の場合、例えば評価手段Ｓ１２０において、評価部１３は、例えば評価用映像データを任意の２以上の期間に分割し、分割された評価用映像データと、参照データ（視聴率）との間の第１連関度を算出し、評価データを取得する。その後、出力手段Ｓ１３０において、出力部１４は、第１連関度に基づき視聴率の経時推移の評価を含む評価結果を生成する。このため、評価用映像データに対する視聴率の経時推移の予測を確認することができる。これにより、テレビ番組を公開する前に改善点等を把握することができ、テレビ番組の質の向上を図ることが可能となる。

また、例えば出力手段Ｓ１３０において、出力部１４は、例えば高い視聴率に対して第１連関度の高い画像データ、音データ、及びテキストデータの少なくとも何れかを評価結果に含めてもよい。このため、評価結果を参照して視聴率が取れる番組の傾向や特徴を容易に把握することができる。これにより、テレビ番組を公開する前に改善点等を容易に把握することができ、テレビ番組の質の向上をさらに図ることが可能となる。

＜経済情報＞
事象評価支援システム１００は、カテゴリ「経済情報」において、公開映像に基づいて経済情報の予測等を出力する（例えば図１２（ｂ））。ここで「経済情報」とは、株式、為替、又は商品取引等における経時推移を示す。また、「公開映像」とは、経済ニュース番組、ＩＰＯ（Initial Public Offering）時における企業の会見、ＦＯＭＣ（Federal Open Market Committee）における会見等の経済情報に関する映像を示す。

この場合、評価用映像データとして、放送中（発信中）又は放送直後（発信直後）の経済情報に関する映像が用いられる。すなわち、評価用映像データは、生放送中の公開映像であり、視聴者が視聴した結果に基づいて株取引等を実施し得る映像である。このとき、画像データは、公開映像の画像、撮影された出演者の動作を含むほか、例えば背景、フリップボード、説明資料、テロップ、ワイプ等を含んでもよい。音データは、公開映像に流れる音、出演者の声や口調等を含む。評価用映像データは、例えば公開映像に流れる音や出演者が言った内容等に対応するテキストデータを含んでもよい。

また、過去の映像データとして、過去に公開された経済情報に関する映像が用いられる。すなわち、過去の映像データは、視聴者が視聴した結果に基づいて株取引等を実施したと想定されるような、経済情勢に影響を及ぼす可能性のある公開映像である。このとき、過去の画像データは、過去に公開された映像の画像、撮影された出演者の動作等を含むほか、例えば背景、フリップボード、説明資料、テロップ、ワイプ等を含んでもよい。過去の音データは、過去に公開された映像に流れる音、出演者の声や口調等を含む。過去の映像データは、例えば過去に公開された映像に流れる音や出演者が言った内容等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、公開された過去の映像データに対する過去の経済情報の傾向（例えば任意の数値程度上昇、若しくは下降、又は変化なし等）が用いられ、例えば過去の株式、為替、及び先物取引の少なくとも何れかの過去の値動きの経時推移を含む。参照データは、例えば企業業績（連結決算、中間決算等）を含んでもよい。このとき、評価結果として、評価用映像データに対する経済情報の予測が含まれるほか、例えば予測される株価等の値動き、株価等が上がる場合の特徴、予測される企業業績の推移、企業業績が良くなる場合の特徴等が含まれる。なお、株価等の値動きが予測できる時期及び期間は、任意に設定することができ、例えば公開映像の放送直後〜３０分のほか、例えば次の日に設定してもよい。

上記の場合、例えば取得手段Ｓ１１０において、取得部１２は、評価用映像データの撮影された時間に対応し、株式、為替、及び先物取引の少なくとも何れかの値動きを示す評価用値動きを取得してもよい。評価用値動きは、例えば評価用映像データが公開される直前の株式、為替、及び先物取引の少なくとも何れかの相場の経時推移を示す。このとき、出力手段Ｓ１３０において、出力部１４は、第１連関度に基づく評価用値動きの経時推移の評価を含む評価結果を生成する。このため、評価用映像データの影響を踏まえた値動きの経時推移の評価を容易に取得することができる。これにより、上記評価結果を一材料として企業等の事業計画等を検討することができ、事業戦略の選択肢を増加させることが可能となる。

また、例えば出力手段Ｓ１３０において、出力部１４は、過去の値動きに対して第１連関度の高い画像データ、音データ、及びテキストデータの少なくとも何れかを評価結果に含めてもよい。このため、評価結果を参照して株価が上がる場合における公開映像の特徴を容易に把握することができる。これにより、公開映像の特徴を一材料として事業戦略の選択肢をさらに増加させることが可能となる。

なお、例えば上述した予測される株価等の値動き、及び株価等が上がる場合の特徴に代えて、予測される企業業績の推移、企業業績が良くなる場合の特徴が評価結果に含まれてもよい。この場合も、上述した内容と同様に、公開映像の特徴を一材料として事業戦略の選択肢をさらに増加させることが可能となる。

＜犯行現場＞
事象評価支援システム１００は、カテゴリ「犯行現場」において、例えば防犯カメラ等の撮影装置３に撮影された映像に基づいて、犯行に及ぶ可能性のある人を特定する情報等を出力する（例えば図２（ｂ））。ここで、「犯行現場」とは、例えばコンビニエンスストア内の万引き等が挙げられ、防犯カメラ等を設置できる場所で発生し得る犯罪を示す。

この場合、評価用映像データとして、例えば撮影装置３に撮影された映像が用いられる。評価用映像データは、リアルタイム又はリアルタイムに近い映像である。このとき、画像データは、撮影装置３に撮影された画像や人の動作を含むほか、例えば撮影された環境、明るさ、陳列された商品等を含む。音データは、撮影装置３に撮影された音、人の声や口調等を含む。評価用映像データは、例えば撮影装置３に撮影された音や人が言った内容等に対応するテキストデータを含んでもよい。

また、過去の映像データとして、過去に犯罪が発生した前後における犯行現場で撮影装置３に撮影された映像が用いられる。このとき、過去の画像データは、犯行現場で犯行前後に撮影された画像や犯罪者の動作を含むほか、例えば撮影された環境、明るさ、陳列された商品等を含む。過去の音データは、犯行現場で犯行前後に撮影された音、犯罪者の声や口調、被害者の声や口調等を含む。過去の映像データは、例えば犯行現場で犯行前後に撮影された音、犯罪者が言った内容、被害者が言った内容等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、犯罪の種類（例えば万引き、強盗等）に関する情報が用いられる。このとき、評価結果として、犯行に及ぶ可能性のある人を特定する情報が含まれる。

上記の場合、出力手段Ｓ１３０において、出力部１４は、例えば予め設定された報知基準値と、第１連関度とを比較した結果に基づき、評価結果を出力してもよい。これにより、出力部１４は、評価用映像データに撮影された人のうち、犯行に及ぶ可能性のある人を特定した場合のみ出力することができる。これにより、犯罪の発生を予防することができる。

また、例えば出力手段Ｓ１３０において、出力部１４は、例えば犯罪の種類に対して第１連関度の高い画像データ、音データ、及びテキストデータの少なくとも何れかを評価結果に含めてもよい。このため、評価結果を参照して犯罪が起こり得る場合における映像の特徴を容易に把握することができる。これにより、犯罪が起こり得る環境や場所に対し、改善案を容易に検討することが可能となる。

＜ゲーム制作＞
事象評価支援システム１００は、カテゴリ「ゲーム制作」において、ユーザが開発中のゲームを実施しているときに撮影された映像に基づいて、ゲームへの課金量の予測等を評価結果として出力する。

この場合、評価用映像データとして、例えばユーザの携帯端末等の撮影装置３に撮影された映像が用いられる。このとき、画像データは、開発中のゲームを実施している時に撮影された画像やユーザの動作等を含む。音データは、開発中のゲームを実施している時に撮影された音、ユーザの声や口調等を含む。評価用映像データは、例えば開発中のゲームを実施している時に撮影された音やユーザが言った内容等に対応するテキストデータを含んでもよい。

また、過去の映像データとして、公開又は販売済みのゲームをユーザが実施している時において撮影装置３に撮影された映像が用いられ、例えばユーザの課金量、ログイン数、プレイ時間等と紐づけられた映像が用いられる。このとき、過去の画像データは、公開又は販売済みのゲームを実施している時に撮影された画像やユーザの動作等を含む。過去の音データは、公開又は販売済みのゲームを実施している時に撮影された音、ユーザの声や口調等を含む。過去の映像データは、例えば公開又は販売済みのゲームを実施している時に撮影された音やユーザが言った内容等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、過去の映像データに紐づけられた課金量（例えば合計○○円、□□名が課金実施等）、ログイン数、プレイ時間等が用いられる。すなわち、参照データは、ゲームの進行情報に対する課金量、ログイン数、及びプレイ時間の少なくとも何れかを含む。このとき、評価結果として、課金量の予測が含まれるほか、例えばログイン数の予測、プレイ時間の予測、課金量が上がる場合の特徴、ログイン数が上がる場合の特徴、プレイ時間が長くなる場合の特徴等が含まれる。なお、参考データとして、例えば映像データに紐づけられたユーザのコメント数が用いられてもよい。

上記の場合、過去の映像データは、ゲームの進行に関する進行情報を含み、評価用映像データは、開発中のゲームの進行に関する開発進行情報を含む。出力手段Ｓ１３０において、出力部１４は、例えば第１連関度に基づいて、開発進行情報に対する課金量、ログイン数、及びプレイ時間の少なくとも何れかの経時推移の評価を含む評価結果を生成する。このため、評価用映像データに対する課金量等の予測を確認することができる。これにより、開発中のゲームの改善点を把握することができ、開発中のゲームの質の向上を図ることが可能となる。

また、例えば出力手段Ｓ１３０において、出力部１４は、例えば高い課金量等に対して第１連関度の高い画像データ、音データ、及びテキストデータの少なくとも何れかを評価結果に含めてもよい。このため、評価結果を参照して課金量等が得られる傾向や特徴を容易に把握することができる。ここれにより、開発中のゲームの改善点を容易に把握することができ、開発中のゲームの質の向上を容易に図ることが可能となる。

＜取り調べ＞
事象評価支援システム１００は、カテゴリ「取り調べ」において、取り調べ室で撮影された映像に基づいて、容疑者が有罪か無罪かの推定結果等を出力する。

この場合、評価用映像データとして、例えば防犯カメラやピンホールカメラ眼鏡等の撮影装置３に撮影された映像が用いられる。このとき、画像データは、取り調べ時に撮影された画像、容疑者の動作、取調官の動作等を含む。音データは、取り調べ時に撮影された音、容疑者の声や口調、取調官の声や口調等を含む。評価用映像データは、例えば取り調べ時に撮影された音、容疑者が言った内容、取調官が言った内容等に対応するテキストデータを含んでもよい。

また、過去の映像データとして、判決が確定した事案において取り調べ（過去の取り調べ）が行われた時に撮影された映像等が用いられる。このとき、過去の画像データは、過去の取り調べ時に撮影された画像、容疑者の動作、取調官の動作等を含む。過去の音データは、過去の取り調べ時に撮影された音、容疑者の声や口調、取調官の声や口調等を含む。過去の映像データは、例えば過去の取り調べ時に撮影された音、容疑者が言った内容、取調官が言った内容等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、過去の映像データに対応する判例が用いられるほか、例えば過去の取り調べ情報の真偽等が用いられる。このとき、評価結果として、容疑者が有罪か無罪かの推定するための情報が含まれるほか、例えば容疑者の証言の真偽を推定するための情報が含まれる。これにより、容疑者の動作、音等、言った内容等に基づいた定量的な評価結果を得ることができ、取り調べの効率化を図ることが可能となる。

＜人間関係＞
事象評価支援システム１００は、カテゴリ「人間関係」において、評価対象者と評価者との会話中に撮影された映像に基づいて、評価者が受ける印象の予測等を評価結果として出力する。

この場合、評価用映像データとして、例えば防犯カメラやピンホールカメラ眼鏡等の撮影装置３に撮影された映像が用いられる。評価用映像データとして、例えばコミュニケーション能力の上達を図るための会話のシミュレーション等に撮影された映像が用いられる。このとき、画像データは、会話のシミュレーション時に撮影された画像、評価対象者の動作、評価者の動作等を含む。音データは、会話のシミュレーション時に撮影された音、評価対象者の声や口調、評価者の声や口調等を含む。評価用映像データは、例えば会話のシミュレーション時に撮影された音、評価対象者が言った内容、評価者が言った内容等に対応するテキストデータを含んでもよい。

また、過去の映像データとして、過去の会話時に撮影された映像が用いられ、評価対象者の会話に対して評価者が受けた印象等と紐づけられた映像が用いられる。このとき、過去の画像データは、会話時に撮影された画像、評価対象者の動作、評価者の動作等を含む。過去の音データは、会話時に撮影された音、評価対象者の声や口調、評価者の声や口調等を含む。過去の映像データは、例えば会話時に撮影された音、評価対象者が言った内容、評価者が言った内容等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、過去の映像データに紐づけられた評価者が受けた印象に関する情報が用いられるほか、例えば良い人間関係を形成するための方法等が用いられる。このとき、評価結果として、評価者が受ける印象の予測が含まれるほか、例えば印象が良くなる特徴分析結果等が含まれる。これにより、会話時において相手に与える印象を定量的に評価することができるほか、評価対象者のコミュニケーション方法の改善案を容易に提案することができ、評価対象者のコミュニケーション能力を効率良く向上させることが可能となる。なお、例えば町中で評価対象者が知らない人（評価者）に食事等の誘いをした場合に、評価者が同意するか否かの予測を評価結果として出力することもできる。

＜販売、接客＞
事象評価支援システム１００は、カテゴリ「販売、接客」において、販売員が顧客に接客を行っているときに撮影された映像に基づいて、売上予測等を評価結果として出力する。

この場合、評価用映像データとして、例えば防犯カメラやピンホールカメラ眼鏡等の撮影装置３に撮影された映像が用いられる。評価用映像データとして、例えば接客のシミュレーション等に撮影された映像が用いられる。このとき、画像データは、接客のシミュレーション時に撮影された画像、販売員の動作、顧客の動作等を含む。音データは、接客のシミュレーション時に撮影された音、販売員の声や口調、顧客の声や口調等を含む。評価用映像データは、例えば接客のシミュレーション時に撮影された音、販売員が言った内容、顧客が言った内容等に対応するテキストデータを含んでもよい。

また、過去の映像データとして、過去の接客時に撮影された映像が用いられ、販売員の売上結果等に紐づけられた映像が用いられる。このとき、過去の画像データは、接客時に撮影された画像、販売員の動作、顧客の動作等を含む。過去の音データは、接客時に撮影された音、販売員の声や口調、顧客の声や口調等を含む。過去の映像データは、例えば接客時に撮影された音、販売員が言った内容、顧客が言った内容等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、過去の映像データに紐づけられた販売員の売上が用いられるほか、例えば販売員の模範的な振る舞い（例えば売上向上に繋がる接客のマニュアル等）等が用いられる。このとき、評価結果として、接客のシミュレーションに対する売上予測が含まれるほか、例えば売上を上げるための特徴分析結果等が含まれる。これにより、販売員の接客の影響を定量的に評価することができるほか、販売員の接客方法の改善案を容易に提案することができ、業務改善や売上の向上につなげることが可能となる。

＜カウンセリング＞
事象評価支援システム１００は、カテゴリ「カウンセリング」において、相談員と相談者とのカウンセリング時に撮影された映像に基づいて、相談者の容体の予測等を評価結果として出力する。

この場合、評価用映像データとして、例えば防犯カメラやピンホールカメラ眼鏡等の撮影装置３に撮影された映像が用いられる。このとき、画像データは、カウンセリング時に撮影された画像、相談者の動作、相談員の動作等を含む。音データは、カウンセリング時に撮影された音、相談者の声や口調、相談員の声や口調等を含む。評価用映像データは、例えばカウンセリング時に撮影された音、相談者が言った内容、相談員が言った内容等に対応するテキストデータを含んでもよい。なお、「カウンセリング」として、例えば相談者と相談員との対話時のほか、例えばリハビリ用の映像等を相談者が視聴している時等が含まれる。

また、過去の映像データとして、過去のカウンセリングにおいて撮影された映像が用いられ、相談者のカルテの内容等と紐づけられた映像が用いられる。このとき、過去の画像データは、過去のカウンセリング時に撮影された画像、相談者の動作、相談員の動作等を含む。過去の音データは、過去のカウンセリング時に撮影された音、相談者の声や口調、相談員の声や口調等を含む。過去の映像データは、例えば過去のカウンセリング時に撮影された音、相談者が言った内容、相談員が言った内容等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、過去の映像データに紐づけられた相談者のカルテの内容（例えば相談者の症状の改善具合等）が用いられる。このとき、評価結果として、相談者の容体の予測が含まれるほか、例えば症状が悪化せずに改善するカウンセリング方法の予測、症状が改善するカウンセリング方法の特徴分析等が含まれる。これにより、相談者の容体等を定量的に予測することができるほか、相談員に対してカウンセリング方法の改善案を容易に提案することができ、相談者の早期回復につなげることが可能となる。

＜公演＞
事象評価支援システム１００は、カテゴリ「公演」において、公演時に撮影された映像に基づいて、観客の満足度の予測を評価結果として出力する。ここで、「公演」とは、複数の観客を動員する芝居の公演、音楽コンサート、講演、セミナー等を示す。

この場合、評価用映像データとして、例えば防犯カメラ等の撮影装置３に撮影された公演の映像が用いられる。このとき、画像データは、公演時に撮影された画像、観客の動作、出演者（例えば役者、講演者等）の動作等を含む。音データは、公演時に撮影された音、観客の声や口調、出演者の声や口調等を含む。評価用映像データは、例えば公演時に撮影された音、観客が言った内容、出演者が言った内容等に対応するテキストデータを含んでもよい。

また、過去の映像データとして、過去の公演時において撮影された映像が用いられ、観客が記載したアンケートの内容等と紐づけられた映像が用いられる。このとき、過去の画像データは、過去の公演時に撮影された画像、観客の動作、出演者の動作等を含む。過去の音データは、過去の公演時に撮影された音、観客の声や口調、出演者の声や口調等を含む。過去の映像データは、例えば過去の公演時に撮影された音、観客が言った内容、出演者が言った内容等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、観客のアンケートの内容が用いられるほか、例えば興味を引く公演の指標、興行収入が上がる公演の指標、盛り上がった公演の指標、感情に関する情報（うれしい、楽しい、気持ちいい、すがすがしい、誇らしい、恐怖心等）等が用いられる。このとき、評価結果として、観客の満足度の予測が含まれるほか、例えば収入が上がる公演の特徴分析、盛り上がる公演の特徴分析、興味を引く公演の特徴分析等が含まれる。これにより、公演の内容に対する観客の満足度を定量的に評価することができるほか、公演の質を向上させる改善案を容易に提案することができ、公演の質の向上を図ることが可能となる。

＜診察＞
事象評価支援システム１００は、カテゴリ「診察」において、患者の診察時に撮影された映像に基づいて、患者の容体の予測等を評価結果として出力する。

この場合、評価用映像データとして、例えば防犯カメラやピンホールカメラ眼鏡等の撮影装置３に撮影された診察時の映像が用いられる。このとき、画像データは、診察時に撮影された画像、患者の動作、診察者の動作等を含む。音データは、診察時に撮影された音、患者の声や口調、診察者の声や口調等を含む。評価用映像データは、例えば診察時に撮影された音、患者が言った内容、診察者が言った内容等に対応するテキストデータを含んでもよい。

また、過去の映像データとして、過去の診察時において撮影された映像が用いられ、患者のカルテの内容等と紐づけられた映像が用いられる。このとき、過去の画像データは、過去の診察時に撮影された画像、患者の動作、診察者の動作を含む。過去の音データは、過去の診察時に撮影された音、患者の声や口調、診察者の声や口調等を含む。過去の映像データは、例えば過去の診察時に撮影された音、患者が言った内容、診察者が言った内容等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、患者のカルテの内容（症状の改善具合等）が用いられるほか、投薬方法、治療方法等が用いられる。このとき、評価結果として、患者の容体の予測が含まれるほか、例えば症状が悪化せずに改善する投薬方法の予測、症状が悪化せずに改善する治療方法の予測、症状が改善する治療方法の特徴分析等が含まれる。これにより、患者の容体を定量的に予測することができるほか、診察者に対して診察方法の改善案を容易に提案することができ、患者の早期回復につなげることが可能となる。

＜手術後の容体＞
事象評価支援システム１００は、カテゴリ「手術後の容体」において、患者の手術時に撮影された映像に基づいて、患者の容体の予測等を評価結果として出力する。

この場合、評価用映像データとして、例えば防犯カメラやピンホールカメラ眼鏡等の撮影装置３に撮影された手術時の映像が用いられる。このとき、画像データは、手術時に撮影された画像、患者の動作、手術者の動作等を含む。音データは、手術時に撮影された音、患者の声や口調、手術者の声や口調等を含む。評価用映像データは、例えば手術時に撮影された音、患者が言った内容、手術者が言った内容等に対応するテキストデータを含んでもよい。

また、過去の映像データとして、過去の手術時において撮影された映像が用いられ、患者のカルテの内容等と紐づけられた映像が用いられる。このとき、過去の画像データは、過去の手術時に撮影された画像、患者の動作、手術者の動作等を含む。過去の音データは、過去の手術時に撮影された音、患者の声や口調、手術者の声や口調等を含む。過去の映像データは、例えば過去の手術時に撮影された音、患者が言った内容、手術者が言った内容等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、患者のカルテの内容（症状の改善具合等）が用いられるほか、例えば手術方法、投薬方法、治療方法等が用いられる。このとき、評価結果として、患者の容体の予測が含まれるほか、例えば症状が悪化せずに改善する投薬方法の予測、症状が悪化せずに改善する治療方法の予測、症状が改善する手術方法の特徴分析、症状が改善する治療方法の特徴分析等が含まれる。これにより、患者の容体を定量的に予測することができるほか、手術者に対して手術方法の改善案を容易に提案することができ、患者の早期回復につなげることが可能となる。

＜映像コンテンツ＞
事象評価支援システム１００は、カテゴリ「映像コンテンツ」において、制作中の映像コンテンツに基づいて興味を引くコンテンツの予測等を出力する。ここで「映像コンテンツ」とは、ＤＶＤ等の記録媒体に収録されて販売される映画、ドキュメント映像、プロモーション用映像、企業紹介用映像等を示す。

この場合、評価用映像データとして、制作中の映像コンテンツに関する映像が用いられる。すなわち、評価用映像データは、未公開の映像データである。このとき、画像データは、制作中の映像コンテンツの画像、撮影された動物や出演者の動作を含むほか、例えば背景、フリップボード、説明資料、テロップ、ワイプ等を含む。音データは、制作中の映像コンテンツに流れる音、出演者の声や口調、動物の鳴き声等を含む。評価用映像データは、例えば制作中の映像コンテンツに流れる音、出演者が言った内容、動物の鳴き声等に対応するテキストデータを含んでもよい。

また、過去の映像データとして、公開された映像コンテンツに関する映像が用いられる。すなわち、過去の映像データは、複数の視聴者に公開された映像である。このとき、過去の画像データは、既に公開された映像コンテンツの画像、撮影された動物や出演者の動作等を含むほか、例えば背景、フリップボード、説明資料、テロップ、ワイプ等を含む。過去の音データは、既に公開された映像コンテンツに流れる音、出演者の声や口調、動物の鳴き声等を含む。過去の評価用映像データは、例えば既に公開されたコンテンツ映像に流れる音、出演者が言った内容、動物の鳴き声等に対応する過去のテキストデータを含んでもよい。

また、参照データとして、視聴者の興味を引く度合いが用いられるほか、例えば感情に関する情報（うれしい、楽しい、気持ちいい、すがすがしい、誇らしい、恐怖心等）等が用いられる。このとき、評価結果として、興味を引くコンテンツの予測が含まれるほか、例えば感情を呼び起こす方法の特徴分析等が含まれる。これにより、制作中の映像コンテンツの評価を定量的に評価することができるほか、制作中の映像コンテンツに対する改善案を容易に提案することができ、映像コンテンツの質の向上を図ることが可能となる。

＜交通渋滞＞
事象評価支援システム１００は、カテゴリ「交通渋滞」において、撮影された道路の映像に基づいて、交通渋滞の予測等を評価結果として出力する。

この場合、評価用映像データとして、例えば防犯カメラ等の撮影装置３に撮影された道路の映像が用いられる。このとき、画像データは、撮影された道路の画像、道路を走行する車等を含む。音データは、撮影された道路を走行する車の排気音等を含む。評価用映像データは、例えば撮影された道路を走行する車の出す音の擬音語に対応するテキストデータを含んでもよい。

また、過去の映像データとして、過去に撮影された道路の映像が用いられ、交通渋滞情報等と紐づけられた映像が用いられる。このとき、過去の画像データは、過去に撮影された道路の画像、道路を走行する車等を含む。過去の音データは、撮影された道路を走行する車の排気音等を含む。過去の映像データは、例えば撮影された道路を走行する車の出す音の擬音語に対応する過去のテキストデータを含んでもよい。

また、参照データとして、交通状態情報が用いられる。このとき、評価結果として、交通渋滞の予測が含まれる。これにより、交通渋滞を定量的に予測することができ、渋滞を回避する経路や、渋滞緩和案等を容易に提案することが可能となる。

＜空撮＞
事象評価支援システム１００は、カテゴリ「空撮」において、撮影された空撮の映像に基づいて、穀物、野菜、果実等の収穫率の予測等を評価結果として出力する。

この場合、評価用映像データとして、例えばドローン等の撮影装置３に空撮された穀物等に関する映像が用いられる。このとき、画像データは、空撮された画像、穀物等の成長の程度等を含む。

また、過去の映像データとして、過去に空撮された収穫率と紐づいた穀物等の映像が用いられる。このとき、過去の画像データは、過去に空撮された画像、穀物等の成長の程度等を含む。

また、参照データとして、穀物等の収穫率が用いられる。このとき、評価結果として、穀物等の収穫率の予測が含まれる。これにより、穀物等の収穫率を定量的に予測することができ、穀物等の収穫率を向上させる案等を容易に提案することが可能となる。

なお、上述した各カテゴリの中で、出力部１４が評価用映像データに対して経時推移の評価を含む評価結果を生成する場合について説明したものは、出力部１４が評価用映像データ全体に対して予測される評価（例えば視聴率の場合、平均視聴率、最高視聴率、最低視聴率）を含む評価結果を生成してもよい。

本実施形態によれば、評価手段Ｓ１２０は、参照データベースを参照し、評価用映像データと、参照データとの間の第１連関度を含む評価データを取得する。このため、評価用映像データに対して参照データを紐づけられ、評価用映像データに基づいて将来起こり得る事象の定量的な評価結果を取得することができる。これにより、将来起こり得る事象の評価における精度の向上が可能となる。

また、本実施形態によれば、評価手段Ｓ１２０は、画像データ及び音データの組み合わせと、参照データとの間の第１関連性を算出する。このため、画像データ又は音データの何れか１つを用いた場合に比べ、その映像の特徴若しくは撮影された人の感情の推定、又は、映像を視聴した他人の感情若しくは他人の動作に影響を与える可能性を評価する精度の向上を図ることができる。これにより、将来起こり得る事象の評価の精度をさらに向上させることが可能となる。

また、本実施形態によれば、評価手段Ｓ１２０は、一定期間に撮影された評価用映像データに対して、第１連関度を時系列で算出する。このため、評価用映像データに対する評価の経時変化を示すことができる。これにより、評価用映像データの経時変化に伴う評価をすることができ、将来起こり得る事象の詳細な評価を実施することが可能となる。

また、本実施形態によれば、出力手段Ｓ１３０は、第１連関度に基づく評価用値動きの経時推移の評価を含む評価結果を生成する。このため、評価用映像データの影響を踏まえた値動きの経時推移の評価を容易に取得することができる。これにより、上記評価結果を一材料として企業等の事業計画等を検討することができ、事業戦略の選択肢を増加させることが可能となる。

また、本実施形態によれば、出力手段Ｓ１３０は、予め設定された報知基準値と、第１連関度とを比較した結果に基づき、評価結果を出力する。このため、報知基準値の設定条件に応じて、評価結果を出力するか否かを制御することができる。これにより、評価結果が必要な場合のみ出力させることができ、利用者等は、常に評価結果を確認する必要がない。従って、利用者等の作業負荷を低減させることが可能となる。

また、本実施形態によれば、出力手段Ｓ１３０は、評価データに基づき、評価用映像データに撮影された人のうち、犯行に及ぶ可能性のある人を特定する情報を含む評価結果を生成する。このため、犯行を事前に抑制することが可能となる。また、大勢の人が行き交う場所においても、定量的に評価をすることができ、主観を含んだ誤認や見落としを抑制することが可能となる。

また、本実施形態によれば、出力手段Ｓ１３０は、第１連関度に基づく視聴率の経時推移の評価を含む評価結果を生成する。このため、未公開の評価用映像データに対して、予め視聴率の経時推移を評価することができる。これにより、映像データを公開する前に改善点等を把握することができ、映像データの質の向上を図ることが可能となる。

また、本実施形態によれば、出力手段Ｓ１３０は、第１連関度に基づいて、開発進行情報に対する課金量等の経時推移の評価を含む評価結果を生成する。このため、開発中のゲームにおいて課金されるタイミングや頻度等を評価することができる。これにより、ゲームを販売する前に改善点等を把握することができ、ゲームの質の向上を図ることが可能となる。

また、本実施形態によれば、評価手段Ｓ１２０は、一定期間に撮影された評価用画像データの全体に対して第１連関度を算出する。このため、一定期間に撮影された画像データ及び音データを含む評価用映像データを総合的に評価することができる。これにより、定量的な評価を行える事象の選択範囲を大幅に広げることが可能となる。

また、本実施形態によれば、過去の映像データは、過去の画像データと合成データとの間、及び、過去の音データと合成データとの間における３段階以上の類似度を含む。このため、新たに過去の画像データ及び過去の音データを参照データベースに記憶（更新）させた場合、連関度をその都度更新する必要がない。これにより、参照データベースの更新に伴い、連関度を更新する負荷を抑制することが可能となる。

また、本実施形態によれば、更新手段Ｓ１４０は、過去の映像データと、参照データとの間の関係を新たに取得した場合には、関係を連関度に反映させる。このため、連関度を容易に更新することができ、評価の精度を向上させることが可能となる。

また、本実施形態によれば、画像データ、音データ、及びテキストデータの組み合わせと、参照データとの間の第１関連性を算出する。このため、テキストデータを組み合わせに加えることで、その人の特徴若しくは感情の推定、又は、他人の感情若しくは動作に影響を与える可能性を評価する精度のさらなる向上を図ることができる。これにより、将来起こり得る事象の評価の精度をさらに向上させることが可能となる。

また、本実施形態によれば、評価部１３は、参照データベースを参照し、評価用映像データと、参照データとの間の第１連関度を含む評価データを取得する。このため、評価用映像データに対して参照データを紐づけられ、評価用映像データに基づいて将来起こり得る事象の定量的な評価結果を取得することができる。これにより、将来起こり得る事象の評価における精度の向上が可能となる。

また、本実施形態によれば、参照データベースを参照し、評価用映像データと、参照データとの間の第１連関度を含む評価データを取得することをコンピュータに実行させる。このため、評価用映像データに対して参照データを紐づけられ、評価用映像データに基づいて将来起こり得る事象の定量的な評価結果を取得することができる。これにより、将来起こり得る事象の評価における精度の向上が可能となる。

また、本実施形態によれば、３段階以上に設定されている連関度（第１連関度）に基づいて、評価用映像データを評価する点に特徴がある。連関度は、例えば０〜１００％までの数値で記述することができるが、これに限定されるものではなく３段階以上の数値で記述できればいかなる段階で構成されていてもよい。

このような連関度に基づいて、評価用映像データに対する評価結果の候補として選ばれる参照データにおいて、連関度の高い又は低い順に参照データを表示することが可能となる。このように連関度の順に表示することで、利用者等は将来起こり得る可能性の高い事象を優先的に評価することができる。他方、将来起こり得る可能性の低い事象も除外せずに表示できるため、利用者等は見逃すことなく評価することが可能となる。

上記に加え、本実施形態によれば、例えば連関度が１％のような極めて低い場合も見逃すことなく評価することができる。連関度が極めて低い参照データであっても、僅かな兆候として繋がっていることを示しており、見逃しや誤認を抑制することが可能となる。

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ ：事象評価支援装置
２ ：サーバ
３ ：撮影装置
４ ：公衆通信網
１０ ：筐体
１２ ：取得部
１３ ：評価部
１４ ：出力部
１５ ：入力部
１６ ：更新部
１００ ：事象評価支援システム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：記憶部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：入力部分
１０９ ：出力部分
１１０ ：内部バス
ＤＢ１１ ：情報
Ｓ１１０ ：取得手段
Ｓ１２０ ：評価手段
Ｓ１３０ ：出力手段
Ｓ１４０ ：更新手段

Claims (16)

1. 画像及び音を含む映像データに基づき、将来起こり得る事象の評価を支援する事象評価支援システムであって、
   評価用映像データを取得する取得手段と、
   予め取得された過去の映像データ、前記過去の映像データの評価に用いられた参照データ、及び、前記過去の映像データと前記参照データとの間における３段階以上の連関度が記憶された参照データベースと、
   前記参照データベースを参照し、前記評価用映像データと、前記参照データとの間の３段階以上の第１連関度を含む評価データを取得する評価手段と、
   前記評価データに基づき評価結果を生成し、前記評価結果を出力する出力手段と、
   を備えることを特徴とする事象評価支援システム。
2. 前記評価用映像データは、
   撮影された人、動物、背景、及び説明資料の少なくとも何れかを含む画像データと、
   撮影された人の声、動物の声、効果音、及び挿入曲の少なくとも何れかを含む音データと、
   を含み、
   前記評価手段は、前記参照データベースを参照し、前記画像データ及び前記音データの組み合わせと、前記参照データとの間の前記第１連関度を算出すること
   を特徴とする請求項１記載の事象評価支援システム。
3. 前記評価手段は、前記参照データベースを参照し、一定期間に撮影された前記評価用映像データに対して時系列で算出された前記第１連関度を含む前記評価データを取得すること
   を特徴とする請求項２記載の事象評価支援システム。
4. 前記取得手段は、前記評価用映像データの撮影された時間に対応し、株式、為替、及び先物取引の少なくとも何れかの値動きを示す評価用値動きを取得し、
   前記参照データは、過去の株式、為替、及び先物取引の少なくとも何れかの過去の値動きの経時推移を含み、
   前記出力手段は、前記第１連関度に基づく前記評価用値動きの経時推移の評価を含む前記評価結果を生成すること
   を特徴とする請求項３記載の事象評価支援システム。
5. 前記評価用映像データ及び前記過去の映像データは、経済情報に関する映像であること
   を特徴とする請求項４記載の事象評価支援システム。
6. 前記出力手段は、予め設定された報知基準値と、前記第１連関度とを比較した結果に基づき、前記評価結果を出力すること
   を特徴とする請求項３記載の事象評価支援システム。
7. 前記過去の映像データは、犯行現場における犯行前後の映像を含み、
   前記参照データは、犯罪の種類に関する情報であり、
   前記出力手段は、前記評価用映像データに撮影された人のうち、犯行に及ぶ可能性のある人を特定する情報を含む前記評価結果を生成すること
   を特徴とする請求項６記載の事象評価支援システム。
8. 前記過去の映像データは、複数の視聴者に公開された映像であり、
   前記参照データは、公開された前記過去の映像データに対応する視聴率であり、
   前記評価用映像データは、未公開の映像データであり、
   前記出力手段は、前記第１連関度に基づく視聴率の経時推移の評価を含む前記評価結果を生成すること
   を特徴とする請求項３記載の事象評価支援システム。
9. 前記過去の映像データは、ゲームの進行に関する進行情報を含み、
   前記評価用映像データは、開発中のゲームの進行に関する開発進行情報を含み、
   前記参照データは、前記ゲームの進行情報に対する課金量、ログイン数、及びプレイ時間の少なくとも何れかを含み、
   前記出力手段は、前記第１連関度に基づいて、前記開発進行情報に対する課金量、ログイン数、プレイ時間の少なくとも何れかの経時推移の評価を含む前記評価結果を生成すること
   を特徴とする請求項３記載の事象評価支援システム。
10. 前記評価手段は、前記参照データベースを参照し、一定期間に撮影された前記評価用映像データの全体に対して算出された前記第１連関度を含む前記評価データを取得すること
    を特徴とする請求項２記載の事象評価支援システム。
11. 前記評価用映像データ及び前記過去の映像データは、防犯カメラの映像、取り調べ室における映像、会話中の映像、接客時の映像、カウンセリング時の映像、公演時の映像、診察時の映像、又は、手術時の映像を含むこと
    を特徴とする請求項１０記載の事象評価支援システム。
12. 前記過去の映像データは、
    過去に撮影された人、動物、及び背景の少なくとも何れかを含む過去の画像データと、
    過去に撮影された人の声、動物の声、効果音、及び挿入曲の少なくとも何れかを含む過去の音データと、
    前記参照データとの間に前記連関度を有する合成データと、
    前記過去の画像データと前記合成データとの間、及び、前記過去の音データと前記合成データとの間における３段階以上の類似度と、
    を含み、
    前記参照データベースには、前記合成データと、前記参照データとの間における前記連関度が記憶されること
    を特徴とする請求項１〜１１の何れか１項記載の事象評価支援システム。
13. 前記過去の映像データと、前記参照データとの間の関係を新たに取得した場合には、前記関係を前記連関度に反映させる更新手段をさらに備えること
    を特徴とする請求項１〜１２の何れか１項記載の事象評価支援システム。
14. 前記評価用映像データは、前記音データの内容に対応するテキストデータを含み、
    前記評価手段は、前記参照データベースを参照し、前記画像データ、前記音データ、及び前記テキストデータの組み合わせと、前記参照データとの間の前記第１連関度を算出すること
    を特徴とする請求項２記載の事象評価支援システム。
15. 画像及び音を含む映像データに基づき、将来起こり得る事象の評価を支援する事象評価支援装置であって、
    評価用映像データを取得する取得部と、
    予め取得された過去の映像データ、前記過去の映像データの評価に用いられた参照データ、及び、前記過去の映像データと前記参照データとの間における３段階以上の連関度が記憶された参照データベースと、
    前記参照データベースを参照し、前記評価用映像データと、前記参照データとの間の３段階以上の第１連関度を含む評価データを取得する評価部と、
    前記評価データに基づき評価結果を生成し、前記評価結果を出力する出力部と、
    を備えることを特徴とする事象評価支援装置。
16. 画像及び音を含む映像データに基づき、将来起こり得る事象の評価を支援する事象評価支援プログラムであって、
    評価用映像データを取得し、
    予め取得された過去の映像データ、前記過去の映像データの評価に用いられた参照データ、及び、前記過去の映像データと前記参照データとの間における３段階以上の連関度が記憶された参照データベースを参照し、前記評価用映像データと、前記参照データとの間の３段階以上の第１連関度を含む評価データを取得し、
    前記評価データに基づき評価結果を生成し、前記評価結果を出力すること
    をコンピュータに実行させることを特徴とする事象評価支援プログラム。

Images