JP2020191645A - 情報処理装置、制御方法、及びプログラム - Google Patents

情報処理装置、制御方法、及びプログラム Download PDF

Info

Publication number
JP2020191645A
JP2020191645A JP2020122116A JP2020122116A JP2020191645A JP 2020191645 A JP2020191645 A JP 2020191645A JP 2020122116 A JP2020122116 A JP 2020122116A JP 2020122116 A JP2020122116 A JP 2020122116A JP 2020191645 A JP2020191645 A JP 2020191645A
Authority
JP
Japan
Prior art keywords
moving image
display
summary information
information
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020122116A
Other languages
English (en)
Other versions
JP7052833B2 (ja
Inventor
諒 川合
Ryo Kawai
諒 川合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2020122116A priority Critical patent/JP7052833B2/ja
Publication of JP2020191645A publication Critical patent/JP2020191645A/ja
Priority to JP2022047902A priority patent/JP2022082627A/ja
Application granted granted Critical
Publication of JP7052833B2 publication Critical patent/JP7052833B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】複数の動画の閲覧を容易にする。【解決手段】情報処理装置(2000)は、要約部(2040)及び表示制御部(2060)を有する。要約部(2040)は、複数のカメラ(10)それぞれによって生成される動画(30)を取得する。さらに要約部(2040)は、動画(30)の要約処理を行って、動画(30)の要約情報を生成する。表示制御部(2060)は、動画(30)をディスプレイシステム(20)に表示させる。ここで、表示制御部(2060)は、ディスプレイシステム(20)における動画(30)の表示態様の変化が所定条件を満たすことに応じて、その動画(30)の要約情報をディスプレイシステム(20)に表示させる。【選択図】図2

Description

本発明は情報処理装置、制御方法、及びプログラムに関する。
カメラの映像が様々なシーンで活用されている。例えば、監視場所を撮像するカメラ(いわゆる監視カメラ)の映像を使った映像監視が行われている。
このような背景から、カメラの映像をより扱いやすいものにする技術が開発されている。例えば特許文献1は、監視映像から重要シーンを検出し、重要シーン以外のフレームを間引いた要約映像を作成する技術を開示している。
特開2012−205097号公報
映像監視などでは、一人の人(例えば監視員)が複数の映像を見なければいけない状況がある。例えば、複数の監視場所をそれぞれ別の監視カメラで撮像している場合、監視員は、これら複数のカメラによって生成される映像を全て閲覧して、異常が発生している場所などを把握しなければならない。このような作業は、映像を見る人にとって大きな労力を要する。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、複数の動画の閲覧を容易にする技術を提供することである。
本発明の情報処理装置は、(1)第1のカメラによって生成される第1の動画及び第2のカメラによって生成される第2の動画を取得し、前記取得した第1の動画の要約処理を行って、前記取得した第1の動画の要約情報を生成する要約手段と、(2)前記第1の動画及び前記第2の動画を表示手段に表示させる表示制御手段と、を有する。
前記表示制御手段は、前記第1の動画と前記第2の動画との間での表示領域の変化が所定条件を満たすことに応じて、前記第1の動画の前記要約情報を前記表示手段に表示させる。
本発明の制御方法は、コンピュータによって実行される。
当該制御方法は、(1)第1のカメラによって生成される第1の動画及び第2のカメラによって生成される第2の動画を取得し、前記取得した第1の動画の要約処理を行って、前記取得した第1の動画の要約情報を生成する要約ステップと、(2)前記第1の動画及び前記第2の動画を表示手段に表示させる表示制御ステップと、を有する。
前記表示制御ステップは、前記表示手段における前記第1の動画と前記第2の動画との間での表示領域の変化が所定条件を満たすことに応じて、前記第1の動画の前記要約情報を前記表示手段に表示させる。
本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
本発明によれば、複数の動画の閲覧を容易にする技術が提供される。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
実施形態1に係る情報処理装置の動作を概念的に例示する図である。 実施形態1に係る情報処理装置をその使用環境と共に例示する図である。 情報処理装置を実現するための計算機を例示する図である。 ディスプレイシステムにおける動画の表示態様を例示する第1の図である。 ディスプレイシステムにおける動画の表示態様を例示する第2の図である。 ディスプレイシステムにおける動画の表示態様を例示する第3の図である。 ディスプレイシステムにおける動画の表示態様を例示する第4の図である。 実施形態1の情報処理装置によって実行される処理の流れを例示するフローチャートである。 要約情報をテーブル形式で例示する図である。 所定条件の第1の例に基づいて動画の要約情報を表示させるタイミングを例示する第1の図である。 所定条件の第2の例に基づいて動画の要約情報が表示される様子を例示する図である。 所定条件の第3の例に基づいて動画の要約情報が表示される様子を例示する図である。 要約情報の表示態様を例示する第1の図である。 要約情報の表示態様を例示する第2の図である。 要約情報が生成される様子を例示する第1の図である。 表示制御部がディスプレイシステムに表示すべき要約情報を選択する様子を例示する図である。 要約情報が更新される様子を例示する第1の図である。 要約情報が更新される様子を例示する第2の図である。 実施形態2の情報処理装置の想定環境を例示する図である。 優先度情報をテーブル形式で例示する図である。 滞留時間と要約情報の優先度との関係を例示する図である。 要約情報のスコアの時間変化を例示する図である。
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
[実施形態1]
<情報処理装置2000の動作の概要>
図1は、実施形態1に係る情報処理装置2000の動作を概念的に例示する図である。なお図1は、情報処理装置2000の動作の理解を容易にすることを目的とする例示のための図であり、情報処理装置2000の動作は図1によって何ら限定されない。
カメラ10は、撮像を行って静止画像データ又は動画データを生成する。動画30は、カメラ10の撮像結果に基づく動画データである。
ディスプレイシステム20には、動画30が表示される。これにより、情報処理装置2000のユーザは、動画30を閲覧することができる。例えば情報処理装置2000は、監視映像を監視員に提示する装置である。この場合、カメラ10は、監視対象の場所を撮像する監視カメラである。またこの場合、情報処理装置2000のユーザは、動画30を閲覧することで監視場所を監視する監視員などである。
情報処理装置2000は、動画30の要約情報を生成する。動画30の要約情報は、動画30の内容から得られる任意の情報を示す。例えば要約情報は、動画30に写っている人について、滞留時間や移動の軌跡などを示す。
情報処理装置2000は、動画30の要約情報をディスプレイシステム20に表示させる。図1における要約情報は、動画30に写っている人の移動の軌跡を示す矢印である。
ここで、動画30の要約情報は、ディスプレイシステム20におけるその動画30の表示態様の変化が所定条件を満たしたことに応じて表示される。情報処理装置2000のユーザは、動画30の要約情報を見ることで、過去の動画30の内容を容易に把握することができる。
<情報処理装置2000の構成の概要>
図2は、実施形態1に係る情報処理装置2000をその使用環境と共に例示する図である。情報処理装置2000は、要約部2040及び表示制御部2060を有する。要約部2040は、複数のカメラ10それぞれによって生成される動画30を取得する。さらに要約部2040は、動画30の要約処理を行って、動画30の要約情報を生成する。表示制御部2060は、動画30をディスプレイシステム20に表示させる。ここで、表示制御部2060は、ディスプレイシステム20における動画30の表示態様の変化が所定条件を満たすことに応じて、その動画30の要約情報をディスプレイシステム20に表示させる。
<作用・効果>
本実施形態の情報処理装置2000では、複数のカメラ10によってそれぞれ動画30が生成される。このようなケースにおいて、動画30を閲覧する情報処理装置2000のユーザ(例えば監視員)は、複数の動画30の中から異常の発生などを把握しなければならない。しかし、複数の動画30の内容を把握する作業には大きな労力を必要とする。また、動画30の中の大事なシーンが見落とされてしまう恐れもある。
本実施形態の情報処理装置2000によれば、動画30の内容が要約された要約情報が生成される。また、要約情報は、動画30の表示態様の変化が所定条件を満たすことに応じて、ディスプレイシステム20に表示される。ここで、上記所定条件を適切に定めれば、動画30の内容を簡潔に把握できることがユーザにとって望ましいタイミングで、動画30の要約情報をディスプレイシステム20に表示させることができる。よって、本実施形態の情報処理装置2000によれば、複数の動画30の閲覧が容易になる。その結果、複数の動画30の閲覧に要するユーザの労力の軽減や、重要なシーンが見落とされることの防止などを実現できる。
以下、本実施形態についてさらに詳細に説明する。
<情報処理装置2000のハードウエア構成例>
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図3は、情報処理装置2000を実現するための計算機1000を例示する図である。計算機1000は任意の計算機である。例えば計算機1000は、Personal Computer(PC)、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機1000は、情報処理装置2000を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージ1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージ1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、CPU(Central Processing Unit)や GPU(Graphics Processing Unit)などの演算装置である。メモリ106は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス1080は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。ただし、ストレージデバイス1080は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。
入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース1120は、計算機1000を通信網に接続するためのインタフェースである。この通信網は、例えば LAN(Local Area Network)や WAN(Wide Area Network)である。ネットワークインタフェース1120が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
例えば計算機1000は、ネットワークを介して、カメラ10と通信可能に接続されている。ただし、計算機1000をカメラ10と通信可能に接続する方法は、ネットワークを介した接続に限定されない。また、計算機1000は、カメラ10と通信可能に接続されていなくてもよい。
ストレージ1080は、情報処理装置2000の各機能構成部(要約部2040及び表示制御部2060)を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
なお情報処理装置2000は、複数の計算機1000を用いて実現されてもよい。例えば情報処理装置2000は、要約部2040の機能を実現する第1の計算機1000、及び表示制御部2060の機能を実現する第2の計算機1000という2つの計算機によって実現されうる。この場合、第1の計算機は要約情報を生成するための処理を行う計算機である。一方、第2の計算機は、要約情報をディスプレイシステム20に表示させるための処理を行う計算機である。第2の計算機は、任意の方法により、第1の計算機から要約情報を取得する。
第1の計算機1000と第2の計算機1000は、例えば前述したように、PC、サーバマシン、タブレット端末、又はスマートフォンなどで実現される。ただし、第1の計算機1000は、カメラ10で実現されてもよい。この場合、カメラ10は、自身で生成した動画30について要約処理を行うことで、要約情報を生成する。そして第2の計算機1000は、カメラ10によって生成された要約情報を取得する。このように要約部2040の機能を持たせるカメラ10は、例えば、インテリジェントカメラ、ネットワークカメラ、IP(Internet Protocol)カメラなどと呼ばれるカメラである。
<<カメラ10について>>
カメラ10は、撮像を行って静止画像データ又は動画データを生成する任意のカメラである。動画30は、カメラ10によって生成されるデータに基づいて構成される。例えば動画30は、カメラ10によって生成される動画データである。その他にも例えば、動画30は、カメラ10によって生成される複数の静止画像データのシーケンスで構成される。
カメラ10は、位置が固定されているカメラ(以下、固定カメラ)であってもよいし、位置が固定されていないカメラ(以下、移動カメラ)であってもよい。固定カメラは、例えば壁、柱、又は天井などの様々な場所に固定で設置されるカメラである。固定カメラが設置される場所は、屋内であってもよいし、屋外であってもよい。
なお、固定カメラが設置される壁等は、ある程度の期間位置が固定されていればよく、不動産に限定されない。例えば固定カメラが設置される壁等は、イベント会場などに臨時で設置される仕切りや柱などでもよい。
その他にも例えば、後述の移動カメラとしても利用可能なカメラが装備された移動体を或る場所で停止させ、そのカメラを固定カメラとして用いるようにしてもよい。移動体は、例えば車、バイク、ロボット、又は飛行物体(例えばドローンや飛行船)などである。
移動カメラは、例えば、人に身につけられたり、前述した移動体などに取り付けられたりするカメラである。人に身につけられる移動カメラは、例えば、手で保持するカメラ(ビデオカメラや、スマートフォンなどの携帯端末のカメラ)、又は頭若しくは胸などに固定されるカメラ(ウェアラブルカメラなど)などである。車、バイク、ロボット、又は飛行物体などに取り付けられるカメラは、いわゆるドライブレコーダとして用いるために取り付けられているカメラであってもよいし、情報処理装置2000に提供する動画30を生成するために別途取り付けられるカメラであってもよい。
カメラ10によって撮像される場所は任意である。例えばカメラ10が監視カメラである場合、カメラ10は、監視対象の場所を撮像する。監視対象の場所は、例えば、イベント会場の中やその周辺、又はイベント会場とその最寄り駅との間の経路などである。なお、カメラ10によって撮像される場所は、屋内であってもよいし、屋外であってもよい。
<ディスプレイシステム20について>
ディスプレイシステム20は、1つ又は複数のディスプレイ装置によって構成される。以下、ディスプレイシステム20における動画30の表示態様をいくつか例示する。なお、以下では、ディスプレイシステム20が1つのディスプレイ装置22で構成される例について説明する。
図4は、ディスプレイシステム20における動画30の表示態様を例示する第1の図である。図4のディスプレイ装置22は、動画30を表示するための表示領域24を1つ有する。表示制御部2060は、この表示領域24で、複数の動画30を順番に表示させる。
例えば、2台のカメラ10−1及び対象オブジェクト40−2それぞれにより、動画30−1及び動画30−2が生成されるとする。この場合、表示領域24において、動画30−1、動画30−2、動画30−1、動画30−2、・・・という順に動画30が表示される。
図5は、ディスプレイシステム20における動画30の表示態様を例示する第2の図である。ディスプレイ装置22には、複数の動画30が同時に表示される。具体的には、ディスプレイ装置22上に、サイズが等しい複数の表示領域24が設けられており、各表示領域24において異なる動画30が表示されている。
このケースにおいて、動画30の数(カメラ10の数)が表示領域24の数よりも多いとする。この場合、各表示領域24において、複数の動画30が順に表示される。例えば、動画30の数が8であり、表示領域24の数が4であるとする。この場合、表示制御部2060は、各表示領域24において、2つの動画30を交互に表示させる。
図6は、ディスプレイシステム20における動画30の表示態様を例示する第3の図である。図6のディスプレイ装置22も複数の表示領域24を有する。ただし、図6のディスプレイ装置22には、サイズの異なる2種類の表示領域24がある。表示領域24−2から表示領域24−8のサイズは、いずれも同じサイズである。一方、表示領域24−1のサイズは、他の表示領域24のサイズよりも大きい。
表示領域24−1から領域24−8には、それぞれ異なる動画30が表示される。表示領域24−1に表示される動画30は、例えば、表示制御部2060によって自動で決定される。例えば表示制御部2060は、複数の動画30を、表示領域24−1に順番に表示させる。
その他にも例えば、表示領域24−1に表示される動画30は、情報処理装置2000のユーザによって選択されてもよい。例えば、ディスプレイ装置22がタッチパネルを備えているとする。この場合、ユーザは、表示領域24−2から表示領域24−8のいずれかをタッチする操作を行う。この操作を受けて、表示制御部2060は、タッチされた表示領域24に表示されている動画30の表示位置を、表示領域24−1に変更する。
図7は、ディスプレイシステム20における動画30の表示態様を例示する第4の図である。図7は、サイズが大きい表示領域24を複数有する点を除き、図6と同様である。
ここで前述したように、ディスプレイシステム20は、複数のディスプレイ装置22で構成されてもよい。例えばこの場合、前述の例における複数の表示領域24それぞれが、1つのディスプレイ装置22で実現される。この場合、表示制御部2060は、各ディスプレイ装置22を、前述の例における表示領域24と同様に扱う。
<処理の流れ>
図8は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。要約部2040は、各カメラ10から動画30を取得する(S102)。要約部2040は、動画30の要約情報を生成する(S104)。表示制御部2060は、動画30の表示態様の変化が所定条件を満たした場合(S106:YES)に、その動画30の要約情報をディスプレイシステム20に表示させる(S108)。
なお後述するように、要約情報を生成するための処理(S102及びS104)が実行されるタイミングと、要約情報をディスプレイシステム20に表示させるための処理(S106及びS108)が実行されるタイミングは様々である。そのため、これらの処理は必ずしも、図8に示すようにシーケンシャルに実行される必要はない。要約情報が生成されるタイミングと要約情報が表示されるタイミングの具体的な説明は後述する。
<動画30の取得方法:S102>
要約部2040は動画30を取得する(S102)。要約部2040が動画30を取得する方法は任意である。例えば要約部2040は、カメラ10から送信される動画30を受信する。また例えば、要約部2040は、カメラ10にアクセスし、カメラ10に記憶されている動画30を取得する。
なお、カメラ10は、カメラ10の外部に設けられている記憶装置に動画30を記憶してもよい。この場合、要約部2040は、この記憶装置にアクセスして動画30をする。なお、複数のカメラ10によって生成された各動画30は、同一の記憶装置に記憶されてもよいし、それぞれ異なる記憶装置に記憶されてもよい。
要約部2040の機能をカメラ10に持たせる場合(第1の計算機1000をカメラ10で実現する場合)、要約部2040は、カメラ10の内部の記憶装置(例えば図3のメモリ1060やストレージデバイス1080)に記憶されている動画30を取得する。
<要約情報の内容:S104>
要約部2040は、動画30の要約処理を行って、動画30の要約情報を生成する(S104)。ここで、要約部2040が生成する要約情報の内容について説明する。前述したように、要約情報は、動画30の内容から得られる任意の情報を示す。ただし、要約情報の内容は、ユーザにとって、動画30自体を閲覧するよりも、その動画30の要約情報を閲覧した方が、その動画30の内容を簡潔に把握できるものであることが好適である。言い換えれば、要約情報の内容は、動画30の内容のうち、ユーザにとって重要な内容が簡潔に表されたものであることが好ましい。
ユーザにとって重要な内容は、例えば、動画30に写っているオブジェクトの特徴である。以下、要約情報が或るオブジェクトの特徴を示している場合、そのオブジェクトを「対象オブジェクト」と表記する。
対象オブジェクトとしては、様々な物を扱いうる。例えば対象オブジェクトは人物である。その他にも例えば、対象オブジェクトは、前述した任意の移動物体である。その他にも例えば、対象オブジェクトは、人物や移動物体などによって運搬される物(例えばカバンなどの荷物)であってもよい。
対象オブジェクトの特徴は、例えば、滞留時間、移動時間、移動速度、又は移動の態様などである。滞留時間は、対象オブジェクトが動画30の中で滞留している期間の長さを表す。ここでいう滞留とは、停止又はほとんど動いていないこと(例えば移動範囲の大きさが所定値以下であること)を意味する。移動時間は、対象オブジェクトが動画30の中で移動している期間の長さを表す。ここでいう移動とは、滞留していないこと(例えば移動範囲の大きさが所定範囲より大きいこと)を意味する。移動速度は、対象オブジェクトが移動している期間における対象オブジェクトの移動の速度(例えば平均速度)を表す。移動の態様は、例えば、移動の軌跡(まっすぐ移動しているか又は蛇行しているかなど)を表す。
ここで、対象オブジェクトが移動と滞留を繰り返す場合、要約情報が示す滞留時間は、複数の滞留時間それぞれであってもよいし、複数の滞留時間の統計値(合計値、最頻値、又は平均値など)であってもよい。移動時間、移動速度、及び移動の態様についても同様である。
このような対象オブジェクトの滞留や移動の特徴を示す要約情報を用いることで、例えば、注目すべき対象オブジェクトを特定し、その対象オブジェクトを重点的に監視することができるようになる。例えば、通常は人が立ち止まらない場所に長時間滞留している人物がいる場合、その人物は怪しい行動をしており、注目すべき人物であると考えられる。また、通常は物が放置されない場所に鞄などが放置されている場合、その物は怪しい物であり、注目すべき物であると言える。
なお、対象オブジェクトの特徴は、上述の例に限定されない。対象オブジェクトの特徴の他の例については後述する。
要約部2040は、動画30から対象オブジェクトを検出し、その対象オブジェクトの特徴を算出する。例えば要約部2040は、動画30を構成する各フレームから対象オブジェクトを検出することで対象オブジェクトの位置の変化を算出する。そして、要約部2040は、対象オブジェクトの位置の変化から、前述した滞留時間、移動時間、移動速度、及び移動の態様などを算出する。なお、動画30から複数の異なる対象オブジェクトが検出される場合、要約部2040は、これらの対象オブジェクトそれぞれについて特徴を算出する。
ここで、対象オブジェクトが人物である場合、要約部2040は、対象オブジェクトについて種々の属性の値(以下、属性値)を算出し、これらの属性値を対象オブジェクトの特徴に含めてもよい。人の属性は、例えば、年齢層、性別、国籍、持ち物の有無、又は歩行困難者であるか否かなどである。ここで、歩行困難者とは、動物若しくは他の人物による補助を受けて歩行する人、又は補助具を利用して歩行する人を意味する。歩行困難者を補助する動物は、例えば盲導犬である。歩行困難者が利用する補助具は、例えば松葉杖や車いすなどである。
年齢層の属性値は、年齢層を表す種々の値である。例えば年齢の概数(10代や20代)や、年齢を表す区分(子供、若者、又は老人など)である。性別の属性値は、男性又は女性である。
国籍の属性値は、生まれた国や住んでいる国、又はそれらの国に基づく人の特徴を表す値である。例えば国籍の属性値は、日本人と外国人のいずれかを示す。また例えば、国籍の属性値は、アジア圏、ヨーロッパ圏又はアフリカ圏といった国の区分を示す。また例えば、国籍の属性値は、使用言語(日本語、英語、又は中国語など)を示してもよい。
持ち物の有無の属性値は、種々の持ち物について、その持ち物を持っているか否か又は使っているか否かを示す。例えば持ち物には、杖、車いす、又はベビーカーなどが該当する。例えば杖の有無の属性値は、杖を持っているか否か、又は杖を使っているか否かを表す。
歩行困難者であるか否かの属性値は、その人物が動物若しくは他の人物による補助を受けているか否かや、補助具を利用しているか否かなどを表す。例えば或る人物が歩行困難者であるか否かは、その人物を補助する動物や他の人物の有無によって判定することができる。例えば、要約部2040は、或る人物Aが他の人物Bに支えられている様子を動画30から検出した場合、人物Aは歩行困難者であると判定する。また、要約部2040は、或る人物が盲導犬などの所定の特徴を持つ動物と一緒に移動している様子を動画30から検出した場合、その人物は歩行困難者であると判定する。
その他にも例えば、或る人物が歩行困難者であるか否かは、補助具の利用の有無によって判定することができる。例えば要約部2040は、松葉杖や車いすなどの所定の道具を使っている人物が動画30から検出された場合、その人物は歩行困難者であると判定する。
このような人の属性を示す要約情報を用いることで、例えば、老人や外国人、迷子の子供、又は歩行困難者など、助けを必要としている可能性がある人物を特定し、その人物に着目して監視を行うことができるようになる。また、このような人物の応対をするために、その人物がいる場所へ係員を向かわせるといった対処が可能となる。
図9は、要約情報をテーブル形式で例示する図である。図9のテーブルをテーブル500と呼ぶ。テーブル500は、識別子502及び特徴504という列を有する。識別子502は、対象オブジェクトの識別子である。特徴504は、識別子502で特定される対象オブジェクトの特徴を示す。図9において、特徴504は、滞留時間506や移動時間508などを含む。
<要約情報を表示させるタイミング:S106>
表示制御部2060は、ディスプレイシステム20において或る動画30の表示態様の変化が所定条件を満たしたことを検出する(S106)。この所定条件としては、様々なものを採用することができる。以下、この所定条件について、いくつか例示する。以下の説明において、動画30−1は、カメラ10−1によって生成される動画30である。
<<所定条件の例1>>
所定条件は、例えば、「動画30がディスプレイシステム20に表示されない状態から、動画30がディスプレイシステム20に表示される状態に切り替わる」という条件である。
図10は、所定条件の第1の例に基づいて動画30の要約情報を表示させるタイミングを例示する第1の図である。時点t1から時点t2までの間、動画30−1は、ディスプレイシステム20に表示されている。一方、時点t2から時点t3までの間、動画30−1は、ディスプレイシステム20に表示されない。そして、時点t3以降、動画30−1は、再度ディスプレイシステム20に表示される。
表示制御部2060は、上記所定条件が満たされるタイミング、つまりは時点t3に、動画30−1の要約情報をディスプレイシステム20に表示させる。
ここで、表示制御部2060がディスプレイシステム20に表示させる要約情報は、動画30の表示態様が第1の表示態様から第2の表示態様に切り替わる第1時点と、動画30の表示態様が第2の表示態様から第1の表示態様に切り替わる第2時点との間の期間について生成された要約情報とすることが好適である。例えば図10の例において、第1時点は、動画30がディスプレイシステム20に表示される状態から、動画30がディスプレイシステム20に表示されない状態に切り替わる時点、すなわち時点t2である。一方、第2時点は、動画30がディスプレイシステム20に表示されない状態から、動画30がディスプレイシステム20に表示される状態に切り替わる時点、すなわち時点t3である。つまり、時点t2から時点t3の間の期間について生成された要約情報をディスプレイシステム20に表示させる。
このような期間の要約情報をディスプレイシステム20に表示させることで、動画30−1がディスプレイシステム20に表示されなかった期間、つまりは動画30−1をユーザが閲覧することができなかった期間についての動画30の要約情報がディスプレイシステム20に表示される。時点t3においてこの要約情報を見ることで、ユーザは、動画30−1を閲覧できなかった期間にカメラ10−1の撮像範囲で起こっていたことを容易に把握することができる。
<<所定条件の例2>>
所定条件は、例えば、「ディスプレイシステム20において、動画30が比較的小さいサイズで表示される状態から、動画30が比較的大きいサイズで表示される状態に切り替わる」という条件である。
図11は、所定条件の第2の例に基づいて動画30の要約情報が表示される様子を例示する図である。時点t1から時点t2において、動画30−1は、ディスプレイシステム20の表示領域24−1に表示されている。一方、時点t2からt3の間、動画30−1は、ディスプレイシステム20の表示領域24−2に表示されている。そして、時点t3以降、動画30−1は、再度表示領域24−1に表示される。
ここで、表示領域24−1のサイズは、表示領域24−2のサイズよりも大きい。よって、動画30−1は、時点t2から時点t3までの間、比較的小さいサイズでディスプレイシステム20に表示される。
表示制御部2060は、上記所定条件が満たされるタイミング、つまりは時点t3に、動画30−1の要約情報をディスプレイシステム20に表示させる。
このケースにおいて、例えば表示制御部2060は、時点t2からt3の期間の動画30について生成された要約情報をディスプレイシステム20に表示させる。時点t2は、「ディスプレイシステム20において、動画30が比較的大きいサイズで表示される状態から、動画30が比較的小さいサイズで表示される状態に切り替わる」という条件が満たされる時点である。時点t2からt3の期間は、動画30−1がディスプレイシステム20に小さく表示される期間であるため、ユーザにとって動画30−1が閲覧しづらい期間であるといえる。よって、このような期間の動画30の要約情報を時点t3において見ることで、ユーザは、動画30−1を閲覧しづらかった期間にカメラ10−1の撮像範囲で起こっていたことを容易に把握することができる。
<<所定条件の例3>>
所定条件は、例えば、「ディスプレイシステム20において、動画30がユーザの視界に比較的入りにくい位置に表示されるという状態から、動画30がユーザの視界に比較的入りやすい位置に表示されるという状態に切り替わる」という条件である。
図12は、所定条件の第3の例に基づいて動画30の要約情報が表示される様子を例示する図である。時点t1から時点t2において、動画30−1は、ディスプレイシステム20の表示領域24−1に表示されている。一方、時点t2からt3の間、動画30−1は、ディスプレイシステム20の表示領域24−2に表示されている。そして、時点t3以降、動画30−1は、再度表示領域24−1に表示される。
ここで、表示領域24−1は、ユーザの正面方向がディスプレイシステム20と交わる位置にあるとする。よって、表示領域24−2は、表示領域24−1と比較し、情報処理装置2000のユーザの正面方向がディスプレイシステム20と交わる位置から遠い。したがって、時点t2から時点t3の間、動画30−1は、その他の期間よりもユーザにとって閲覧しづらいといえる。
表示制御部2060は、上記所定条件が満たされるタイミング、つまりは時点t3に、動画30−1の要約情報をディスプレイシステム20に表示させる。
このケースにおいて、例えば表示制御部2060は、時点t2からt3の期間の動画30について生成された要約情報をディスプレイシステム20に表示させる。時点t2は、「ディスプレイシステム20において、動画30がユーザの視界に比較的入りやすい位置に表示されるという状態から、動画30がユーザの視界に比較的入りにくい位置に表示されるという状態に切り替わる」という条件が満たされる時点である。このように要約情報を生成することで、要約情報を見るユーザは、動画30−1を閲覧しづらかった期間にカメラ10−1の撮像範囲で起こっていたことを容易に把握することができる。
ここで、前述した「ユーザの正面方向」は、例えば、ユーザの顔の正面方向、ユーザの胴体の正面方向、又はユーザの視線方向などとすることができる。ここで、ユーザの位置が固定されている場合(例えばユーザが座る椅子の位置が固定されている場合)、各表示領域24と、ユーザの正面方向がディスプレイシステム20に交わる位置との関係は、予め定めておくことができる。
その他にも例えば、要約部2040は、ユーザを撮像するカメラによって生成される画像を解析することで、ユーザの正面方向を特定してもよい。こうすることで、要約部2040は、各表示領域24と、ユーザの正面方向がディスプレイシステム20に交わる位置との関係を算出することができる。なお、ユーザを撮像するカメラは、例えば、ディスプレイシステム20の付近に設けておく。ここで、前述したユーザの顔の正面方向などを特定する具体的な方法には、既存の方法を利用することができる。
また、各表示領域24に対して、ユーザの視界に入りやすい度合いを予め対応づけておいてもよい。この対応付けの情報は、表示制御部2060からアクセス可能な記憶装置に予め記憶させておく。
<<その他の例>>
要約情報がディスプレイシステム20に表示されるタイミングは、動画30の表示態様が所定条件を満たしたタイミングに限定されなくてもよい。例えば情報処理装置2000は、ユーザから、ディスプレイシステム20に表示されている動画30を選択する入力を受け付けたことに応じて、その動画30の要約情報をディスプレイシステム20に表示するようにしてもよい。
<要約情報の表示態様:S108>
表示制御部2060は、動画30の表示態様の変化が所定条件を満たしたことに応じて、その動画30の要約情報をディスプレイシステム20に表示させる(S108)。要約情報の表示態様としては、様々なものを採用することができる。以下、要約情報の具体的な表示態様の例をいくつか説明する。なお、以下の各例において、要約情報は、カメラ10−1が生成する動画30−1について生成されたものである。
図13は、要約情報の表示態様を例示する第1の図である。この例において、カメラ10−1によってリアルタイムで生成されている動画30−1(いわゆるライブ映像)は、ディスプレイシステム20の表示領域24に表示されている。そして、動画30−1の要約情報も、表示領域24に表示されている。
より具体的には、動画30−1の要約情報は、カメラ10−1によって生成されるライブ映像に重畳されて表示されている。図13の要約情報は、動画30−1に写っている対象オブジェクト40が、(1)10秒間の滞留、(2)2秒間の移動、(3)13秒間の滞留、(4)1秒間の移動の順に行動したことを表している。また、矢印は対象オブジェクト40の移動の軌跡を表している。
なお、動画30−1に対象オブジェクト40が複数含まれる場合、各対象オブジェクト40について要約情報が表示される。
図14は、要約情報の表示態様を例示する第2の図である。この例において、カメラ10−1によって生成されているライブ映像は表示領域24−1に表示されている。また、動画30−1の要約情報50−1が、表示領域24−1ではなく、表示領域24−2に表示されている。つまりこの例では、動画30−1の要約情報が表示される表示領域24が、動画30−1が表示される表示領域24と異なる。
ここで、動画30−1について、複数の対象オブジェクト40それぞれに関する要約情報が生成されているとする。この場合、これら複数の要約情報は、1つの表示領域24(図14の表示領域24−2)に表示されてもよいし、異なる表示領域24に表示されてもよい。なお、前者の場合、複数の要約情報は同時に表示されてもよいし、順番に表示されてもよい。
なお、動画30−1の要約情報は、動画30−1がディスプレイシステム20に表示されていないタイミングでディスプレイシステム20に表示されてもよい。例えば、表示制御部2060は、動画30−1について前述した所定条件が満たされたタイミングから所定期間、動画30−1の要約情報をディスプレイ装置22の表示領域24−1に表示させる。その間、表示制御部2060は、その動画30をディスプレイシステム20に表示させない。そして、上記所定期間経過後に、表示制御部2060は、表示領域24−1に動画30を表示させる。
なお、上述の各例において、要約情報は、文字や図形など、静止しているデータで表されている。しかし要約情報は、動画データとして生成されてもよい。この場合、例えば動画30の要約情報は、動画30の一部のフレームを省略することで生成される。例えば要約部2040は、対象オブジェクトが静止している期間について、静止が開始するフレームと静止が終了するフレーム以外のフレームを一つ以上省略する。また例えば、要約部2040は、対象オブジェクトが移動している期間のフレームについて、移動が開始するフレームと移動が終了するフレーム以外のフレームを一つ以上省略する。
なお、動画30の一部のフレームを省略する際、対象オブジェクトの特徴的な動きが含まれるフレームについては省略しないことが好ましい。例えば対象オブジェクトが人物である場合、他の人物と接触している期間や周囲を見回している期間のフレームについては省略しないことが好ましい。
<要約情報を生成するタイミング:S104>
要約部2040は、動画30の要約情報を生成する(S104)。要約部2040が要約情報を生成するタイミングは様々である。以下、そのタイミングについていくつか例示する。
<<要約情報を生成するタイミング1>>
例えば要約部2040は、所定周期で繰り返し動画30の解析を行って、動画30の複数の時間範囲について個別に要約情報を生成する。図15は、要約情報が生成される様子を例示する第1の図である。この例において、要約部2040は、時点t2において、時点t1から時点t2の間の動画30の解析を行い、その結果に基づいて要約情報50−1を生成する。また、要約部2040は、時点t3において、時点t2から時点t3の間の動画30の解析を行い、その結果に基づいて要約情報50−2を生成する。
ここで、時点t1から時点t2において対象オブジェクトは20秒間滞留しており、時点t2から時点t3において対象オブジェクトは30秒間滞留している。そこで、要約部2040は、「滞留時間:20秒」を示す要約情報50−1と、「滞留時間:30秒」を示す要約情報50−2をそれぞれ生成する。
なお、表示制御部2060は、上述のように動画30について周期的に生成される複数の要約情報50のうち、ディスプレイシステム20に表示させるべき要約情報50を選択する。図16は、表示制御部2060がディスプレイシステム20に表示すべき要約情報50を選択する様子を例示する図である。
この例において、表示制御部2060は、時点T1から時点T2の間の動画30に関する要約情報50をディスプレイシステム20に表示させる。時点T1から時点T2の間の動画30について生成された要約情報50は、要約情報50−2及び要約情報50−3である。そこで表示制御部2060は、要約情報50−2及び要約情報50−3をディスプレイシステム20に表示させる。
ただし、要約情報50−1の対象となっている期間である時点t1から時点t2までの一部(時点T0から時点t2)は、時点T1から時点T2の期間と重なっている。そのため、表示制御部2060は、要約情報50−2及び要約情報50−3に加え、要約情報50−1をさらにディスプレイシステム20に表示させてもよい。
このように複数の要約情報50が選択される場合、表示制御部2060は、複数の要約情報50を個別にディスプレイシステム20に表示させてもよいし、複数の要約情報50を一つにまとめる処理(例えば統計処理)を行い、その結果生成された1つの要約情報50をディスプレイシステム20に表示させてもよい。
なお、周期的に行われる要約情報の生成は、常に(例えば情報処理装置2000が起動された時から)繰り返し実行されていてもよいし、特定のタイミングから実行され始めてもよい。例えばこの特定のタイミングは、前述した「動画30の表示態様が第1の表示態様から第2の表示態様に切り替わる第1時点」である。より具体的には、「動画30がディスプレイシステム20に表示される状態から、動画30がディスプレイシステム20に表示されない状態に切り替わる時点」、「ディスプレイシステム20において、動画30が比較的大きいサイズで表示される状態から、動画30が比較的小さいサイズで表示される状態に切り替わる時点」、又は「ディスプレイシステム20において、動画30がユーザの視界に比較的入りやすい位置に表示されるという状態から、動画30がユーザの視界に比較的入りにくい位置に表示されるという状態に切り替わる時点」などである。
<<要約情報を生成するタイミング2>>
この例においても、要約部2040は、所定周期で繰り返し動画30の解析を行う。ただし、要約部2040は、動画30の解析結果に基づいて1つの要約情報50を繰り返し更新する。
図17は、要約情報が更新される様子を例示する第1の図である。この例において、要約部2040は、時点t2において、時点t1から時点t2の間の動画30の解析を行い、その結果に基づいて要約情報50を生成する。その後、要約部2040は、時点t3において、時点t2から時点t3の間の動画30の解析を行い、その結果に基づいて、要約情報50を更新する。時点t1から時点t2における対象オブジェクトの滞留時間が20秒であり、時点t2から時点t3における対象オブジェクトの滞留時間が30秒であったとする。
図17では、上書きによって要約情報50の更新が行われる。そのため要約部2040は、「滞留時間:20秒」という要約情報50の内容を、「滞留時間:30秒」という情報で上書きする。その他にも例えば、要約部2040は、2つの期間における滞留時間の平均値である25秒で要約情報50を上書きするといった処理を行ってもよい。
図18は、要約情報が更新される様子を例示する第2の図である。更新の方法を除き、図18は図17と同様の内容を示す。
図18では、以前の解析結果に新たな解析結果を統合することによって、要約情報50の更新が行われる。そのため要約部2040は、要約情報50に「滞留時間:30秒」という情報を追加している。
<<要約情報を生成するタイミング3>>
要約部2040は、前述した所定条件(ディスプレイシステム20に動画30の要約情報を表示する条件)が満たされたタイミングで、表示すべき要約情報を生成してもよい。この場合、例えば要約部2040は、上記タイミングよりも所定時間前の時点から上記タイミングまでの期間の動画30について、要約情報を生成する。
なお、要約部2040を実現するための第1の計算機1000がカメラ10である場合において、表示制御部2060(第2の計算機1000)は、前述した所定条件が満たされたときに、カメラ10に対して要約情報の生成のリクエストを送信してもよい。要約部2040は、例えばこのリクエストを受信したタイミングで、そのタイミングよりも所定時間前の時点からそのタイミングまでの期間の動画30について、要約情報を生成する。そして表示制御部2060は、カメラ10によって生成された要約情報を取得する。
[実施形態2]
実施形態2の情報処理装置2000は、実施形態1の情報処理装置2000と同様に、図1で示される。下記で説明する事項を除き、実施形態2の情報処理装置2000は、実施形態1の情報処理装置2000と同様の機能を有する。
実施形態2の表示制御部2060は、それぞれ異なる動画30から生成された複数の要約情報をディスプレイシステム20に表示させる場合に、各要約情報の優先度を考慮して、要約情報をディスプレイシステム20に表示させる。
図19は、実施形態2の情報処理装置2000の想定環境を例示する図である。この例において、動画30の要約情報は、動画30が表示される表示領域24とは異なる表示領域24に表示される。より具体的には、ディスプレイシステム20がディスプレイ装置22を1つ有し、ディスプレイ装置22が3つの表示領域24−1から表示領域24−3を含む。そして、表示領域24−1には動画30−1と動画30−2が交互に表示され、表示領域24−2には動画30−3と動画30−4が交互に表示され、表示領域24−3にはいずれかの要約情報が表示される。そして、動画30−1の要約情報の優先度は、動画30−3の要約情報の優先度よりも高いとする。
この場合において、動画30−1の表示態様の変化と動画30−3の表示態様の変化が、いずれも所定条件を満たしたとする。ここで、表示領域24−3には、動画30−1の要約情報と動画30−3の要約情報のいずれか一方のみを表示させるとする。
そこで表示制御部2060は、動画30−1の要約情報と動画30−3の要約情報のうち、優先度が高い動画30−1の要約情報を表示領域24−3に表示させる。なおこの場合、表示制御部2060は、動画30−1の要約情報のみを表示領域24−3に表示させてもよいし、動画30−1の要約情報を先に表示領域24−3に表示させ、その後に動画30−3の要約情報を表示領域24−3に表示させてもよい。
ここで、優先度に基づいて要約情報を表示する処理は、表示すべき要約情報の数が、要約情報の表示に利用できる表示領域の数よりも多い場合に必要となる。このようなケースは、図19を用いて例示したケースに限られない。
例えばディスプレイシステム20が、図7に示したレイアウトを有するとする。そして、表示領域24−1から表示領域24−9それぞれでは、2つの動画30が交互に表示されるとする。これに対し、表示領域24−10では、いずれか1つの動画30の要約情報が表示されるとする。
このケースにおいて、2つ以上の動画30の表示態様の変化がいずれも所定条件を満たすと、表示すべき要約情報の数が2つ以上になる。一方で、要約情報の表示に利用できる表示領域の数は1つである。よって、表示すべき要約情報の数が、要約情報の表示に利用できる表示領域24の数よりも多くなりうる。そこで表示制御部2060は、表示すべき要約情報の優先度に従って、表示領域24−10に表示させる要約情報を決定する。
<要約情報の優先度の定め方>
要約情報の優先度を定める方法は様々である。以下、要約情報の優先度の定め方をいくつか例示する。
<<優先度の定め方1>>
各カメラ10に対して優先度を定めておく。そして、カメラ10の優先度を、そのカメラ10によって生成された動画30の要約情報の優先度とする。例えば、動画30−1の要約情報の優先度は、動画30−1を生成するカメラ10−1に対応づけられている優先度となる。以下、カメラ10の優先度を示す情報を優先度情報と呼ぶ。
図20は、優先度情報をテーブル形式で例示する図である。図20のテーブルをテーブル600と呼ぶ。テーブル600は、カメラ識別子602及び優先度604を有する。カメラ識別子602は、カメラ10の識別子を表す。優先度604は、カメラ10に対応づけられた優先度を示す。
優先度情報(例えばテーブル600)は、予め表示制御部2060からアクセス可能な記憶装置に記憶させておく。この記憶装置は、情報処理装置2000の内部に設けられていてもよいし、情報処理装置2000の外部に設けられていてもよい。
<要約情報の優先度の定め方2>
要約情報の優先度は、その要約情報の内容に基づいて定められてもよい。例えば表示制御部2060は、要約情報に示されている何らかの数値を、要約情報の優先度として扱う。例えば、要約情報が対象オブジェクトの滞留時間を示す場合、表示制御部2060は、滞留時間の値を要約情報の優先度として扱う。こうすることで、対象オブジェクトの滞留時間が長い動画30の要約情報ほど優先度が高くなる。ただし、優先度として扱われる数値は、滞留時間に限定されない。
その他にも例えば、表示制御部2060は、要約情報の内容からその要約情報のスコアを算出する規則(例えば関数)を用いてその要約情報のスコアを算出し、そのスコアを優先情報の優先度として扱ってもよい。以下では、滞留時間と要約情報のスコアとを対応づける規則の一例を説明する。
図21は、滞留時間と要約情報の優先度との関係を例示する図である。横軸は動画30に写っている人物の滞留時間、縦軸はその動画30の要約情報のスコアを示している。ここで、スコアの最大値は100である。
この例では、人物が滞留を始めた時に要約情報のスコアが最大となっている。そして、滞留時間が長くなるほど要約情報のスコアが小さくなる。
ただし、滞留時間が所定値t1となったタイミングで、要約情報のスコアが大きくなる。こうすることで、所定値以上の長い時間滞留している人物の要約情報がディスプレイシステム20に表示されやすくなる。
なお、要約情報のスコアを算出する規則には、所定のイベントの発生に応じてスコアを大きくする規則が含まれてもよい。例えば所定のイベントは、他の人物との接触である。
図22は、要約情報のスコアの時間変化を例示する図である。図22において要約情報のスコアを算出する規則は、(1)図21で示した規則、及び(2)他の人物との接触に応じてスコアを大きくする規則の組み合わせで定義される。
この例では、滞留している人物が、時点t2において他の人と接触している。そのため、時点t2において要約情報のスコアが大きくなっている。
要約情報の優先度は、要約情報に含まれる複数の情報から算出される各スコアを用いて算出されてもよい。例えば表示制御部2060は、以下の数式(1)を用いて、要約情報の優先度を算出する。
Figure 2020191645
数式(1)において、p は要約情報の優先度である。wi は、要約情報に含まれる各情報i(滞留時間など)に与える重みである。di は、要約情報に含まれる情報iの値である。fi は、情報iについて要約情報のスコアを算出する関数である。
<優先度に基づく表示位置の決定>
表示制御部2060は、要約情報の優先度に基づいて、その要約情報の表示位置を決定してもよい。例えば、要約情報を表示させる各表示領域24に対して予め優先度を対応づけておく。そして表示制御部2060は、優先度が高い要約情報ほど、より優先度が高い表示領域24に表示されるように、要約情報と表示領域24とをマッチングさせる。ここで、ユーザにとって見やすい表示領域24ほど優先度を高くすることが好適である。表示領域24の優先度は、表示制御部2060からアクセス可能な記憶装置に予め記憶させておく。
<ハードウエア構成例>
実施形態2の情報処理装置2000は、実施形態1と同様に計算機1000を用いて実現される(図4参照)。本実施形態において、前述したストレージ1080に記憶される各プログラムモジュールには、本実施形態で説明した各機能を実現するプログラムがさらに含まれる。
<作用・効果>
本実施形態の情報処理装置2000は、それぞれ異なる動画30について生成された要約情報をディスプレイシステム20に表示させる際に、要約情報の優先度に基づいて、要約情報の表示方法を決定する。こうすることで、例えば、「優先度が高い要約情報ほど情報処理装置2000のユーザにとって見やすくする」といったことが可能となる。よって、重要な情報が見落とされてしまうことをより確実に防ぐことができる。また、情報処理装置2000のユーザにとって、情報処理装置2000の利便性が向上する。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
1. 複数のカメラそれぞれによって生成される動画を取得し、前記取得した動画の要約処理を行って、前記取得した動画の要約情報を生成する要約手段と、
前記動画を表示手段に表示させる表示制御手段と、を有し、
前記表示制御手段は、前記表示手段における前記動画の表示態様の変化が所定条件を満たすことに応じて、その動画の前記要約情報を前記表示手段に表示させる、情報処理装置。
2. 前記表示制御手段は、第1の前記動画の表示態様が、前記表示手段に表示されない態様から、前記表示手段に表示される態様に切り替わることに応じて、第1の前記動画の要約情報を前記表示手段に表示させる、1.に記載の情報処理装置。
3. 前記表示制御手段は、第1の前記動画の表示態様が、第1サイズで前記表示手段に表示される態様から、前記第1サイズよりも大きい第2サイズで前記表示手段に表示される態様に切り替わることに応じて、第1の前記動画の要約情報を前記表示手段に表示させる、1.に記載の情報処理装置。
4. 前記要約手段は、前記表示手段における第1の前記動画の表示態様が第1表示態様から第2表示態様に切り替わる第1時点と、前記表示手段における第1の前記動画の表示態様が前記第2表示態様から前記第1表示態様に切り替わる第2時点との間の期間について生成された第1の前記動画の要約情報を、前記表示手段に表示させる、1.乃至3.いずれか一つに記載の情報処理装置。
5. 第1の前記カメラによって生成される第1の前記動画の表示態様の変化が前記所定条件を満たし、なおかつ第2の前記カメラによって生成される第2の前記動画の表示態様が前記所定条件を満たす場合、前記表示制御手段は、第1の前記動画の前記要約情報及び第2の前記動画の前記要約情報のうち、優先度がより高い前記要約情報を前記表示手段に表示させる、1.乃至4.いずれか一つに記載の情報処理装置。
6. 前記表示制御手段は、前記動画ごとにその動画の要約情報の優先度を記憶する記憶手段から、各前記動画の前記要約情報の前記優先度を取得する、5.に記載の情報処理装置。
7. 前記表示制御手段は、各前記要約情報の内容に基づいてその要約情報の前記優先度を算出する、5.に記載の情報処理装置。
8. 前記表示制御手段は、前記動画と、その動画の過去の期間について生成される前記要約情報とを、前記表示手段における互いに異なる表示領域に表示させる、1.乃至7.いずれか一つに記載の情報処理装置。
9. 前記表示制御手段は、前記動画に対して、その動画の過去の期間について生成される前記要約情報を重畳して、前記表示手段に表示させる、1.乃至7.いずれか一つに記載の情報処理装置。
10. 前記表示制御手段は、前記動画の要約情報が前記表示手段に表示されている間、その動画を前記表示手段に表示させない、1.乃至8.いずれか一つに記載の情報処理装置。
11. コンピュータによって実行される制御方法であって、
複数のカメラそれぞれによって生成される動画を取得し、前記取得した動画の要約処理を行って、前記取得した動画の要約情報を生成する要約ステップと、
前記動画を表示手段に表示させる表示制御ステップと、を有し、
前記表示制御ステップは、前記表示手段における前記動画の表示態様の変化が所定条件を満たすことに応じて、その動画の前記要約情報を前記表示手段に表示させる、制御方法。
12. 前記表示制御ステップにおいて、第1の前記動画の表示態様が、前記表示手段に表示されない態様から、前記表示手段に表示される態様に切り替わることに応じて、第1の前記動画の要約情報を前記表示手段に表示させる、11.に記載の制御方法。
13. 前記表示制御ステップにおいて、第1の前記動画の表示態様が、第1サイズで前記表示手段に表示される態様から、前記第1サイズよりも大きい第2サイズで前記表示手段に表示される態様に切り替わることに応じて、第1の前記動画の要約情報を前記表示手段に表示させる、11.に記載の制御方法。
14. 前記要約ステップにおいて、前記表示手段における第1の前記動画の表示態様が第1表示態様から第2表示態様に切り替わる第1時点と、前記表示手段における第1の前記動画の表示態様が前記第2表示態様から前記第1表示態様に切り替わる第2時点との間の期間について生成された第1の前記動画の要約情報を、前記表示手段に表示させる、11.乃至13.いずれか一つに記載の制御方法。
15. 第1の前記カメラによって生成される第1の前記動画の表示態様の変化が前記所定条件を満たし、なおかつ第2の前記カメラによって生成される第2の前記動画の表示態様が前記所定条件を満たす場合、前記表示制御ステップにおいて、第1の前記動画の前記要約情報及び第2の前記動画の前記要約情報のうち、優先度がより高い前記要約情報を前記表示手段に表示させる、11.乃至14.いずれか一つに記載の制御方法。
16. 前記表示制御ステップにおいて、前記動画ごとにその動画の要約情報の優先度を記憶する記憶手段から、各前記動画の前記要約情報の前記優先度を取得する、15.に記載の制御方法。
17. 前記表示制御ステップにおいて、各前記要約情報の内容に基づいてその要約情報の前記優先度を算出する、15.に記載の制御方法。
18. 前記表示制御ステップにおいて、前記動画と、その動画の過去の期間について生成される前記要約情報とを、前記表示手段における互いに異なる表示領域に表示させる、11.乃至17.いずれか一つに記載の制御方法。
19. 前記表示制御ステップにおいて、前記動画に対して、その動画の過去の期間について生成される前記要約情報を重畳して、前記表示手段に表示させる、11.乃至17.いずれか一つに記載の制御方法。
20. 前記表示制御ステップにおいて、前記動画の要約情報が前記表示手段に表示されている間、その動画を前記表示手段に表示させない、11.乃至18.いずれか一つに記載の制御方法。
21. 11.乃至20.いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Claims (12)

  1. 第1のカメラによって生成される第1の動画及び第2のカメラによって生成される第2の動画を取得し、前記取得した第1の動画の要約処理を行って、前記取得した第1の動画の要約情報を生成する要約手段と、
    前記第1の動画及び前記第2の動画を表示手段に表示させる表示制御手段と、を有し、
    前記表示制御手段は、前記第1の動画と前記第2の動画との間での表示領域の変化が所定条件を満たすことに応じて、前記第1の動画の前記要約情報を前記表示手段に表示させる、情報処理装置。
  2. 前記表示制御手段は、前記第1の動画が、前記表示領域に表示されない態様から、前記表示領域に表示される態様に切り替わることに応じて、前記第1の動画の要約情報を前記表示手段に表示させる、請求項1に記載の情報処理装置。
  3. 前記表示制御手段は、前記第1の動画の表示領域が、第1サイズから、前記第1サイズよりも大きい第2サイズに切り替わることに応じて、前記第1の動画の要約情報を前記表示手段に表示させる、請求項1に記載の情報処理装置。
  4. 前記要約手段は、前記表示手段における前記第1の動画の表示領域が第1表示態様から第2表示態様に切り替わる第1時点と、前記表示手段における前記第1の動画の表示領域が前記第2表示態様から前記第1表示態様に切り替わる第2時点との間の期間について生成された前記第1の動画の要約情報を、前記表示手段に表示させる、請求項1乃至3いずれか一項に記載の情報処理装置。
  5. 前記第1のカメラによって生成される前記第1の動画の表示領域の変化が前記所定条件を満たし、なおかつ前記第2のカメラによって生成される前記第2の動画の表示領域が前記所定条件を満たす場合、前記表示制御手段は、前記第1の動画の前記要約情報及び前記第2の動画の前記要約情報のうち、優先度がより高い前記要約情報を前記表示手段に表示させる、請求項1乃至4いずれか一項に記載の情報処理装置。
  6. 前記表示制御手段は、前記動画ごとにその動画の要約情報の優先度を記憶する記憶手段から、各前記動画の前記要約情報の前記優先度を取得する、請求項5に記載の情報処理装置。
  7. 前記表示制御手段は、各前記要約情報の内容に基づいてその要約情報の前記優先度を算出する、請求項5に記載の情報処理装置。
  8. 前記表示制御手段は、前記第1の動画と、当該第1の動画の過去の期間について生成される前記要約情報とを、前記表示手段における互いに異なる表示領域に表示させる、請求項1乃至7いずれか一項に記載の情報処理装置。
  9. 前記表示制御手段は、前記第1の動画に対して、当該第1の動画の過去の期間について生成される前記要約情報を重畳して、前記表示手段に表示させる、請求項1乃至7いずれか一項に記載の情報処理装置。
  10. 前記表示制御手段は、前記第1の動画の要約情報が前記表示手段に表示されている間、当該第1の動画を前記表示手段に表示させない、請求項1乃至8いずれか一項に記載の情報処理装置。
  11. コンピュータによって実行される制御方法であって、
    第1のカメラによって生成される第1の動画及び第2のカメラによって生成される第2の動画を取得し、前記取得した第1の動画の要約処理を行って、前記取得した第1の動画の要約情報を生成する要約ステップと、
    前記第1の動画及び前記第2の動画を表示手段に表示させる表示制御ステップと、を有し、
    前記表示制御ステップは、前記表示手段における前記第1の動画と前記第2の動画との間での表示領域の変化が所定条件を満たすことに応じて、前記第1の動画の前記要約情報を前記表示手段に表示させる、制御方法。
  12. 請求項11に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
JP2020122116A 2020-07-16 2020-07-16 情報処理装置、制御方法、及びプログラム Active JP7052833B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020122116A JP7052833B2 (ja) 2020-07-16 2020-07-16 情報処理装置、制御方法、及びプログラム
JP2022047902A JP2022082627A (ja) 2020-07-16 2022-03-24 情報処理方法、情報処理システム及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020122116A JP7052833B2 (ja) 2020-07-16 2020-07-16 情報処理装置、制御方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018548529A Division JP6740539B2 (ja) 2016-11-07 2016-11-07 情報処理装置、制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022047902A Division JP2022082627A (ja) 2020-07-16 2022-03-24 情報処理方法、情報処理システム及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2020191645A true JP2020191645A (ja) 2020-11-26
JP7052833B2 JP7052833B2 (ja) 2022-04-12

Family

ID=73454805

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020122116A Active JP7052833B2 (ja) 2020-07-16 2020-07-16 情報処理装置、制御方法、及びプログラム
JP2022047902A Pending JP2022082627A (ja) 2020-07-16 2022-03-24 情報処理方法、情報処理システム及び情報処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022047902A Pending JP2022082627A (ja) 2020-07-16 2022-03-24 情報処理方法、情報処理システム及び情報処理装置

Country Status (1)

Country Link
JP (2) JP7052833B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107661A1 (ja) 2020-11-18 2022-05-27 サトーホールディングス株式会社 プリンタ

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644470A (ja) * 1992-07-24 1994-02-18 Ibiden Co Ltd セキュリティシステム
JP2001320699A (ja) * 2000-02-28 2001-11-16 Hitachi Kokusai Electric Inc 侵入物体監視方法及び侵入物体監視システム
JP2006202062A (ja) * 2005-01-20 2006-08-03 Toshiba Corp 施設監視システム
WO2014021004A1 (ja) * 2012-07-31 2014-02-06 日本電気株式会社 画像処理システム、画像処理方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107113399A (zh) * 2014-06-30 2017-08-29 日本电气株式会社 图像处理装置、监视系统、图像处理方法和程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644470A (ja) * 1992-07-24 1994-02-18 Ibiden Co Ltd セキュリティシステム
JP2001320699A (ja) * 2000-02-28 2001-11-16 Hitachi Kokusai Electric Inc 侵入物体監視方法及び侵入物体監視システム
JP2006202062A (ja) * 2005-01-20 2006-08-03 Toshiba Corp 施設監視システム
WO2014021004A1 (ja) * 2012-07-31 2014-02-06 日本電気株式会社 画像処理システム、画像処理方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107661A1 (ja) 2020-11-18 2022-05-27 サトーホールディングス株式会社 プリンタ

Also Published As

Publication number Publication date
JP2022082627A (ja) 2022-06-02
JP7052833B2 (ja) 2022-04-12

Similar Documents

Publication Publication Date Title
US20230410510A1 (en) Information processing apparatus, control method, and program
JP6814673B2 (ja) 移動経路予測装置、及び移動経路予測方法
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
US10509957B2 (en) System and method for human pose estimation in unconstrained video
CN103955272A (zh) 一种终端设备用户姿态检测系统
JP2011029737A (ja) 監視映像検索装置及び監視システム
WO2014199505A1 (ja) 映像監視システム、監視装置
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
JP2022020891A (ja) 混雑情報報知システム
JP7052833B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2021175153A (ja) 混雑情報報知システム
US11804078B2 (en) Information processing apparatus, control method, and program
US10572722B2 (en) Display apparatus and display method
JP2022019988A (ja) 情報処理装置、ディスプレイ装置、及び制御方法
US11380187B2 (en) Information processing apparatus, control method, and program
JP6992881B2 (ja) 情報処理装置、制御方法、及びプログラム
Zhou et al. An eye-tracking dataset for visual attention modelling in a virtual museum context
JP7501747B2 (ja) 情報処理装置、制御方法、及びプログラム
KR20200081026A (ko) 증강 현실 서비스를 제공하는 서버, 단말 및 방법
US20170078618A1 (en) Display control device, display control system, and display control method
Handa et al. Development of privacy protection monitoring systems using skeleton models and their evaluation on the viewpoint of fuben-eki
Lee et al. Augmented reality based vision system for network based mobile robot
CN115514913B (zh) 视频数据处理方法和装置、电子设备及存储介质
US11936839B1 (en) Systems and methods for predictive streaming of image data for spatial computing
WO2023152889A1 (ja) 監視装置、監視システム、監視方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R151 Written notification of patent or utility model registration

Ref document number: 7052833

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151