JP2020129763A - 動画再生装置、動画再生方法及びプログラム - Google Patents

動画再生装置、動画再生方法及びプログラム Download PDF

Info

Publication number
JP2020129763A
JP2020129763A JP2019021952A JP2019021952A JP2020129763A JP 2020129763 A JP2020129763 A JP 2020129763A JP 2019021952 A JP2019021952 A JP 2019021952A JP 2019021952 A JP2019021952 A JP 2019021952A JP 2020129763 A JP2020129763 A JP 2020129763A
Authority
JP
Japan
Prior art keywords
period
event
moving image
reproduction
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019021952A
Other languages
English (en)
Other versions
JP2020129763A5 (ja
JP7218198B2 (ja
Inventor
弘隆 関
Hirotaka Seki
弘隆 関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019021952A priority Critical patent/JP7218198B2/ja
Priority to US16/784,126 priority patent/US11361797B2/en
Publication of JP2020129763A publication Critical patent/JP2020129763A/ja
Publication of JP2020129763A5 publication Critical patent/JP2020129763A5/ja
Application granted granted Critical
Publication of JP7218198B2 publication Critical patent/JP7218198B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G11B31/006Arrangements for the associated working of recording or reproducing apparatus with related apparatus with video camera or receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】イベントが発生した場合に、イベントに関連する事象を検索可能な期間の動画を再生することを目的とする。【解決手段】動画の記録期間において発生したイベントが選択された場合に、動画の一部の期間であって、イベントが継続する期間であるイベント期間からオブジェクトを検出し、検出されたオブジェクトを動画において検出するオブジェクト検出手段と、イベント期間の動画から検出されたオブジェクトが動画に出現しているオブジェクト出現期間を特定する特定手段と、オブジェクト出現期間に応じた期間の動画を再生するよう制御する表示制御手段とを有する。【選択図】図3

Description

本発明は、動画再生装置、動画再生方法及びプログラムに関する。
従来から、記録された映像に対して例えば各章のチャプタを表示したり、特定のシーンなどのタグ情報を付随させ、ユーザがキーワードを指定して候補一覧を表示したりするなど、効率的に再生を行う動画再生機器が製品化されている。また、特許文献1には、イベントが発生した場合に、イベントの発生前後の監視映像を表示する技術が開示されている。
特開2007−251646号公報
従来の動画再生機器においては、指定された特定のシーン、または特定のシーンの前後数秒間を延長した期間の動画を再生するのが一般的である。しかしながら、特定のシーン内のオブジェクトのオブジェクト一連の動きを追いたいという要望がある。また、監視カメラで記録された映像において特定のシーンにおいて発生した事件などのイベントにより引き起こされた事案を判別したいという要望があった。
本発明はこのような問題点に鑑みなされたもので、イベントが発生した場合に、イベントに関連する事象を検索可能な期間を再生期間として、動画を再生することを目的とする。
そこで、本発明は、動画再生装置であって、動画の記録期間において発生したイベントを処理対象として取得する取得手段と、前記動画の一部の期間であって、前記イベントが継続する期間であるイベント期間からオブジェクトを検出し、検出された前記オブジェクトを前記動画において検出するオブジェクト検出手段と、前記イベント期間の動画から検出された前記オブジェクトが動画に出現しているオブジェクト出現期間を特定する特定手段と、前記オブジェクト出現期間に応じた期間の動画を再生するよう制御する表示制御手段とを有することを特徴とする。
本発明によれば、イベントが発生した場合に、イベントに関連する事象を検索可能な期間の動画を再生することができる。
実施形態に係る動画再生装置のハードウェア構成図である。 動画再生装置の機能構成図である。 再生表示処理を示すフローチャートである。 音声設定画面の表示例を示す図である。 他の例に係る音声設定画面を示す図である。 検出期間画面の一例を示す図である。 再生期間決定処理を示すフローチャートである。 全動画の期間、イベントの探索範囲及びイベント期間の一例を示す図である。 オブジェクト出現期間テーブルの一例を示す図である。 オブジェクト出現期間を模式的に示す図である。 オブジェクト出現期間を模式的に示す図である。 オブジェクト出現期間を模式的に示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
図1は、実施形態に係る動画再生装置100のハードウェア構成図である。動画再生装置100は、CPU101と、ROM102と、RAM103と、HDD104と、表示部105と、スピーカ106と、入力部107と、通信部108と、時計部109とを有している。CPU101は、ROM102に記憶された制御プログラムを読み出して各種処理を実行する。RAM103は、CPU101の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD104は、各種データや各種プログラム等を記憶する。表示部105は、各種情報を表示する。表示部105は、例えば、動画の再生表示を行う。表示部105はまた、メニュー画面等を表示する。スピーカ106は、音声を出力する。入力部107は、キーボードやマウス、ジョイスティックなどであり、ユーザによる各種操作を受け付ける。なお、表示部105と入力部107は、タッチパネルとして一体に設けられていてもよい。通信部108は、ネットワークを介して外部装置との通信処理を行う。時計部109は、時刻を計測する。
なお、後述する動画再生装置100の機能や処理は、CPU101がROM102又はHDD104に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、CPU101は、ROM102等に替えて、SDカード等の記録媒体に格納されているプログラムを読み出してもよい。
また、他の例としては、動画再生装置100の機能や処理の少なくとも一部は、例えば複数のCPU、RAM、ROM、及びストレージを協働させることにより実現してもよい。また、他の例としては、動画再生装置100の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。
図2は、動画再生装置100の機能構成図である。動画再生装置100は、通信処理部201と、動画DB202と、受付部203と、処理対象設定部204と、イベント検出部205と、イベント期間特定部206と、オブジェクト検出部207と、再生期間決定部208と、出力処理部209と、を有している。
通信処理部201は、外部機器との通信を制御する。動画DB202は、1または2以上の動画を格納している。本実施形態の動画DB202は、通信処理部201を介して監視カメラにより撮影された動画を格納しているものとする。なお、動画には、音声が付随しているものとする。受付部203は、ユーザ操作に応じて各種情報を受け付ける。受付部203は、例えば、映像の選択指示などを受け付ける。処理対象設定部204は、ユーザ操作に応じて、処理対象の動画、探索対象のイベント、イベントの探索範囲を設定する。
イベント検出部205は、ユーザ操作などにより指定されたイベントを検出する。本実施形態のイベント検出部205は、異常音をイベントとして検出する。具体的には、ユーザ操作により異常音の音声特徴量が指定されると、イベント検出部205は、指定された音声特徴量に基づいて検出された音声を異常音(イベント)として特定する。なお、イベントは、異常音などの音声に限定されるものではない。他の例としては、イベント検出部205は、動画から画像特徴量に基づいて置き去りや持ち去りといったイベント、所定の人数以上の人物が存在するといったイベントなどを検知してもよい。また、イベント検出部205がイベントを検索する範囲は、処理対象の動画の記録期間とする。
イベント期間特定部206は、イベントが継続している期間を特定する。具体的には、イベント期間特定部206は、時計部109の計測結果を参照し、イベントの開始時刻および終了時刻を特定する。そして、イベント期間特定部206は、イベントの開始時刻から終了時刻までの期間をイベント期間として特定する。オブジェクト検出部207は、処理対象の動画において、オブジェクトを検出する。本実施形態においては、オブジェクト検出部207は、人物の検出を行うものとするが、オブジェクトは人物に限定されるものではない。また、オブジェクト検出部207は、フレーム間の画素の差分やオブジェクト抽出などによりオブジェクトを検出するものとするが、オブジェクト検出のための具体的な処理は実施形態に限定されるものではない。なお、イベント検出結果、イベント期間、などの情報は、動画のメタデータとして動画に関連付けて動画DB202に格納される。
再生期間決定部208は、オブジェクト検出部207によるオブジェクト検出結果に基づいて、再生期間を決定する。ここで、再生期間とは、処理対象の動画の期間であり、ユーザ操作によりイベントが指定された場合に、イベントに関連する動画として再生する期間である。
出力処理部209は、表示部105やスピーカ106への出力を制御する。出力処理部209は例えば、動画DB202に格納されている動画を表示部105に再生表示するよう制御する。出力処理部209はまた、動画に対応付けられた音声のスピーカ106による再生出力を制御する。出力処理部209は、また表示部105へのメニュー画面などの表示を制御する。
図3は、動画再生装置100による再生表示処理を示すフローチャートである。S301において、まず、処理対象設定部204は、ユーザ操作に応じて処理対象の動画を設定する。具体的には、まず出力処理部209は、動画DB202に格納されている動画のリスト画面を表示部105に表示するよう制御する。そして、ユーザにより一の動画が選択されると、受付部203は、一の動画の選択指示を受け付ける。処理対象設定部204は、この選択指示に係る動画を処理対象の動画として設定する。
次に、S302において、処理対象設定部204は、イベントの探索範囲を設定する。ここで、探索範囲は、処理対象の動画の一部または全部の期間である。処理対象設定部204は、ユーザ操作に応じて探索範囲を設定する。なお、他の例としては、処理対象の動画の全期間が処理対象として予め設定されていてもよい。次に、S303において、処理対象設定部204は、探索対象のイベントを設定する。具体的には、処理対象設定部204は、ユーザ操作に応じて選択されたイベントを、探索対象のイベントとして設定する。
具体的には、S303において、処理対象設定部204は、図4に示す音声設定画面400を表示する。音声設定画面400には、横軸を周波数、縦軸を音量とするグラフ410が表示されている。ユーザは、このグラフ410において、探索を行いたい異常音に対応した周波数と音量(音声特徴)を指定することができる。以下、周波数と音量を音声特徴と称する。なお、図4に示す領域411のように、ある程度の幅を持った音声特徴を指定してもよい。なお、領域411は、周波数は200Hz〜1kHz、音量40dB〜60dBの範囲に対応する。
図5は、他の例に係る音声設定画面500を示す図である。音声設定画面500は、音声の種類と、種類の詳細とを対応付けた情報と、音量とを含んでいる。ユーザは、音声設定画面500において、希望の音声の種類と、音量とを指定することができる。この場合も、処理対象設定部204は、ユーザの指定に応じた周波数と音量の範囲を音声特徴として指定することができる。例えば、ユーザが、「人の声1」、「女性」、「音量大」を選択したとする。この場合、処理対象設定部204は、周波数400Hz〜1kHz、音量60〜80dBの範囲の音声特徴を指定する。
また、他の例としては、処理対象設定部204は、音の長さ、繰り返し頻度など、より細かい条件を特徴音声として追加してもよい。この場合には、追加される条件を指定するための情報が表示部105に表示されるものとする。
次に、S304において、処理対象設定部204は、S302において設定された探索範囲内において、S303において探索対象として設定されたイベントを検出する。このとき、処理対象設定部204は、S303において指定された特徴音声に基づいて、S302において設定された探索範囲において、イベントとしての異常音を検出する。音声検出処理には、音声特徴とのテンプレートマッチングが用いられる。なお、音声検出の具体的な処理は実施形態に限定されるものではない。処理対象設定部204は、イベントが検出された場合には(S304でYES)、音声検出結果を処理対象の動画に対応付けて動画DB202に格納した上で、処理をS306へ進める。処理対象設定部204は、イベントが検出されなかった場合には(S304でNO)、処理をS305へ進める。S305において、出力処理部209は、ユーザにより指定されたイベントが検出されなかった旨を表示部105に表示するよう制御し、再生表示処理を終了する。
S306において、出力処理部209は、S304においてイベントが検出された期間である、検出期間を表示する。検出期間は、イベントの発生時点から終了時点までの期間である。探索範囲において、イベントが複数検出された場合には、各イベントの検出期間を表示する。図6は、検出期間画面600の一例を示す図である。検出期間画面600には、動画再生領域610と、検出期間領域620とが設けられている。動画再生領域610には、動画が再生表示される。検出期間領域620は、横軸を時間として探索範囲を示す領域である。検出期間領域620には、イベントが検出された検出期間621、622、623が選択可能に示されている。
図3に戻り、S306の処理の後、S307において、受付部203は、検出期間の選択指示を受け付けたか否かを判定する。図6の検出期間領域620の検出期間621、622、623のいずれかが選択されると、受付部203は、検出期間の選択指示を受け付ける。受付部203は、選択指示を受け付けるまで待機し、選択指示を受け付けると(S307でYES)、処理をS308へ進める。S308において、オブジェクト検出部207などによる再生期間決定処理が行われる。再生期間決定処理(S308)については、図7を参照しつつ後に詳述する。次に、S309において、出力処理部209は、再生期間の動画および音声を同期して再生する。本処理は、表示制御処理の一例である。以上で、再生表示処理を完了する。
図7は、再生期間決定処理(S308)における詳細な処理を示すフローチャートである。701において、イベント期間特定部206は、S307において受付部203が受け付けた選択指示に係るイベントを処理対象のイベントとして特定する。以下、処理対象のイベントを対象イベントと称する。そして、イベント期間特定部206は、対象イベントが開始してから終了するまでの期間をイベント期間として特定する。具体的には、処理対象設定部204は、時計部109の計測結果に従い、対象イベントの開始時刻と終了時刻とを特定し、対象イベントの開始時刻から終了時刻までの期間をイベント期間として特定する。
次に、S702において、オブジェクト検出部207は、イベント期間を探索範囲とし、動画の探索範囲においてオブジェクトを検出する。オブジェクト検出部207は、動画中に複数のオブジェクトが存在する場合には、複数のオブジェクトそれぞれを検出するものとする。オブジェクト検出部207は、検出されたオブジェクトをROM102等の記憶部に格納する。
次に、S703において、再生期間決定部208は、オブジェクトの検出結果に基づいて、オブジェクト出現期間を特定する。ここで、オブジェクト出現期間とは、イベント期間において検出されたオブジェクトが連続して出現している期間である。イベント期間において複数のオブジェクトが検出された場合には、再生期間決定部208は、複数のオブジェクトそれぞれについてのオブジェクト出現期間を特定する。そして、再生期間決定部208は、オブジェクト出現期間をオブジェクトの識別子に対応付けたオブジェクト出現期間テーブルを作成し、これを記憶部に格納する。具体的には、再生期間決定部208は、イベント期間に検出された各オブジェクトを処理対象とし、動画をイベント期間から早戻し再生を行いつつ、処理対象のオブジェクトを検出できなくなった時刻をオブジェクト出現期間の開始時点として特定する。同様に、再生期間決定部208は、動画をイベント期間から早送り再生を行いつつ、処理対象の動画を検出できなくなった時刻をオブジェクト出現期間の終了時点として特定する。
なお、本実施形態においては、動画再生装置100がオブジェクトの検出を行い、さらにオブジェクト出現期間を特定することとした。ただし、外部機器により、動画に対してオブジェクト検出が行われており、動画に対してオブジェクトの検出期間を示すタグ情報が付与されている場合も考えられる。このような場合には、動画再生装置100は、オブジェクト検出を行う必要はなく、タグ情報に従い、オブジェクト出現期間を特定してもよい。
図8は、全動画の期間、イベントの探索範囲及びイベント期間の一例を示す図である。図8に示すように、開始時刻10:00:00から終了時刻11:00:00までの全動画に対し、開始時刻10:10:00から終了時刻10:20:00までの探索範囲が設定されたものとする。さらに、開始時刻10:15:30から終了時刻10:16:00までの期間がイベント期間として特定されたものとする。図9は、図8に示すイベント期間に対応して得られた、オブジェクト出現期間テーブル900の一例を示す図である。オブジェクト出現期間テーブル900は、イベント期間において検出されたオブジェクトと、オブジェクト出現期間とを対応付けて記憶している。また、本実施形態においては、オブジェクト出現期間として、オブジェクト出現期間の開始時点と終了時点の時刻を記憶している。例えば、オブジェクトAに対し、開始時点10:15:20、終了時点10:15:55がオブジェクト出現期間として格納されている。
次に、S704において、再生期間決定部208は、オブジェクト出現期間に基づいて、再生期間候補を決定する。具体的には、再生期間決定部208は、イベント期間において1つのオブジェクトのみが検出された場合には、このオブジェクトのオブジェクト出現期間を再生期間候補として決定する。一方で、イベント期間において複数のオブジェクトが検出された場合には、再生期間決定部208は、複数のオブジェクトそれぞれのオブジェクト出現期間の開始時刻のうち最も早い開始時刻を特定する。再生期間決定部208はまた、複数のオブジェクトそれぞれのオブジェクト検出期間の終了時刻のうち最も遅い終了時刻を特定する。そして、再生期間決定部208は、複数のオブジェクト出現期間の開始時刻のうち最も早い時刻から、複数のオブジェクト出現期間の終了時刻のうち最も遅い時刻までの期間を再生期間候補として決定する。本処理は、候補決定処理の一例である。
図10は、図9に示す複数のオブジェクトに係るオブジェクト出現期間を模式的に示す図である。オブジェクトA〜Fは、いずれもそのオブジェクト出現期間がイベント期間と重なっている。一方で、オブジェクトX及びオブジェクトYのオブジェクト検出期間は、イベント期間と重なっていない。このため、オブジェクトX及びオブジェクトYは、S702において検出されない。また、オブジェクトCのように、イベント期間内において検出され、いったん消失したのち、再びイベント期間外において検出されたとする。この場合には、イベント期間内において検出されてから連続的に出現している期間のみがオブジェクトCのオブジェクト出現期間となり、イベント期間外においてオブジェクトCが検出された期間はオブジェクト出現期間には含まれないものとする。
図10に示す例においては、オブジェクトDのオブジェクト出現期間の開始時点がオブジェクトA〜オブジェクトFのオブジェクト出現期間の開始時点の中で最も早い。また、オブジェクトFのオブジェクト出現期間の終了時点がオブジェクトA〜からオブジェクトFのオブジェクト出現期間の終了時点の中で最も遅い。したがって、再生期間決定部208は、オブジェクトDのオブジェクト出現期間の開始時点TDsを開始時点Ts、オブジェクトFのオブジェクト出現期間の終了時点TFe終了時点Teとする再生期間候補を決定する。
図7に戻り、S704の処理の後、S705において、再生期間決定部208は、S704において決定した再生期間候補とイベント期間を比較する。再生期間決定部208は、再生期間候補の長さがイベント期間の長さ以上の場合には(S705でYES)、処理をS706へ進める。再生期間決定部208は、再生期間候補の長さがイベント期間の長さ未満の場合には(S705でNO)、処理をS707へ進める。S706において、再生期間決定部208は、再生期間候補を再生期間として決定する。一方、S707においては、再生期間決定部208は、イベント期間を再生期間として決定する。以上で、再生期間決定処理(S308)が完了する。
図10の例では、再生期間候補は、イベント期間よりも長い、したがって、再生期間候補が再生期間として決定される。一方で、図11に示すように、イベント期間において検出されたオブジェクトA〜オブジェクトCから決定された再生期間候補がイベント期間よりも短い場合には、イベント期間が再生期間として決定される。
以上のように、本実施形態に係る動画再生装置100は、ユーザにより指定されたイベントに係るイベント期間に現れるオブジェクトをすべて検出する。そして、すべてのオブジェクトに係るオブジェクト出現期間が含まれる期間を再生期間として決定する。これにより、ユーザは、再生期間の動画を確認することにより、ユーザが指定したイベントに関連したオブジェクトの一連の動きを追うことが可能となる。これにより、ユーザが指定したイベントの原因や、そのイベントにより引き起こされた事案などの判別も可能となる。すなわち、本実施形態の動画再生装置100は、イベントが発生した場合に、イベントに関連する事象を検索可能な期間の動画を再生することができる。
次に、実施形態の第1の変形例について説明する。動画再生装置100は、再生期間候補が短い場合に、ある程度の長さの再生時間を確保すればよく、そのための具体的な処理は、実施形態において説明した、S705、S707の処理に限定されるものではない。すなわち、再生期間決定部208は、再生期間候補が予め設定された期間よりも短い場合に、再生期間候補よりも長い期間を再生期間とし、再生期間候補が予め設定された期間よりも長い場合には、再生期間候補を再生期間とすればよい。ここで、予め設定された期間はイベント期間よりも長くてもよく、またイベント期間よりも短くてもよい。いずれ場合においても、再生期間候補が極端に短くなった場合においても、ある程度の長さの期間を再生期間として確保することができる。なお、再生期間候補よりも長い期間を再生期間として決定する際には、再生期間はイベント期間を含むことが好ましい。
次に、第2の変形例について説明する。実施形態においては、再生期間決定部208は、イベント期間において検出されたオブジェクトが連続的に出現する期間をオブジェクト出現期間として特定した。これに変えて、本変形例においては、オブジェクト検出部207は、イベント期間において検出されたオブジェクトを、イベントの探索範囲のすべての範囲に渡って検索する。そして、再生期間決定部208は、探索範囲においてオブジェクトが検出されたすべての期間のうち最も早い期間の開始時点から、最も遅い期間の終了時点までの期間をオブジェクト出現期間として特定してもよい。
例えば、図12に示す例において、オブジェクトAがTAsからTAeの期間のほか、TAsからTAeよりも前の期間で、TAsからTAeの期間と不連続な期間であるTA'sからTA'eの期間において検出されたとする。この場合、TA'sからTAeの期間がオブジェクトAのオブジェクト出現期間となる。つまり、オブジェクトがいったん動画からフレームアウトしたり、消滅したりしたオブジェクトが再びフレームインなどにより動画に現れた場合には、すべて一続きのオブジェクト出現期間として考慮する。
同様に、オブジェクトBがTBsからTBeの期間のほか、TBsからTBeよりも後の期間で、TBsからTBeの期間と不連続な期間であるTB'sからTB'eの期間において検出されたとする。この場合、オブジェクトBのオブジェクト出現期間は、TBsからTB'eとなる。さらに、この場合には、TA'sからTB'eが再生期間候補として決定される。
また、この場合のオブジェクトの探索範囲は、イベントの探索範囲と異なる範囲であってもよい。また、オブジェクトの探索範囲は、イベント期間を基準とした範囲として予め定められていてもよく、ユーザ操作に応じて設定、変更可能であってもよい。
第3の変形例としては、動画再生装置100は、再生期間の動画または再生期間を指定した全動画を外部機器に送信することとしてもよい。
また、第4の変形例としては、動画再生装置100は、撮像部を備えてもよい。すなわち、デジタルビデオカメラが動画再生装置100の機能を有していてもよい。この場合には、再生対象となる動画は、撮像部により撮像された動画である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 動画再生装置
205 イベント検出部
206 イベント期間特定部
207 オブジェクト検出部
208 再生期間決定部
209 出力処理部

Claims (14)

  1. 動画の記録期間において発生したイベントが選択された場合に、前記動画の一部の期間であって、前記イベントが継続する期間であるイベント期間からオブジェクトを検出し、検出された前記オブジェクトを前記動画において検出するオブジェクト検出手段と、
    前記イベント期間の動画から検出された前記オブジェクトが動画に出現しているオブジェクト出現期間を特定する特定手段と、
    前記オブジェクト出現期間に応じた期間の動画を再生するよう制御する表示制御手段と
    を有することを特徴とする動画再生装置。
  2. 前記表示制御手段は、前記オブジェクト出現期間の開始時点から終了時点までの期間の動画を再生するよう制御することを特徴とする請求項1に記載の動画再生装置。
  3. 前記特定手段は、前記イベント期間の動画から複数のオブジェクトが検出された場合に、複数のオブジェクトそれぞれについて前記オブジェクト出現期間を特定し、
    前記表示制御手段は、複数のオブジェクトそれぞれの前記オブジェクト出現期間の開始時点のうち最も早い時点から、複数のオブジェクトそれぞれの前記オブジェクト出現期間の終了時点のうち最も遅い時点までの期間の動画を再生するよう制御することを特徴とする請求項2に記載の動画再生装置。
  4. 前記特定手段は、前記イベント期間の動画から検出されたオブジェクトが連続的に出現している期間を前記オブジェクト出現期間として特定することを特徴とする請求項1乃至3の何れか1項に記載の動画再生装置。
  5. 前記特定手段は、前記イベント期間に記録された動画から検出されたオブジェクトが前記動画に出現している期間が不連続な期間である場合には、不連続な複数の期間それぞれの開始時点のうち最も早い開始時点から、複数の期間それぞれの終了時点のうち最も遅い終了時点までの期間を前記オブジェクト出現期間として特定することを特徴とする請求項1乃至3の何れか1項に記載の動画再生装置。
  6. 前記オブジェクト検出手段は、前記動画のうち予め設定された一部の期間を探索範囲として、前記イベント期間において検出された前記オブジェクトを検出し、
    前記特定手段は、前記探索範囲内において前記オブジェクトが出現している期間が不連続な期間である場合には、不連続な複数の期間それぞれの開始時点のうち最も早い開始時点から、複数の期間それぞれの終了時点のうち最も遅い終了時点までの期間を前記オブジェクト出現期間として特定することを特徴とする請求項5に記載の動画再生装置。
  7. 前記オブジェクト検出手段は、ユーザ操作に応じて設定された、前記動画の一部の期間を探索範囲として、前記イベント期間において検出された前記オブジェクトを検出し、
    前記特定手段は、前記探索範囲内において前記オブジェクトが出現している期間が不連続な期間である場合には、不連続な複数の期間それぞれの開始時点のうち最も早い開始時点から、複数の期間それぞれの終了時点のうち最も遅い終了時点までの期間を前記オブジェクト出現期間として特定することを特徴とする請求項5に記載の動画再生装置。
  8. 前記オブジェクト出現期間に基づいて、動画の再生期間候補を決定する候補決定手段と、
    前記再生期間候補が所定の期間に比べて短い場合に、前記再生期間候補よりも長い期間を再生期間として決定する再生期間決定手段と
    をさらに有し、
    前記表示制御手段は、前記再生期間の動画を再生するよう制御することを特徴とする請求項1乃至7の何れか1項に記載の動画再生装置。
  9. 前記再生期間決定手段は、前記再生期間候補が前記イベント期間に比べて短い場合に、前記再生期間候補よりも長い期間を前記再生期間として決定することを特徴とする請求項8に記載の動画再生装置。
  10. 前記再生期間決定手段は、前記再生期間候補が前記イベント期間に比べて短い場合に、前記イベント期間を前記再生期間として決定することを特徴とする請求項9に記載の動画再生装置。
  11. 前記イベントは、所定の音声であることを特徴とする請求項1乃至10の何れか1項に記載の動画再生装置。
  12. 前記イベントは、前記動画において検出されたイベントであることを特徴とする請求項1乃至10の何れか1項に記載の動画再生装置。
  13. 動画再生装置が実行する動画再生方法であって、
    動画の記録期間において発生したイベントが選択された場合に、前記動画の一部の期間であって、前記イベントが継続する期間であるイベント期間からオブジェクトを検出し、検出された前記オブジェクトを前記動画において検出するオブジェクト検出ステップと、
    前記動画の一部の期間であって、前記イベントが継続する期間であるイベント期間からオブジェクトを検出し、検出された前記オブジェクトを前記動画において検出するオブジェクト検出ステップと、
    前記イベント期間の動画から検出された前記オブジェクトが動画に出現しているオブジェクト出現期間を特定する特定ステップと、
    前記オブジェクト出現期間に応じた期間の動画を再生するよう制御する表示制御ステップと
    を含むことを特徴とする動画再生方法。
  14. コンピュータを、請求項1乃至12の何れか1項に記載の動画再生装置の各手段として機能させるためのプログラム。
JP2019021952A 2019-02-08 2019-02-08 動画再生装置、動画再生方法及びプログラム Active JP7218198B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019021952A JP7218198B2 (ja) 2019-02-08 2019-02-08 動画再生装置、動画再生方法及びプログラム
US16/784,126 US11361797B2 (en) 2019-02-08 2020-02-06 Moving image reproduction apparatus, moving image reproduction method, moving image reproduction system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019021952A JP7218198B2 (ja) 2019-02-08 2019-02-08 動画再生装置、動画再生方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2020129763A true JP2020129763A (ja) 2020-08-27
JP2020129763A5 JP2020129763A5 (ja) 2022-02-08
JP7218198B2 JP7218198B2 (ja) 2023-02-06

Family

ID=71946142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019021952A Active JP7218198B2 (ja) 2019-02-08 2019-02-08 動画再生装置、動画再生方法及びプログラム

Country Status (2)

Country Link
US (1) US11361797B2 (ja)
JP (1) JP7218198B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039229A1 (ja) * 2019-08-30 2021-03-04 日本電気株式会社 処理装置、処理システム、処理方法及びプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065185A (ja) * 2003-08-20 2005-03-10 Sony Corp 情報信号処理装置および情報信号処理方法並びに情報信号処理システムおよび情報信号処理方法並びに情報信号再生装置および情報信号再生方法
WO2006016605A1 (ja) * 2004-08-10 2006-02-16 Sony Corporation 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
JP2007251646A (ja) * 2006-03-16 2007-09-27 Mitsubishi Electric Corp 監視システム、集信装置および映像蓄積配信装置
JP2008511186A (ja) * 2004-08-27 2008-04-10 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド フレームシーケンスを含むビデオにおけるハイライトセグメントを識別する方法
JP2010039877A (ja) * 2008-08-07 2010-02-18 Nippon Telegr & Teleph Corp <Ntt> 要約コンテンツ生成装置および要約コンテンツ生成プログラム
JP2010213050A (ja) * 2009-03-11 2010-09-24 Panasonic Corp 画像処理装置、方法、プログラム、及び媒体
JP2010226251A (ja) * 2009-03-19 2010-10-07 Canon Inc 映像データ表示装置及びその方法
WO2012086616A1 (ja) * 2010-12-22 2012-06-28 株式会社Jvcケンウッド 映像処理装置、映像処理方法及び映像処理プログラム
JP2013183280A (ja) * 2012-03-01 2013-09-12 Nikon Corp 情報処理装置、撮像装置、及びプログラム
WO2013150789A1 (ja) * 2012-04-05 2013-10-10 パナソニック株式会社 動画解析装置、動画解析方法、プログラム、及び集積回路
JP2017118319A (ja) * 2015-12-24 2017-06-29 株式会社日立システムズ 映像検索システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051776A1 (en) * 2005-09-22 2013-02-28 JFDI Engineering Search tool
US20100222140A1 (en) * 2009-03-02 2010-09-02 Igt Game validation using game play events and video
US8787618B2 (en) * 2010-04-13 2014-07-22 Sony Corporation Content information processing device, content information processing method, content information processing program, and personal digital assistant
DE102012217152A1 (de) * 2012-09-24 2014-03-27 Robert Bosch Gmbh Benutzerschnittstellenanordnung sowie Computerprogramm
US20140372424A1 (en) * 2013-06-18 2014-12-18 Thomson Licensing Method and system for searching video scenes
JP6381208B2 (ja) * 2013-12-26 2018-08-29 キヤノン株式会社 画像再生装置、画像再生方法、およびプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065185A (ja) * 2003-08-20 2005-03-10 Sony Corp 情報信号処理装置および情報信号処理方法並びに情報信号処理システムおよび情報信号処理方法並びに情報信号再生装置および情報信号再生方法
WO2006016605A1 (ja) * 2004-08-10 2006-02-16 Sony Corporation 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
JP2008511186A (ja) * 2004-08-27 2008-04-10 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド フレームシーケンスを含むビデオにおけるハイライトセグメントを識別する方法
JP2007251646A (ja) * 2006-03-16 2007-09-27 Mitsubishi Electric Corp 監視システム、集信装置および映像蓄積配信装置
JP2010039877A (ja) * 2008-08-07 2010-02-18 Nippon Telegr & Teleph Corp <Ntt> 要約コンテンツ生成装置および要約コンテンツ生成プログラム
JP2010213050A (ja) * 2009-03-11 2010-09-24 Panasonic Corp 画像処理装置、方法、プログラム、及び媒体
JP2010226251A (ja) * 2009-03-19 2010-10-07 Canon Inc 映像データ表示装置及びその方法
WO2012086616A1 (ja) * 2010-12-22 2012-06-28 株式会社Jvcケンウッド 映像処理装置、映像処理方法及び映像処理プログラム
JP2013183280A (ja) * 2012-03-01 2013-09-12 Nikon Corp 情報処理装置、撮像装置、及びプログラム
WO2013150789A1 (ja) * 2012-04-05 2013-10-10 パナソニック株式会社 動画解析装置、動画解析方法、プログラム、及び集積回路
JP2017118319A (ja) * 2015-12-24 2017-06-29 株式会社日立システムズ 映像検索システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
菅野 勝 他: "DVRへの搭載を目的としたスポーツハイライト動画像生成方式", 電子情報通信学会論文誌, vol. 96, no. 2, JPN7022005993, 1 February 2013 (2013-02-01), JP, pages 316 - 327, ISSN: 0004953414 *

Also Published As

Publication number Publication date
US11361797B2 (en) 2022-06-14
US20200258550A1 (en) 2020-08-13
JP7218198B2 (ja) 2023-02-06

Similar Documents

Publication Publication Date Title
AU2019216671B2 (en) Method and apparatus for playing video content from any location and any time
CN108900902B (zh) 确定视频背景音乐的方法、装置、终端设备及存储介质
US5717468A (en) System and method for dynamically recording and displaying comments for a video movie
JP4241709B2 (ja) 画像処理装置
KR100883066B1 (ko) 텍스트를 이용한 피사체 이동 경로 표시장치 및 방법
JP2014106637A (ja) 情報処理装置および方法、並びにプログラム
JP2016119600A (ja) 編集装置及び編集方法
JP4504452B1 (ja) 映像視聴装置及び映像再生制御方法及び記録再生用プログラム
JP5164367B2 (ja) 画像表示処理装置、処理方法及びプログラム
JP2014209707A (ja) 映像再生装置および映像再生方法
JP2005236428A (ja) コミュニケーション装置、システムおよび表示方法
JP7218198B2 (ja) 動画再生装置、動画再生方法及びプログラム
JP2007124368A (ja) セグメントメタデータ作成装置およびセグメントメタデータ作成方法
EP1988405A2 (en) Photographic subject tracking method, computer program and photographic subject tracking device
JP2008199330A (ja) 動画像管理装置
US10474743B2 (en) Method for presenting notifications when annotations are received from a remote device
US20140270710A1 (en) Optimized audio enabled cinemagraph
JP6632360B2 (ja) 情報処理装置
JP5147737B2 (ja) 撮像装置
JP6579925B2 (ja) 画像再生装置およびその制御方法ならびにプログラムならびに記録媒体
CN111683215A (zh) 录像回放方法、装置、电子设备及计算机可读存储介质
JP6354624B2 (ja) 動画撮像システム、情報処理端末、動画確認方法及びプログラム
JP2004159265A (ja) 記録装置、動画用サムネイル画像作成方法、プログラムおよび記憶媒体
JP5665380B2 (ja) 画像処理装置、画像処理装置の制御方法、プログラム、及び記録媒体
JP2009153077A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220131

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230125

R151 Written notification of patent or utility model registration

Ref document number: 7218198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151