JP2019193089A

JP2019193089A - 映像解析装置

Info

Publication number: JP2019193089A
Application number: JP2018083452A
Authority: JP
Inventors: 唯志竹野; Tadashi Takeno
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2018-04-24
Filing date: 2018-04-24
Publication date: 2019-10-31
Also published as: US20190327451A1; EP3561722A1

Abstract

【課題】運用に即した設定で映像による監視を適切に行うことができる映像解析装置を提供する。【解決手段】実施形態によれば、映像解析装置は、映像インターフェースとプロセッサと通信インターフェースとを有する。映像インターフェースは、カメラが撮影した映像を入力する。プロセッサは、前記インターフェースが入力する映像における人物の行動を解析し、前記映像から監視対象とする行動を検出した場合に前記監視対象とする行動が検出された映像を含む映像部分を設定された切出し範囲で切り出して動画クリップを生成する。通信インターフェースは、前記プロセッサが生成した動画クリップを外部デバイスへ送信する。【選択図】図２

Description

本発明の実施形態は、映像解析装置に関する。

近年、店舗などでは、人手不足の影響などにより利用者自身の操作に応じてサービスを提供するシステムを導入することが多くなってきている。例えば、スーパーマーケットなどの小売店では、利用者の操作によって商品の会計処理を行うセルフＰＯＳを導入する店が増加している。セルフＰＯＳは、利用者自身の操作で商品の登録作業から精算までの処理を実施するため、不正が発生しやすい面がある。従来のセルフＰＯＳでは、商品の重量に基づいて簡易的に不正を検知する「重量チェック」と呼ばれる仕組みを有するものがあるが、重量チェックでは検知できない不正がある。重量チェックでは検知できない不正に対処するため、カメラが撮影する映像によってセルフＰＯＳでの不正を監視することが考えられる。

しかしながら、従来の映像監視システムは、セルフＰＯＳ等を設置した店舗においてカメラが撮影する映像から不正を検知するシステムとしては実用上十分でない。例えば、カメラが撮影する映像を人が常時チェックする方法は、映像を監視する人手を要することとなるため現実的ではない。また、コンピュータによる映像解析で不正検知を行う方法は、不正検知の精度が実用上十分なレベルには達していない。さらに言えば、コンピュータによる映像解析では、機械学習の性質上、不正検知の精度を１００％にすることが困難である。不正検知の精度が１００％でなければ、不正を見逃すことがあるし、逆に不正をしていない人物を不正と判定してしまうことがあり得るという問題がある。

特開２００１−３３１８５９号公報

本発明は、上記した課題を解決するために、運用に即した設定で映像による監視を適切に行うことができる映像解析装置を提供することを目的とする。

実施形態によれば、映像解析装置は、映像インターフェースとプロセッサと通信インターフェースとを有する。映像インターフェースは、カメラが撮影した映像を入力する。プロセッサは、前記インターフェースが入力する映像における人物の行動を解析し、前記映像から監視対象とする行動を検出した場合に前記監視対象とする行動が検出された映像を含む映像部分を設定された切出し範囲で切り出して動画クリップを生成する。通信インターフェースは、前記プロセッサが生成した動画クリップを外部デバイスへ送信する。

図１は、実施形態に係る映像解析装置を含む映像監視システムの構成例を模式的に示す図である。図２は、実施形態に係る映像監視システムにおける各装置の構成例を示すブロック図である。図３は、実施形態に係る映像解析装置における動作例を説明するためのフローチャートである。

以下、本実施形態について、図面を参照しながら説明する。
本実施形態の映像監視システムは、例えば、スーパーマーケットなどの店舗において映像によって人物の行動などを監視するシステムである。本実施形態において、映像監視システムは、セルフＰＯＳなどを含むチェックアウトシステムが設置される店舗において映像による監視を行うものとする。また、本実施形態に係る映像監視システムは、チェックアウトシステムと組み合わせて構成されるものとする。

図１は、実施形態に係る映像監視システムの構成例を模式的に示す図である。図１に示す例では、店舗に映像監視システムを設置した場合の例を示している。
映像監視システムは、サーバ１、ＰＯＳ２、カメラ３、監視カメラ４および監視端末５などを含むシステムである。
サーバ１は、映像監視システムにおける映像解析装置である。本実施形態においては、サーバ１は、セルフＰＯＳ２を含むチェックアウトシステムにおけるストアコンピュータ（店舗サーバ）としての機能を有するものとする。例えば、サーバ１は、チェックアウトシステムのストアコンピュータに映像解析装置として機能するためのソフトウエアをインストールすることで実現しても良い。ただし、映像解析装置とストアコンピュータとは、それぞれ別のサーバで構成するようにしても良い。

映像解析装置としてのサーバ１は、監視カメラ４あるいはカメラ３が撮影する映像によって人物の行動を監視する機能を有する。映像解析装置としてのサーバ１は、監視カメラ４あるいはカメラ３が撮影する映像から監視対象とすべき映像部分を抽出し、抽出した映像を監視端末５へ供給する。ストアコンピュータとしてのサーバ１は、チェックアウトシステムにおける各種の情報を管理する機能を有する。また、サーバ１は、各装置で通信接続するものであればどこに設置しても良く、店舗内に設置しても良いし、店舗外に設置しても良い。

セルフＰＯＳ２は、利用者自身の操作によって商品の代金を決済するための決済端末である。セルフＰＯＳ２は、利用者自身の操作に応じて購入する各商品から商品特定情報を読み取り、読取った商品特定情報に基づく商品代金を決済する会計処理を行う。セルフＰＯＳ２は、それぞれカメラ３に接続され、サーバ１との通信機能を有する。

カメラ３は、各セルフＰＯＳ２に設置される。カメラ３は、セルフＰＯＳ２が具備するものとして構成しても良いし、セルフＰＯＳ２とは別の機器としてセルフＰＯＳ２の近傍に設置するものであっても良い。カメラ３は、セルフＰＯＳ２を操作する利用者などを撮影するように設置される。

監視カメラ４は、店舗内を撮影するためのカメラである。監視カメラ４は、店舗内の天井、壁、商品棚などに設置される。監視カメラ４は、複数台で店舗内の全体を撮影できるように設置される。各監視カメラ４は、サーバ１と接続する機能を有し、撮影した映像をサーバ１へ送信する。

監視端末５は、店舗内の人物を監視員または管理者が監視するための装置である。例えば、監視端末５は、セルフＰＯＳを設置したエリアに常駐するアテンダントが管理する端末であっても良いし、店舗のセキュリティー担当者が管理する端末などであっても良い。監視端末５は、映像解析装置としてのサーバ１から送信される映像データ（動画クリップ）を受信し、受信した動画クリップを人物監視用の映像（監視映像）として表示する。監視端末５は、固定の位置に設置した装置であっても良いし、店員、警備員あるいは管理者などの監視者が所持する携帯型の電子装置であっても良い。例えば、監視端末５は、監視員や管理者が常駐する場所に設置したＰＣであっても良いし、監視員や管理者が携帯するタブレットＰＣやスマートフォン等の端末であっても良い。

次に、実施形態に係る映像監視システムの制御系の構成について説明する。
図２は、実施形態に係る映像監視システムにおけるサーバ１、セルフＰＯＳ２および監視端末５の制御系の構成例を示すブロック図である。
サーバ１は、プロセッサ１１、メモリ１２、通信部１３、カメラＩ／Ｆ１４．Ｉ／Ｆ１５、記憶部１６および映像記録装置１７を有する。
プロセッサ１１は、プログラムを実行することにより種々の処理機能を実現する。メモリ１２は、ＲＯＭなどのプログラムメモリ、ＲＡＭなどのワーキングメモリなどを含む。プロセッサ１１は、メモリ１２が記憶するプログラムを実行することにより種々の処理機能を実現する。

通信部１３は、監視端末５と通信するためのインターフェースである。通信部１３は、監視端末５へ監視映像としての動画クリップを送信するための通信インターフェースである。例えば、通信部１３は、ネットワークを介して監視端末５と通信するためのネットワークインターフェースである。また、通信部１３は、店外の広域ネットワークを介して監視端末５に通信するものであっても良い。

カメラＩ／Ｆ１４は、各監視カメラ４と通信するためのインターフェースである。カメラＩ／Ｆ１４は、各監視カメラ４から映像を入力する映像インターフェースである。カメラＩ／Ｆ１４は、専用ケーブルを介して監視カメラ４と接続するインターフェースであっても良い。また、カメラＩ／Ｆ１４は、無線通信を介して監視カメラ４と接続するインターフェースであっても良い。また、カメラＩ／Ｆ１４は、監視カメラ４が接続された店内のローカルエリアネットワーク（ＬＡＮ）に接続するＬＡＮインターフェースであっても良い。なお、カメラＩ／Ｆ１４には、カメラ３が接続される構成としても良い。

Ｉ／Ｆ１５は、店内のセルフＰＯＳ２と通信するためのインターフェースである。Ｉ／Ｆ１５は、セルフＰＯＳ２に設けたカメラ３から映像を入力する映像インターフェースとして機能する。例えば、Ｉ／Ｆ１５は、店内のＬＡＮを介して各セルフＰＯＳ２と通信接続するためのＬＡＮインターフェースであっても良い。

記憶部１６は、書き換え可能な不揮発性メモリである。例えば、記憶部１６は、ＨＤＤあるいはＳＳＤなどの記憶装置で構成する。記憶部１６は、ストアコンピュータおよび映像記憶装置として機能とするためのプログラムおよび管理データなどを記憶する。例えば、記憶部１６は、後述する映像解析装置としての動作するためのプログラムを記憶する。また、記憶部１６、ストアコンピュータとしての機能するための商品情報などを記憶するようにしても良い。

映像記録装置１７は、監視カメラ４またはカメラ３が撮影した映像を記録する大容量の不揮発性メモリである。映像記録装置１７は、ＨＤＤあるいはＳＳＤなどの書き換え可能な不揮発性の記憶装置で構成する。

例えば、映像記録装置１７は、カメラＩ／Ｆ１４により取得する各監視カメラ４が撮影する映像を撮影時間などの情報とともに常時記憶する。また、映像記録装置１７は、セルフＰＯＳ２に設置するカメラ３が撮影した映像も撮影時間などの情報とともに常時記憶するものとする。また、プロセッサ１１は、映像記録装置１７が記憶する映像に適宜アクセスして人物検知および行動検知などを行う。プロセッサ１１は、人物検知および行動検知などの結果に応じて映像記録装置１７から所望の期間の映像データを抽出する。

なお、映像記録装置１７は、外部の記憶装置で構成しても良い。例えば、映像記録装置１７は、サーバ１に外付けした記憶装置としても良いし、サーバ１と通信接続する別のサーバ装置であっても良い。映像記録装置１７を外部の記憶装置とする場合、サーバ１は、映像記録装置１７としての外部の記憶装置と通信するためのインターフェースを具備するものとすれば良い。

次に、セルフＰＯＳ２における制御系の構成例について説明する。
図２に示す構成例において、セルフＰＯＳ２は、プロセッサ２１、メモリ２２、Ｉ／Ｆ２３、カメラＩ／Ｆ２４、操作部２５、表示部２６、商品識別部２７および決済部２８を有する。
プロセッサ２１は、プログラムを実行することにより種々の処理機能を実現する。メモリ２２は、ＲＯＭなどのプログラムメモリ、ＲＡＭなどのワーキングメモリなどを含む。プロセッサ２１は、メモリ２２が記憶するプログラムを実行することにより種々の処理機能を実現する。例えば、プロセッサ２１は、決済部２８を用いて購入代金を決済する決済処理を行う機能を有する。また、プロセッサ２１は、サーバ１の動作として後述する映像解析装置としての動作を実現するようにしても良い

Ｉ／Ｆ２３は、サーバ１と通信接続するためのインターフェースである。Ｉ／Ｆ２３は、例えば、店内に設置されたＬＡＮを介してサーバ１に通信接続するためのＬＡＮインターフェースで実現できる。なお、セルフＰＯＳ２を映像監視装置として機能させる場合、Ｉ／Ｆ２３は、監視端末５と通信する通信インターフェースとして良い。

カメラＩ／Ｆ２４は、カメラ３と接続するためのインターフェースである。カメラＩ／Ｆ２４は、たとえば、専用ケーブルあるいは無線通信を介してカメラ３と接続するインターフェースで実現できる。また、カメラＩ／Ｆ２４は、カメラ３が接続されたＬＡＮに接続するＬＡＮインターフェースであっても良い。なお、セルフＰＯＳ２を映像監視装置として機能させる場合、カメラＩ／Ｆ２４は、カメラ３から映像を入力する映像インターフェースとして機能する。

操作部２５は、商品登録処理および決済処理に係る操作を入力する操作装置である。操作部２５は、利用者が操作する入力デバイスである。表示部２６は、情報を表示する表示装置である。表示部２６は、商品登録処理および決済処理を行う利用者に対して案内などを表示する。たとえば、表示部２６は、商品特定情報を読み取った商品（登録した商品）に関する商品名などの情報や決済金額などを表示する。操作部２５および表示部２６は、タッチパネル付きの表示装置により構成しても良い。

商品識別部２７は、商品から商品特定情報を読み取る。商品識別部２７は、読取った商品特定情報に基づいて決済する商品を識別する。商品識別部２７は、例えば、商品特定情報としてのバーコードを読取るスキャナで構成する。
決済部２８は、商品の購入金額（決済金額）を決済する。決済部２８は、例えば、キャッシャー（現金処理機）、カード処理装置などを含む。

次に、監視端末５における制御系の構成について説明する。
図２に示す構成例において、監視端末５は、プロセッサ５１、メモリ５２、通信部５３、記憶部５４、表示部５５、および、操作部５６を有する。
プロセッサ５１は、プログラムを実行することにより種々の処理機能を実現する。メモリ５２は、ＲＯＭなどのプログラムメモリ、ＲＡＭなどのワーキングメモリなどを含む。プロセッサ５１は、メモリ５２が記憶するプログラムを実行することにより種々の処理機能を実現する。

通信部５３は、サーバ１と通信するためのインターフェースである。例えば、通信部５３は、ネットワークを介してサーバ１と接続するネットワークインターフェースである。また、通信部５３は、店舗外の広域ネットワークを介してサーバ１と通信するものであっても良い。

記憶部５４は、書換え可能な不揮発性メモリである。例えば、記憶部５４は、ハードディスクドライブ（ＨＤＤ）あるいはソリッドステートドライブ（ＳＳＤ）などの記憶装置で構成する。記憶部５４は、サーバ１から供給される動画クリップなどを記憶する。また、記憶部５４は、プロセッサ５１が実行するプログラムなどがインストールされるようにしても良い。

表示部５５は、情報を表示する表示装置である。例えば、表示部５５は、映像解析装置としてのサーバ１が生成する動画クリップに基づく監視映像を表示する。操作部５６は、店員、警備員あるいは管理者などの監視者が操作を入力する操作装置である。操作部５６は、タッチパネルやキーボードなどの入力デバイスである。例えば、表示部５５および操作部５６は、タッチパネル付きの表示装置により構成される。

次に、本実施形態に係る映像監視システムの動作について説明する。
図３は、本実施形態に係る映像解析装置としてのサーバ１の動作例を説明するためのフローチャートである。
サーバ１は、カメラＩ／Ｆ１４により監視カメラ４が撮影する映像を受信する（ＡＣＴ１１）。サーバ１において、映像記録装置１７は、カメラＩ／Ｆ１４によって受信した監視カメラ４が撮影する映像を撮影日時などの情報とともに記憶する（ＡＣＴ１２）。また、サーバ１は、Ｉ／Ｆ１５によりカメラ３が撮影する映像を各セルフＰＯＳ２から受信する（ＡＣＴ１１）。映像記録装置１７は、Ｉ／Ｆ１５によって受信したカメラ３が撮影する映像も撮影日時などの情報とともに記憶する（ＡＣＴ１２）。サーバ１は、カメラ３および監視カメラ４からの映像についてＡＣＴ１１および１２の処理を常時継続的に実行する。

サーバ１のプロセッサ１１は、カメラ３および監視カメラ４が撮影する各映像に対して後述するＡＣＴ１３−２２の処理を行う。すなわち、プロセッサ１１は、カメラ３および監視カメラ４が撮影した映像において人物が存在するか否かを検知する人物検知を行う（ＡＣＴ１３）。例えば、プロセッサ１１は、所定の周期でカメラ３および監視カメラ４が撮影した各映像を順次取得し、取得した映像に人物が存在するか否かを判定する。

映像に人物が存在することを検出すると（ＡＣＴ１３、ＹＥＳ）、プロセッサ１１は、検出した人物の行動を分析する行動分析を行う（ＡＣＴ１４）。プロセッサ１１は、行動分析として、人物を検出した画像を含む映像に基づいて当該人物の行動に監視対象とする行動が含まれるか否かを判定する。例えば、プロセッサ１１は、店舗内にいる人物がとる行動として、不正な行動、不審な行動、迷惑な行動、介助が必要な行動、危険な行動などを監視対象とする行動として検出する。また、プロセッサ１１は、監視対象とする行動として、来店した客の行動に限らず、店員などの行動も対象として検出するようにして良い。

例えば、監視対象とする行動としては、未精算の商品を店舗外へ持ち出そうとする不正行動（未精算の商品を着衣のポケットや所定のカゴ以外の袋に入れる行為など）を検出する。また、監視対象とすべき行動としては、商品の位置を変える行為、商品や店内の設備等へのいたずら、挙動不審などの不審な行為を検出しても良い。また、監視対象とすべき行動としては、他人に対して迷惑になるような他者への迷惑な行動などを検出しても良い。さらに、監視対象とする行動としては、迷子を監視するために迷子がとる行動などを検出しても良いし、要介助者などを監視するために要介助者がとる行動などを検出しても良い。

なお、プロセッサ１１は、上述したような監視対象とする各種の行動を複数の種類ごとに分類して検出するようにして良い。また、プロセッサ１１が監視対象とする行動を検出するために行動分析として実行するプログラムに用いるアルゴリズムは、既知のものが適用できる。例えば、不正な行動を検出するアルゴリズムは、不正検出アルゴリズムとして既知の方法が適用できる。

監視対象とする行動を検出した場合（ＡＣＴ１５、ＹＥＳ）、プロセッサ１１は、監視端末５で監視する映像として切り出す範囲（動画の切出し範囲）を設定する（ＡＣＴ１６）。プロセッサ１１は、監視対象とする行動を撮影したカメラが撮影する映像から設定した切出し範囲の映像（動画）を切り出して監視映像としての動画クリップを生成する。ここで、動画の切出し範囲は、運用形態などに応じて設定されるものとして良い。つまり、動画の切出し範囲は、映像による監視を実施する管理者などの店舗側の要望に従って設定される。

また、カメラが撮影する映像から監視映像として切り出す範囲は、監視対象とする行動が検出された映像を撮影した時点を基準として設定される。具体例として、動画の切出し範囲は、以下の（ａ）〜（ｆ）に示すような範囲を設定することが考えられる。
（ａ）監視対象とする行動が検出された人物が当該カメラの撮影範囲に入ってきてから出ていくまでの範囲とする。この場合、プロセッサ１１は、当該人物を撮影したカメラが撮影する映像に対して継続的に人物検知を行って当該人物を追跡する。これにより、プロセッサ１１は、当該人物がカメラの撮影範囲外となるまでの間を特定し、動画の切出し範囲を決定する。
（ｂ）監視対象とする行動が検出された映像を撮影した撮影時刻に対する前後の一定時間の範囲とする。この場合、プロセッサ１１は、監視対象とする行動を検知した映像を撮影した撮影時刻の一定時間前からの映像と当該撮影時刻から一定時間経過までに当該カメラが撮影する映像とを切出すものとする。
（ｃ）監視対象とする行動として検出される一連の行動の開始から終了までの範囲とする。例えば、商品をポケットに入れる不正行動を検出した場合、プロセッサ１１は、当該人物が商品棚から商品を取ってからポケットに入れるまでの一連の行動を行っている期間を動画の切出し範囲として決定する。
（ｄ）映像から検出する人物の行動に対して監視対象としての重要度を評価する評価値（行動評価値）を判定し、行動評価値が予め決められたしきい値を超えている範囲とする。この場合、プロセッサ１１は、カメラが撮影する映像に対して所定周期で行動評価値を算出し、行動評価値がしきい値を超える期間を決定する。
（ｅ）映像から検出した監視対象とする行動を行動の種類ごとに分類し、分類した行動の種類に応じて個別に設定された範囲とする。例えば、店舗内において、未精算の商品を人物の着衣のポケットに入れたという不正行動が検出された場合、当該人物が商品棚から商品を取り出す行為を切出し範囲の開始とし、当該人物が不正行動を行った地点から一定距離離れた時点を切り出し範囲の終了とする。

動画の切出し範囲を設定すると、プロセッサ１１は、映像記録装置１７から設定された切出し範囲の映像データ（動画）を切り出す（ＡＣＴ１７）。すなわち、プロセッサ１１は、監視対象となる行動を撮影したカメラが撮影した映像から切出し範囲の映像部分を切り出す。映像記録装置１７が保存した映像から切出し範囲の映像を切り出す場合、プロセッサ１１は、設定した切出し範囲の全映像の切り出しが完了したか否かを判断する（ＡＣＴ１８）。

切出し範囲の全映像が映像記録装置１７に保存済みである場合（切出し範囲の全映像が取得済みである場合）、プロセッサ１１は、切出し範囲の全映像を映像記録装置１７から直ちに切り出させる。この場合、プロセッサ１１は、映像の切り出しを完了と判断する（ＡＣＴ１８、ＹＥＳ）。

切出し範囲の全映像が未だ映像記録装置１７に保存済みでない場合（切出し範囲の全映像が取得済みでない場合）、プロセッサ１１は、切出し範囲の全映像を直ちに切り出すことができない。例えば、これからカメラが撮影する映像も含む切出し範囲を設定した場合、未撮影の映像は取得できておらず、映像記録装置１７には切出し範囲の全映像が保存されていない。このような場合（切出し範囲の全映像が撮影済みでない場合）、プロセッサ１１は、設定された切出し範囲の映像の切り出しが完了していないと判断する（ＡＣＴ１８、ＮＯ）。

切出し範囲の全映像の切り出しが完了でないと判断した場合（ＡＣＴ１８、ＮＯ）、プロセッサ１１は、切出し範囲の残り映像を取得する処理を継続して実行する（ＡＣＴ１９、２０）。すなわち、プロセッサ１１は、切出し範囲の全映像の切り出しが完了するまで、当該カメラからの映像の受信（ＡＣＴ１９）、受信した映像の映像記録装置１７への記録（ＡＣＴ２０）および映像の切出し処理（ＡＣＴ１７）を継続して実行する。

切出し範囲の全映像の切出しが完了したと判断した場合（ＡＣＴ１８、ＹＥＳ）、プロセッサ１１は、切出した映像から動画クリップを生成する処理を行う（ＡＣＴ２１）。動画クリップは、監視端末５で表示できる形式のデータファイルで生成する。また、監視端末５との通信方式に応じて動画クリップのデータ形式を決定しても良い。動画クリップを生成すると、プロセッサ１１は、通信部１３により生成した動画クリップを監視端末５へ送信する（ＡＣＴ２２）。

なお、上述した図３に示す動作例は、サーバ１とは別に設けたコンピュータが実施しても良いし、セルフＰＯＳ２が実行する動作として実現しても良い。後者の場合、セルフＰＯＳ２が映像解析装置として機能する。例えば、セルフＰＯＳ２がカメラ３から入力する映像に対して図３に示す動作を実行する。この場合、セルフＰＯＳ２は、サーバ１を介すことなく、カメラ３が撮影した映像から監視対象とする映像を含む動画クリップを生成して監視端末５へ送信するようにできる。

以上のように、本実施形態に係る映像解析装置は、映像監視システムにおけるサーバあるいはセルフＰＯＳが実現する機能などとして実現できる。映像解析装置は、店舗売り場やチェックアウトエリア（セルフＰＯＳを設置したエリア）に設置されたカメラの映像を受信する。映像解析装置は、受信した映像における人物の行動を解析し、不正行動などの監視対象とする行動を検出する。映像解析装置は、監視対象とする行動を検出すると、その行動を撮影した映像を含む動画を設定された切出し範囲で切り出して動画クリップを生成し、監視端末へ送信する。

これにより、映像解析装置は、カメラが撮影した映像から検出した監視対象とする行動を不正などの「嫌疑」を示す映像を含む動画クリップを監視端末へ提供できる。この結果、不正行動などの監視対象とする行動の検出精度が１００％でなくても、あくまでも「嫌疑」を示す映像を動画クリップとして監視端末へ配信できる。また、監視端末へ「嫌疑」となる映像を含む映像を設定された切出し範囲で切出して生成した動画クリップを送信するため、管理者等の監視者が常時映像を監視する必要がなくなり、効率良く監視を行え、店舗運営を効率的に実施できる。

また、実施形態に係る映像解析装置は、監視対象とする行動を撮影した映像を含む動画を切り出すための切出し範囲を運用に応じて設定できる。例えば、実施形態に係る映像解析装置は、監視対象とする行動を検出した映像を起点とした所定の期間を切出し範囲として動画クリップを生成することもできる。これにより、実施形態によれば、監視対象とする行動を検出した時点を起点して簡易な処理で映像から動画を切出すことができ、動画クリップを簡単に生成できる。

また、実施形態に係る映像解析装置は、検出した監視対象とする行動の実行者の行動に応じた切出し範囲によって切出した映像から動画クリップを生成することもできる。例えば、検出した監視対象とする行動の実行者がカメラの撮影範囲にいる間を切出し範囲としても良いし、検出した監視対象とする行動の一連動作の開始から終了までの映像を切り出して動画クリップを生成することもできる。これにより、実施形態によれば、監視対象とする行動として検出した一連の行動を示す動画クリップを監視端末へ提供できる。

また、実施形態に係る映像解析装置は、カメラが撮影した映像に存在する人物の行動に対して評価値を算出し、算出した評価値が閾値を超えている範囲を切出し範囲として動画クリップを生成する。これにより、実施形態によれば、映像から適宜検出される人物の行動に即した監視映像を監視端末へ提供することができる。

また、実施形態に係る映像解析装置は、監視対象とする行動として検出した行動を複数の種類に分類し、分類した種類ごとに設定された切出し範囲で動画クリップを生成する。これにより、実施形態によれば、人物の行動内容（種類）に応じて切り出した動画から動画クリップを生成できる。この結果、映像解析装置は、カメラが撮影する映像から適宜検出される人物の行動に即した監視映像を監視端末へ提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…サーバ（映像解析装置）、２…セルフＰＯＳ（映像解析装置）、３…カメラ、４…監視カメラ、５…監視端末、１１、２１…プロセッサ、１２、２２…メモリ、１３…通信部（通信インターフェース）、１４、２４…カメラＩ／Ｆ（映像インターフェース）、１５…Ｉ／Ｆ（映像インターフェース）、１７…映像記録装置、２３…Ｉ／Ｆ（通信インターフェース）。

Claims

カメラが撮影した映像を入力する映像インターフェースと、
前記映像インターフェースが入力する映像における人物の行動を解析し、前記映像から監視対象とする行動を検出した場合に前記監視対象とする行動が検出された映像を含む映像部分を設定された切出し範囲で切り出して動画クリップを生成するプロセッサと、
前記プロセッサが生成した動画クリップを外部デバイスへ送信する通信インターフェースと、
を備える映像解析装置。
前記プロセッサは、前記監視対象とする行動として、商品を販売する店舗内における人物がとる不正な行動を検出する、
請求項１に記載の映像解析装置。
前記プロセッサは、監視対象とする行動として検出する行動を複数の種類に分類し、分類した種類ごとに設定された切出し範囲で動画クリップを生成する、
請求項１又は２の何れか１項に記載の映像解析装置。
前記映像インターフェースは、操作者自身の操作によって決済処理を行うセルフＰＯＳにおいて操作者を撮影するように設定されたカメラからの映像を取得する、
請求項１乃至３の何れか１項に記載の映像解析装置。
前記映像インターフェースは、陳列された商品を撮影するように設定されたカメラからの映像を取得する、
請求項１乃至４の何れか１項に記載の映像解析装置。