JP2022122498A - 移動履歴変更方法及び移動履歴変更プログラム - Google Patents

移動履歴変更方法及び移動履歴変更プログラム Download PDF

Info

Publication number
JP2022122498A
JP2022122498A JP2021019762A JP2021019762A JP2022122498A JP 2022122498 A JP2022122498 A JP 2022122498A JP 2021019762 A JP2021019762 A JP 2021019762A JP 2021019762 A JP2021019762 A JP 2021019762A JP 2022122498 A JP2022122498 A JP 2022122498A
Authority
JP
Japan
Prior art keywords
identification information
log
person
tracking
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021019762A
Other languages
English (en)
Inventor
隆宏 吉岡
Takahiro Yoshioka
克久 中里
Katsuhisa Nakazato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2021019762A priority Critical patent/JP2022122498A/ja
Priority to EP21207974.3A priority patent/EP4044129A1/en
Priority to US17/542,422 priority patent/US20220254033A1/en
Publication of JP2022122498A publication Critical patent/JP2022122498A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】映像から求められる物体の移動履歴の精度を向上させる移動履歴変更方法及びプログラムを提供する。【解決手段】コンピュータは、物体検出履歴情報から、所定場所でセンサにより検出された第1物体の識別情報と、第1物体の検出時刻とを取得して比較し、映像から生成された物体移動履歴情報において、第1物体の検出時刻に対応する所定時刻に所定場所に存在する第2物体の識別情報を特定し、物体移動履歴情報において、特定された第2物体の識別情報を、取得された第1物体の識別情報に変更する。【選択図】図2

Description

本発明は、移動履歴変更技術に関する。
近年、業務効率の向上及び業務全体の最適化を行うために、業務プロセス分析が注目されている。業務プロセス分析では、PC(Personal Computer)の操作ログ、システムログ、センサログ等のデータから業務フローを分析することで、ボトルネックが発見され、業務フローが最適化される。
実際には、電子的に生成されたログから取得できる情報だけではなく、紙書類を用いたタスク、対話、運搬、人物の移動経路等も業務プロセスの一部である。映像認識技術の向上により、映像から人物又は紙書類のような物体を追跡して、物体の移動経路を詳細に分析することが可能になってきている。
物体の追跡に関連して、カメラによる連続的な画像フレームの中から人物を追跡する映像解析装置が知られている(例えば、特許文献1を参照)。
特開2020-91664号公報
映像に映っている物体を追跡する場合、障害物等の影響により誤認識が発生することがある。誤認識を含む追跡結果に基づいて物体の移動履歴を求めると、求められた移動履歴の精度が低下する。
なお、かかる問題は、紙書類又は人物の移動履歴を求める場合に限らず、様々な物体の移動履歴を求める場合において生ずるものである。
1つの側面において、本発明は、映像から求められる物体の移動履歴の精度を向上させることを目的とする。
1つの案では、コンピュータは、以下の処理を実行する。
コンピュータは、物体検出履歴情報から、所定場所でセンサにより検出された第1物体の識別情報と、第1物体の検出時刻とを取得する。コンピュータは、映像から生成された物体移動履歴情報において、第1物体の検出時刻に対応する所定時刻に所定場所に存在する第2物体の識別情報を特定する。コンピュータは、物体移動履歴情報において、特定された第2物体の識別情報を、取得された第1物体の識別情報に変更する。
1つの側面によれば、映像から求められる物体の移動履歴の精度を向上させることができる。
移動履歴変更装置の機能的構成図である。 移動履歴変更処理のフローチャートである。 業務プロセス分析システムの構成図である。 映像解析装置の第1の機能的構成図である。 収集装置の第1の機能的構成図である。 修正装置の第1の機能的構成図である。 監視対象領域内を移動する人物を示す図である。 業務プロセス分析システムにおけるイベントリストを示す図である。 場所情報を示す図である。 人物Mの操作履歴を含む第1の業務ログを示す図である。 人物Mの移動経路を含む移動ログを示す図である。 変更後の移動ログを示す図である。 業務ログ生成処理のフローチャートである。 第1の移動ログ生成処理のフローチャートである。 第1の移動ログ変更処理のフローチャートである。 第1の場所判定処理のフローチャートである。 映像解析装置の第2の機能的構成図である。 修正装置の第2の機能的構成図である。 追跡信頼度を含む第1の移動ログを示す図である。 監視対象領域内を移動する2人の人物を示す図である。 2人の人物が重なる映像を示す図である。 重なり判定処理を示す図である。 人物Mの操作履歴を含む第2の業務ログを示す図である。 追跡信頼度を含む第2の移動ログを示す図である。 入れ替え後の第2の移動ログを示す図である。 第2の移動ログ生成処理のフローチャートである。 第2の場所判定処理のフローチャートである。 映像解析装置の第3の機能的構成図である。 修正装置の第3の機能的構成図である。 監視対象領域内を一緒に移動する2人の人物を示す図である。 追跡信頼度を含む第3の移動ログを示す図である。 入れ替え後の第3の移動ログを示す図である。 第3の移動ログ生成処理のフローチャートである。 第3の場所判定処理のフローチャートである。 車両管理システムの構成図である。 車両管理システムにおける映像解析装置の機能的構成図である。 車両管理システムにおける収集装置の機能的構成図である。 車両管理システムにおける修正装置の機能的構成図である。 監視対象領域内を移動する車両を示す図である。 車両管理システムにおけるイベントリストを示す図である。 車両情報を示す図である。 車両の検出履歴を含む検出ログを示す図である。 2台の車両の移動経路を含む移動ログを示す図である。 2台の車両の移動経路を含む変更後の移動ログを示す図である。 検出ログ生成処理のフローチャートである。 第4の移動ログ生成処理のフローチャートである。 第2の移動ログ変更処理のフローチャートである。 第4の場所判定処理のフローチャートである。 修正装置の第4の機能的構成図である。 統合移動ログを示す図である。 統合移動ログ生成処理のフローチャートである。 情報処理装置のハードウェア構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
業務プロセス分析において、紙書類又は人物のような物体の移動経路と、電子的に生成されたログとの関連を分析するためには、これらの情報が正確に関連付けられていることが望ましい。
映像認識技術により映像に映っている物体を追跡する場合、高品質な映像を用いることで、一定の精度の移動経路を求めることができる。しかし、高品質な映像を取得する撮影機器のコストは高くなることが多い。また、セキュリティの観点から、高品質な映像が必ずしも業務プロセス分析に提供されるとは限らない。
さらに、移動している物体が一時的に障害物により遮蔽された場合、その物体を同一物体として追跡することは困難になる。特定の場所で2人の人物が対話している場合、対話後に移動した2人の人物を正確に追跡することは困難になる。
一方、低品質な映像を用いて物体を追跡する場合、ノイズによる誤認識が発生する可能性がある。また、低品質な映像を用いて白衣又は制服を着ている複数の人物を追跡する場合、フレーム間で対応付ける人物領域の組み合わせを変更しても、2つの人物領域の間の類似度があまり変化しない。したがって、人物の認識精度が低下する。
図1は、実施形態の移動履歴変更装置の機能的構成例を示している。図1の移動履歴変更装置101は、記憶部111、特定部112、及び変更部113を含む。記憶部111は、物体検出履歴情報121と、映像から生成された物体移動履歴情報122とを記憶する。特定部112及び変更部113は、物体検出履歴情報121及び物体移動履歴情報122を用いて移動履歴変更処理を行う。
図2は、図1の移動履歴変更装置101が行う移動履歴変更処理の例を示すフローチャートである。まず、特定部112は、物体検出履歴情報121から、所定場所でセンサにより検出された第1物体の識別情報と、第1物体の検出時刻とを取得する(ステップ201)。
次に、特定部112は、物体移動履歴情報122において、第1物体の検出時刻に対応する所定時刻に所定場所に存在する第2物体の識別情報を特定する(ステップ202)。そして、変更部113は、物体移動履歴情報122において、特定された第2物体の識別情報を、取得された第1物体の識別情報に変更する(ステップ203)。
図1の移動履歴変更装置101によれば、映像から求められる物体の移動履歴の精度を向上させることができる。
図3は、図1の移動履歴変更装置101を含む業務プロセス分析システムの構成例を示している。図3の業務プロセス分析システムは、業務プロセス分析装置301、修正装置302、映像解析装置303、収集装置304、撮像装置305、及び端末装置306-1~端末装置306-3を含む。修正装置302は、図1の移動履歴変更装置101に対応する。
業務プロセス分析装置301、修正装置302、映像解析装置303、及び収集装置304は、通信ネットワーク307を介して互いに通信することができる。通信ネットワーク307は、LAN(Local Area Network)又はWAN(Wide Area Network)である。
監視対象領域311は、事務作業が行われる作業空間である。監視対象領域311には、端末装置306-3、デスク312-1、デスク312-2、及び棚314が設置されている。デスク312-i(i=1,2)上には端末装置306-iが置かれており、デスク312-iの前には椅子313-iが置かれている。
端末装置306-1及び端末装置306-2は、PCであり、端末装置306-3は、プリンタである。端末装置306-1~端末装置306-3は、センサの一例である。監視対象領域311には、4台以上の端末装置306-iが設置されていてもよい。
撮像装置305は、例えば、CCD(Charge-Coupled Device)、CMOS(Complementary Metal-Oxide-Semiconductor)等の撮像素子を有するカメラであり、監視対象領域311の映像を撮影して、映像解析装置303へ出力する。
映像解析装置303は、撮像装置305から出力される映像を解析して、映像に映っている物体の移動経路を示す移動ログを生成する。そして、映像解析装置303は、移動ログを修正装置302へ送信する。映像に映っている物体は、例えば、人物であり、移動ログは、物体移動履歴情報122の一例である。
収集装置304及び端末装置306-i(i=1,2,3)は、通信ネットワーク308を介して互いに通信することができる。通信ネットワーク308は、LAN又はWANである。
端末装置306-i(i=1,2)は、操作ログ収集ソフトウェアにより、椅子313-iに座って端末装置306-iを操作している人物の識別情報と、その人物が行った操作の内容とを検出する。そして、端末装置306-iは、人物の識別情報、検出時刻、及び操作内容を、収集装置304へ送信する。
端末装置306-3は、端末装置306-3を操作している人物の識別情報と、その人物が行った操作の内容とを検出し、人物の識別情報、検出時刻、及び操作内容を、収集装置304へ送信する。
収集装置304は、端末装置306-i(i=1,2,3)から受信した情報を含む業務ログを生成して、修正装置302へ送信する。業務ログは、物体検出履歴情報121の一例である。
修正装置302は、収集装置304から受信した業務ログを用いて、映像解析装置303から受信した移動ログを修正し、修正後の移動ログを業務プロセス分析装置301へ送信する。業務プロセス分析装置301は、修正装置302から受信した移動ログを用いて業務プロセス分析を行い、分析結果を出力する。
図4は、図3の映像解析装置303の第1の機能的構成例を示している。図4の映像解析装置303は、記憶部411、通信部412、及び追跡部413を含む。通信部412は、撮像装置305から監視対象領域311の映像を受信する。
追跡部413は、映像に映っている人物を追跡することで、その人物の移動経路を示す移動ログ421を生成して、記憶部411に格納する。移動ログ421の各エントリは、人物の識別情報、時刻、及び場所を含む。
追跡部413は、例えば、ブースティング等を用いて機械学習により生成された学習済みモデルを用いて、映像中の人物を追跡することができる。また、追跡部413は、事前に画像上に設定されたROI(Region of Interest)に人物が侵入したか否かを判定することで、人物が存在する場所を特定することができる。通信部412は、生成された移動ログ421を修正装置302へ送信する。
図5は、図3の収集装置304の第1の機能的構成例を示している。図5の収集装置304は、記憶部511、通信部512、及び記録部513を含む。通信部512は、端末装置306-iから、人物の識別情報、検出時刻、及び操作内容を受信する。
記録部513は、受信した情報を含む業務ログ521を生成して、記憶部511に格納する。業務ログ521は、検索可能なデータベースである。業務ログ521としては、リレーショナルデータベース、オブジェクト指向データベース等を用いることができる。業務ログ521の各エントリは、人物の識別情報、検出時刻、端末装置306-iの識別情報、及び操作内容を含む。通信部512は、生成された業務ログ521を修正装置302へ送信する。
図6は、図3の修正装置302の第1の機能的構成例を示している。図6の修正装置302は、記憶部611、通信部612、特定部613、及び変更部614を含む。記憶部611、特定部613、及び変更部614は、図1の記憶部111、特定部112、及び変更部113にそれぞれ対応する。
通信部612は、収集装置304から業務ログ521を受信し、映像解析装置303から移動ログ421を受信する。特定部613は、受信した業務ログ521及び移動ログ421を記憶部611に格納する。
記憶部611は、イベントリスト621及び場所情報622を記憶している。イベントリスト621は、業務ログ521に含まれる操作内容のうち、移動ログ421に含まれる場所の判定に利用できる操作内容を示すイベントのリストである。場所情報622は、業務ログ521に含まれる端末装置306-iの識別情報と、移動ログ421に含まれる場所とを対応付ける情報である。
特定部613は、イベントリスト621に含まれるイベントに基づいて、業務ログ521から、何れかの端末装置306-iにより検出された第1人物の識別情報と、端末装置306-iの識別情報と、第1人物の検出時刻とを取得する。そして、特定部613は、場所情報622を用いて、移動ログ421において、第1人物の検出時刻に対応する所定時刻に端末装置306-iの位置に存在する第2人物の識別情報を特定する。
変更部614は、移動ログ421において、特定された第2人物の識別情報を、取得された第1人物の識別情報に変更することで、移動ログ421を修正する。通信部612は、修正後の移動ログ421を業務プロセス分析装置301へ送信する。
図7は、図3の監視対象領域311内を移動する人物の例を示している。実線701は、デスク312-1上の端末装置306-1を用いて作業を行っている人物Mが、一時的に離席して棚314に書籍等を取りに行くまでの移動経路を示している。破線702は、人物Mが棚314の前に居る期間の移動経路を示している。一点鎖線703は、人物Mが書籍等を手にしてデスク312-1に戻り、デスク312-1から端末装置306-3へ移動する移動経路を示している。
人物Mは、デスク312-1を離れる際に、端末装置306-1からログアウトする操作を行い、デスク312-1に戻った際に、端末装置306-1にログインする操作を行う。
この場合、業務ログ521には、人物Mがデスク312-1を離れた際に、人物Mの識別情報“E01”と操作内容“PCログアウト”とを含むデータが記録される。また、人物Mがデスク312-1に戻った際に、“E01”と操作内容“PCログイン”とを含むデータが記録される。
撮像装置305の映像には、実線701及び一点鎖線703が示す移動経路上の人物Mが映っている。撮像装置305の映像において、端末装置306-1に対する操作を行う人物Mは、端末装置306-1の周囲の所定領域内に映っている。しかし、破線702が示す移動経路上の人物Mは、棚314に隠れてしまって映っていない。
この場合、移動ログ421には、実線701が示す移動経路上で人物Mがデスク312-1に着席している状態を示すデータとして、“E01”及びデスク312-1の名称“デスクA”が記録される。その後、人物Mは、デスク312-1を離れて移動を開始する。
次に、一点鎖線703が示す移動経路上で人物Mが棚314の横から現れた状態を示すデータとして、新たな人物を示す仮の識別情報“R0001”と、棚314の名称“棚Z”とが記録される。その後、人物Mは、デスク312-1に戻って移動を終了し、端末装置306-1にログインしてしばらく編集作業を行った後、端末装置306-3へ向かって移動を開始する。
修正装置302の特定部613は、業務ログ521及び移動ログ421を参照して、“デスクA”の場所で“PCログイン”を行った人物“E01”は、そのとき“デスクA”の場所に居た人物“R0001”と同一人物であると判定する。そこで、変更部614は、移動ログ421において、“PCログイン”の検出時刻を含む区間に連続して記録されているすべての“R0001”を“E01”に変更する。
図8は、図6のイベントリスト621の例を示している。図8のイベントリスト621に含まれるイベントは、“PCログイン”、“セキュリティドア開錠”、及び“個別棚開錠”である。イベントリスト621には、ワンタイムパスワード、予め個別に割り当てられた番号等を用いた“装置開錠”等のイベントを登録することもできる。
図9は、図6の場所情報622の例を示している。図9の場所情報622は、端末ID及び場所の対応関係を表す。端末IDは、端末装置306-iの識別情報であり、場所は、端末IDが示す端末装置306-iが設置されている場所の名称を表す。
例えば、“PC-01”は、端末装置306-1の識別情報であり、“PC-01”に対応付けられた“デスクA”は、端末装置306-1が設置されているデスク312-1の名称である。“PC-46”は、端末装置306-2の識別情報であり、“PC-46”に対応付けられた“デスクB”は、端末装置306-2が設置されているデスク312-2の名称である。
図10は、図7の監視対象領域311における人物Mの操作履歴を含む第1の業務ログ521の例を示している。図10の業務ログ521は、検出時刻、人物ID、端末ID、及び操作内容の対応関係を表す。
人物IDは、従業員番号等の個人識別が可能な識別情報である。検出時刻は、人物IDが示す人物により端末IDが示す端末装置306-iに対して行われた操作が検出された時刻を表し、操作内容は、行われた操作の内容を表す。
操作内容としては、“PCロック”、“PCログイン”、“PCログアウト”、“システム起動”、“端末操作”、“プリント”、“プリンタアクセス”等が記録される。“システム起動”は、アプリケーションプログラムの起動操作を表し、“プリント”は、プリントアウトを指示する操作を表し、“プリンタアクセス”は、プリンタに対するプリントアウト操作を表す。
例えば、“E01”が示す人物Mは、時刻“11:30”に、“PC-01”が示す端末装置306-1に対して“PCロック”を行っており、時刻“11:40”に端末装置306-1に対して“PCログイン”を行っている。そして、人物Mは、時刻“11:41”に端末装置306-1に対して“システム起動”を行っている。
次に、人物Mは、時刻“11:55”に端末装置306-1に対して“プリント”を行っており、時刻“11:56”に端末装置306-1に対して“PCロック”を行っている。そして、人物Mは、時刻“11:58”に、“P-01”が示す端末装置306-3に対して“プリンタアクセス”を行っている。
図11は、図7の監視対象領域311における人物Mの移動経路を含む移動ログ421の例を示している。図11の移動ログ421は、追跡ID、時刻、及び場所の対応関係を表す。
追跡IDは、追跡処理により生成され、映像に映っている人物に付与される識別情報である。時刻は、人物が撮影された時刻を表し、場所は、撮影された人物が存在する場所の名称を表す。“デスクA”は、デスク312-1の名称を表し、“棚Z”は、棚314の名称を表し、“プリンタU”は、端末装置306-3の名称を表す。
例えば、“E01”が示す人物Mは、時刻“11:29”に“デスクA”の場所に存在し、時刻“11:30”に“デスクA”の場所から移動を開始している。また、“R0001”が示す人物は、時刻“11:31”に“棚Z”の場所に存在し、時刻“11:56”に“デスクA”の場所から移動を開始し、時刻“11:58”に“プリンタU”の場所に存在している。
移動ログ421は、場所の名称だけでなく、撮影された画像内の位置を示すxy座標を含んでいてもよい。
まず、特定部613は、図10の業務ログ521から、図8のイベントリスト621に登録されているイベントを操作内容として含むエントリを検索し、“PCログイン”を含む検出時刻“11:32”のエントリを取得する。
次に、特定部613は、業務ログ521から取得された検出時刻“11:32”のエントリから、人物ID“E14”及び端末ID“PC-12”を抽出し、図9の場所情報622を用いて、“PC-12”に対応する場所“デスクE”を求める。“デスクE”は、所定場所の一例である。
次に、特定部613は、図11の移動ログ421から、取得されたエントリの検出時刻“11:32”に対応する所定時刻のエントリを取得する。所定時刻としては、例えば、検出時刻を含む所定期間内の時刻、又は検出時刻の直前の時刻が用いられる。検出時刻の直前の時刻が所定時刻として用いられた場合、所定時刻のエントリとして、時刻“11:31”のエントリが取得される。そして、特定部613は、そのエントリから追跡ID“R0001”及び場所“棚Z”を抽出する。
業務ログ521のエントリから求められた“デスクE”は、移動ログ421のエントリから抽出された“棚Z”とは異なっている。そこで、特定部613は、業務ログ521から、イベントリスト621に登録されているイベントを操作内容として含む次のエントリを検索し、“PCログイン”を含む検出時刻“11:40”のエントリを取得する。
次に、特定部613は、業務ログ521から取得された検出時刻“11:40”のエントリから、人物ID“E01”及び端末ID“PC-01”を抽出し、場所情報622を用いて、“PC-01”に対応する場所“デスクA”を求める。“デスクA”は、所定場所の一例である。
次に、特定部613は、移動ログ421から、検出時刻“11:40”の直前の時刻“11:38”のエントリを取得し、そのエントリから追跡ID“R0001”及び場所“デスクA”を抽出する。
業務ログ521のエントリから求められた“デスクA”は、移動ログ421のエントリから抽出された“デスクA”と同一である。一方、業務ログ521のエントリから抽出された“E01”は、移動ログ421のエントリから抽出された“R0001”とは異なっている。
この場合、特定部613は、時刻“11:38”に“デスクA”の場所に居た人物“R0001”は、検出時刻“11:40”に“デスクA”の場所で“PCログイン”を行った人物“E01”と同一人物であると判定する。
そして、変更部614は、移動ログ421において、所定時刻“11:38”を含む、時刻“11:31”から時刻“11:58”までの期間に記録されているすべての“R0001”を、“E01”に変更する。
図12は、変更後の移動ログ421の例を示している。図12の移動ログ421では、時刻“11:31”、時刻“11:38”、時刻“11:56”、及び時刻“11:58”の追跡IDが、“R0001”から“E01”に変更されている。
業務プロセス分析装置301は、業務プロセス分析において、図12の移動ログ421から分析対象の追跡ID“E01”に対応する時刻及び場所を検索することで、検索された時刻及び場所を含む、人物Mの移動経路を生成する。そして、業務プロセス分析装置301は、生成された移動経路を用いて、人物Mの作業におけるボトルネックを検出し、人物Mの業務フローを最適化する。
図3の業務プロセス分析システムによれば、業務ログ521と移動ログ421との間で人物の行動が一致する場所が特定され、その場所における追跡IDが業務ログ521の人物IDと整合するように、移動ログ421が修正される。したがって、人物を識別することが難しい低品質な映像から移動ログ421が生成された場合、又は遮蔽により映像中の人物の追跡が途絶えた場合であっても、誤りを補正して移動ログ421の精度を向上させることができる。
修正後の移動ログ421を用いて業務プロセス分析を行うことで、PCログインにより強固なセキュリティが確保されたオフィス等において、各人物が居る場所を正確に特定することが可能になる。監視対象領域311は、オフィスに限られるわけではなく、時間によって作業端末が特定の人物と関連付けられている製造現場等であってもよい。
また、修正後の移動ログ421を用いて業務プロセス分析を行うことで、分析対象の追跡IDに対応する時刻及び場所を検索する処理が効率化される。
図13は、図5の収集装置304が行う業務ログ生成処理の例を示すフローチャートである。まず、記録部513は、ユーザから終了指示が入力されたか否かをチェックする(ステップ1301)。
終了指示が入力されていない場合(ステップ1301,NO)、記録部513は、通信部512を介して、何れかの端末装置306-iにより検出された操作の検出時刻を取得する(ステップ1302)。そして、記録部513は、端末装置306-iから、その操作を行った人物の人物IDを取得し(ステップ1303)、その操作の操作内容を取得する(ステップ1304)。
次に、記録部513は、端末装置306-iの端末IDと、端末装置306-iから取得した検出時刻、人物ID、及び操作内容とを含む、エントリを生成して、業務ログ521に記録する(ステップ1305)。そして、記録部513は、ステップ1301以降の処理を繰り返す。終了指示が入力された場合(ステップ1301,YES)、記録部513は、処理を終了する。
図14は、図4の映像解析装置303が行う第1の移動ログ生成処理の例を示すフローチャートである。まず、追跡部413は、ユーザから終了指示が入力されたか否かをチェックする(ステップ1401)。
終了指示が入力されていない場合(ステップ1401,NO)、追跡部413は、映像に映っている人物を追跡し(ステップ1402)、追跡が成功したか否かをチェックする(ステップ1403)。
追跡が成功した場合(ステップ1403,YES)、追跡部413は、画像内でその人物が侵入したROIが示す場所の名称を付与する(ステップ1404)。次に、追跡部413は、その人物の追跡ID、時刻、及び場所を含むエントリを生成して、移動ログ421に記録する(ステップ1405)。そして、追跡部413は、ステップ1401以降の処理を繰り返す。
一方、追跡が失敗した場合(ステップ1403,NO)、追跡部413は、新たな人物を検出し(ステップ1406)、検出された人物に対して新たな追跡IDを付与して(ステップ1407)、ステップ1404以降の処理を行う。終了指示が入力された場合(ステップ1401,YES)、追跡部413は、処理を終了する。
図15は、図6の修正装置302が行う第1の移動ログ変更処理の例を示すフローチャートである。まず、特定部613は、ユーザから終了指示が入力されたか否かをチェックする(ステップ1501)。
終了指示が入力されていない場合(ステップ1501,NO)、特定部613は、通信部612を介して、収集装置304から業務ログ521を取得し(ステップ1502)、映像解析装置303から移動ログ421を取得する(ステップ1503)。そして、特定部613は、取得した業務ログ521から、イベントリスト621に登録されているイベントを示す操作内容を検索し、業務ログ521にイベントが含まれているか否かをチェックする(ステップ1504)。
業務ログ521にイベントが含まれている場合(ステップ1504,YES)、特定部613は、場所判定を行って、取得した移動ログ421を修正するか否かを判定する(ステップ1505)。移動ログ421を修正する場合、特定部613は、変更対象の追跡ID及び変更後の追跡IDを示す修正指示を、変更部614へ出力する。
次に、変更部614は、特定部613から修正指示が出力されたか否かをチェックする(ステップ1506)。修正指示が出力された場合(ステップ1506,YES)、変更部614は、移動ログ421において修正指示が示す変更対象の追跡IDを、変更後の追跡IDに変更することで、移動ログ421を修正する(ステップ1507)。そして、修正装置302は、ステップ1501以降の処理を繰り返す。
業務ログ521にイベントが含まれていない場合(ステップ1504,NO)、修正装置302は、ステップ1501以降の処理を繰り返す。修正指示が出力されない場合(ステップ1506,NO)、修正装置302は、ステップ1501以降の処理を繰り返す。終了指示が入力された場合(ステップ1501,YES)、修正装置302は、処理を終了する。
図16は、図15のステップ1505における第1の場所判定処理の例を示すフローチャートである。まず、特定部613は、業務ログ521から、イベントを操作内容として含むエントリを取得し、そのエントリから検出時刻、人物ID、及び端末IDを抽出する(ステップ1601)。そして、特定部613は、場所情報622を用いて、抽出された端末IDに対応する場所X1を求める(ステップ1602)。
次に、特定部613は、業務ログ521のエントリから抽出された検出時刻に対応する所定時刻のエントリを、移動ログ421から取得し、そのエントリから追跡ID及び場所X2を抽出する(ステップ1603)。そして、特定部613は、場所X1と場所X2を比較する(ステップ1604)。
場所X1と場所X2が一致する場合(ステップ1604,YES)、特定部613は、業務ログ521のエントリから抽出された人物IDと、移動ログ421のエントリから抽出された追跡IDとを比較する(ステップ1605)。
人物IDと追跡IDが一致しない場合(ステップ1605,NO)、特定部613は、は、移動ログ421を修正すると判定し、変更対象の追跡ID及び変更後の追跡IDを示す修正指示を、変更部614へ出力する(ステップ1606)。変更対象の追跡IDは、移動ログ421のエントリから抽出された追跡IDと同じすべての追跡IDであり、変更後の追跡IDは、業務ログ521のエントリから抽出された人物IDである。
場所X1と場所X2が一致しない場合(ステップ1604,NO)、特定部613は、移動ログ421を修正しないと判定し、修正指示を出力することなく処理を終了する。人物IDと追跡IDが一致する場合(ステップ1605,YES)、特定部613は、移動ログ421を修正しないと判定し、修正指示を出力することなく処理を終了する。
図17は、図3の映像解析装置303の第2の機能的構成例を示している。図17の映像解析装置303は、図4の映像解析装置303に信頼度付与部1711を追加した構成を有する。
信頼度付与部1711は、映像中で追跡される各時刻の人物に対して追跡信頼度を付与し、追跡部413は、追跡信頼度を含む移動ログ1721を生成して、記憶部411に格納する。移動ログ1721の各エントリは、追跡ID、追跡信頼度、時刻、及び場所を含む。
図18は、図3の修正装置302の第2の機能的構成例を示している。図18の修正装置302は、図6の修正装置302と同様の構成を有する。記憶部611は、図6の移動ログ421の代わりに、図17の移動ログ1721を記憶する。特定部613及び変更部614は、移動ログ1721を用いて移動ログ変更処理を行う。
図19は、図7に示した移動経路上を移動する人物Mの追跡信頼度を含む第1の移動ログ1721の例を示している。エントリ1901~エントリ1905は、端末IDを省略した業務ログ521のエントリを表す。エントリ1911~エントリ1914は、時刻を省略した移動ログ1721のエントリを表す。
まず、“E01”が示す人物Mがデスク312-1に着席しているときに、移動ログ1721のエントリ1911が生成される。エントリ1911の追跡信頼度は100%に設定される。
次に、時刻“11:30”において、人物Mがデスク312-1上の端末装置306-1に対して“PCロック”を行うことで、業務ログ521のエントリ1901が生成される。
次に、人物Mは一時的に離席して棚314へ移動し、棚314の後ろに隠れた後に棚314の横から現れる。このとき、移動ログ1721のエントリ1912が生成される。この場合、人物Mの追跡が失敗して新たな識別情報“R0001”が付与されるため、エントリ1912の追跡信頼度は0%に設定される。
次に、人物Mはデスク312-1に戻って着席し、移動ログ1721のエントリ1913が生成される。この場合、人物Mの追跡が成功しているため、エントリ1913の追跡信頼度は10%に設定される。
次に、時刻“11:40”において、人物Mが端末装置306-1に対して“PCログイン”を行うことで、業務ログ521のエントリ1902が生成される。次に、時刻“11:41”において、人物Mが端末装置306-1に対して“システム起動”を行うことで、業務ログ521のエントリ1903が生成される。そして、人物Mは、編集作業を行う。
次に、時刻“11:55”において、人物Mが端末装置306-1に対して“プリント”を行ってプリントアウトを指示することで、業務ログ521のエントリ1904が生成される。次に、時刻“11:56”において、人物Mが端末装置306-1に対して“PCロック”を行うことで、業務ログ521のエントリ1905が生成される。そして、人物Mは、再び離席して端末装置306-3へ移動する。
修正装置302の特定部613は、例えば、業務ログ521のエントリ1902が生成された直後に、エントリ1902の直前に生成された移動ログ1721のエントリ1913を取得する。そして、特定部613は、エントリ1913の場所“デスクA”が示すデスク312-1に着席していた人物“R0001”は、デスク312-1上の端末装置306-1に対して“PCログイン”を行った人物“E01”であると判定する。
次に、変更部614は、移動ログ1721のエントリ1912及びエントリ1913に記録されている“R0001”を“E01”に変更する。また、人物“R0001”が人物“E01”であることが確認されたため、変更部614は、エントリ1912及びエントリ1913の追跡信頼度を100%に変更する。
その後、人物Mは人物“E01”として追跡され、人物Mが端末装置306-3の位置に居るときに、移動ログ1721のエントリ1914が生成される。この場合、人物Mの追跡が成功しているため、エントリ1914の追跡信頼度は100%に設定される。
図20は、図3の監視対象領域311内を移動する2人の人物の例を示している。実線2001は、デスク312-1上の端末装置306-1を用いて作業を行っている人物Mが、一時的に離席して地点Pへ移動する移動経路を示している。破線2002は、人物Mが地点Pで人物Lと対話した後、デスク312-1に戻る移動経路を示している。
一点鎖線2003は、人物Lが地点Qから地点Pへ移動する移動経路を示している。二点鎖線2004は、人物Lが地点Pで人物Mと対話した後、地点Qへ戻る移動経路を示している。この場合、人物M及び人物Lは、同じ時刻に地点Pに存在する。
このように、2人の人物が同じ場所に同時に存在する場合、映像中ではそれらの人物が重なって映る。地点Pにおいて人物M及び人物Lが重なることで、人物M及び人物Lの追跡信頼度が低下し、人物Lが地点Pからデスク312-1へ移動し、かつ、人物Mが地点Pから地点Qへ移動したと誤判定される。
人物Mは、デスク312-1を離れる際に、端末装置306-1からログアウトする操作を行い、デスク312-1に戻った際に、端末装置306-1にログインする操作を行う。この場合、業務ログ521には、人物Mがデスク312-1を離れた際に、人物Mの識別情報“E01”と操作内容“PCログアウト”とを含むデータが記録される。また、人物Mがデスク312-1に戻った際に、“E01”と操作内容“PCログイン”とを含むデータが記録される。
移動ログ1721には、実線2001が示す移動経路上で人物Mがデスク312-1に着席している状態を示すデータとして、“E01”及びデスク312-1の名称“デスクA”が記録される。このデータの追跡信頼度は100%に設定される。その後、人物Mは、デスク312-1を離れて移動を開始する。
次に、人物Mが地点Pで人物Lと対話している状態を示すデータとして、“E01”及び“地点P”が記録される。地点Pにおいて人物M及び人物Lが重なっているため、このデータの追跡信頼度は50%に設定される。対話が終了した後、人物Mは、破線2002が示す移動経路上を移動してデスク312-1に戻るが、人物M及び人物Lが入れ替わることにより、誤って二点鎖線2004が示す移動経路が“E01”に対応付けられる。
一方、一点鎖線2003が示す移動経路上では、地点Qに人物Lが現れた状態を示すデータとして、新たな人物を示す仮の識別情報“R0001”と“地点Q”とが記録される。人物Lは新たな人物であるため、このデータの追跡信頼度は0%に設定される。
次に、人物Lが地点Pで人物Mと対話している状態を示すデータとして、“R0001”及び“地点P”が記録される。このデータの追跡信頼度は0%に設定される。対話が終了した後、人物Lは、二点鎖線2004が示す移動経路上を移動して地点Qに戻るが、人物L及び人物Mが入れ替わることにより、誤って破線2002が示す移動経路が“R0001”に対応付けられる。
したがって、移動ログ1721には、“R0001”が示す人物が、破線2002が示す移動経路上で“デスクA”に戻って移動を終了した後、再び“デスクA”を離れて移動を開始する様子が記録される。
修正装置302の特定部613は、業務ログ521及び移動ログ1721を参照して、“デスクA”の場所で“PCログイン”を行った人物“E01”は、そのとき“デスクA”の場所に居た人物“R0001”と同一人物であると判定する。そして、地点Pで人物“E01”及び人物“R0001”が重なっているため、特定部613は、それ以降の人物“E01”及び人物“R0001”の移動経路が入れ替わっていると判定する。
そこで、変更部614は、移動ログ1721において、地点Pで人物“E01”及び人物“R0001”が重なった時刻以降に記録されている“R0001”と“E01”を入れ替える。地点Pは、特定場所の一例であり、地点Pで人物“E01”及び人物“R0001”が重なった時刻は、特定時刻の一例である。
次に、図21及び図22を参照しながら、図17の映像解析装置303が行う重なり判定処理について説明する。重なり判定処理は、映像に含まれるフレーム毎に、2人の人物が重なっているか否かを判定する処理である。信頼度付与部1711は、2人の人物が重なる度に、それらの人物の追跡信頼度を1/2に減少させる。
図21は、2人の人物が重なる映像の例を示している。人物2101は、移動経路2111上を地点Rまで移動し、地点Rから移動経路2112上を移動する。一方、人物2102は、移動経路2121上を地点Rまで移動し、地点Rから移動経路2122上を移動する。そして、地点Rにおいて人物2101及び人物2102が重なる。
境界ボックス2131~境界ボックス2133は、人物2101の人物追跡枠であり、境界ボックス2141~境界ボックス2143は、人物2102の人物追跡枠である。人物2101及び人物2102が重なっている地点Rでは、境界ボックス2132及び境界ボックス2142も重なっている。
境界ボックス2131の位置で人物2101に付与される追跡信頼度は100%であるが、境界ボックス2132の位置で人物2101及び人物2102が重なったため、追跡信頼度は50%に低下する。したがって、境界ボックス2133の位置で人物2101に付与される追跡信頼度も50%である。
同様に、境界ボックス2141の位置で人物2102に付与される追跡信頼度は100%であるが、境界ボックス2142の位置で人物2101及び人物2102が重なったため、追跡信頼度は50%に低下する。したがって、境界ボックス2143の位置で人物2102に付与される追跡信頼度も50%である。
地点Rにおいて人物2101及び人物2102が誤認識された場合、それ以降の追跡処理において人物2101及び人物2102が入れ替わってしまうことがある。この場合、移動経路2112が誤って人物2102に対応付けられ、移動経路2122が誤って人物2101に対応付けられる。
図22は、境界ボックスを用いた重なり判定処理の例を示している。境界ボックス2201は、2人の人物のうち一方の人物の境界ボックスであり、境界ボックス2202は、他方の人物の境界ボックスである。重なり領域2203は、境界ボックス2201及び境界ボックス2202が重なっている部分を表す。
各フレームの画像において、境界ボックスの頂点のx座標及びy座標は(x,y)により表される。境界ボックス2201の左上の頂点2211の座標は(ax1,ay1)であり、右下の頂点2212の座標は(ax2,ay2)である。境界ボックス2202の左上の頂点2221の座標は(bx1,by1)であり、右下の頂点2222の座標は(bx2,by2)である。
追跡部413は、頂点2211、頂点2212、頂点2221、及び頂点2222の座標を用いて、次式により、重なり領域2203の幅W及び高さHを計算する。
sx=max(ax1,bx1) (1)
sy=max(ay1,by1) (2)
ex=min(ax2,bx2) (3)
ey=min(ay2,by2) (4)
W=ex-sx (5)
H=ey-sy (6)
max(a,b)は、a及びbの最大値を表し、min(a,b)は、a及びbの最小値を表す。追跡部413は、Wが0よりも大きく、かつ、Hが0よりも大きい場合、境界ボックス2201が示す人物と、境界ボックス2202が示す人物とが重なっていると判定する。Wが0以下であるか又はHが0以下である場合、境界ボックス2201が示す人物と、境界ボックス2202が示す人物とが重なっていないと判定される。
図23は、図20の監視対象領域311における人物Mの操作履歴を含む第2の業務ログ521の例を示している。
“E01”が示す人物Mは、時刻“11:30”に、“PC-01”が示す端末装置306-1に対して“PCロック”を行っており、時刻“11:37”に端末装置306-1に対して“PCログイン”を行っている。
図24は、図20の監視対象領域311における人物M及び人物Lの追跡信頼度を含む第2の移動ログ1721の例を示している。図24の移動ログ1721は、追跡ID、追跡信頼度、時刻、及び場所の対応関係を表す。追跡信頼度は、追跡IDが示す人物と他の人物との重なりが発生する度に低下する。
例えば、人物“E01”は、時刻“11:29”に“デスクA”の場所に存在し、時刻“11:30”に“デスクA”の場所から移動を開始している。そして、人物“E01”は、時刻“11:31”に“地点P”に存在し、時刻“11:35”に“地点Q”に存在している。
時刻“11:29”及び時刻“11:30”における人物“E01”の追跡信頼度は100%である。しかし、時刻“11:31”に“地点P”で人物“E01”及び人物“R0001”が重なったため、時刻“11:31”及び時刻“11:35”における人物“E01”の追跡信頼度は50%に低下している。
一方、人物“R0001”は、時刻“11:29”に“地点Q”に存在し、時刻“11:31”に“地点P”に存在し、時刻“11:36”に“デスクA”の場所に存在している。時刻“11:29”、時刻“11:31”、及び時刻“11:36”における人物“R0001”の追跡信頼度は0%である。
まず、特定部613は、図23の業務ログ521から、図8のイベントリスト621に登録されているイベントを操作内容として含むエントリを検索し、“PCログイン”を含む検出時刻“11:37”のエントリを取得する。
次に、特定部613は、業務ログ521から取得された検出時刻“11:37”のエントリから、人物ID“E01”及び端末ID“PC-01”を抽出し、図9の場所情報622を用いて、“PC-01”に対応する場所“デスクA”を求める。
次に、特定部613は、図24の移動ログ1721から、取得されたエントリの検出時刻“11:37”に対応する所定時刻のエントリであり、かつ、場所として“デスクA”を含むエントリを取得する。検出時刻の直前の時刻が所定時刻として用いられた場合、“デスクA”を含む所定時刻のエントリとして、時刻“11:36”のエントリが取得される。そして、特定部613は、そのエントリから追跡ID“R0001”及び追跡信頼度“0%”を抽出する。
次に、特定部613は、抽出された追跡信頼度“0%”を所定値と比較する。例えば、所定値が“60%”である場合、抽出された追跡信頼度“0%”は所定値よりも小さい。そして、業務ログ521のエントリから抽出された“E01”は、移動ログ1721のエントリから抽出された“R0001”とは異なっている。
この場合、特定部613は、時刻“11:36”に“デスクA”の場所に居た人物“R0001”は、検出時刻“11:37”に“デスクA”の場所で“PCログイン”を行った人物“E01”と同一人物であると判定する。
次に、特定部613は、移動ログ1721において、人物“E01”及び人物“R0001”が地点Pで重なっている時刻“11:31”を求める。時刻“11:31”から時刻“11:36”までの区間の各エントリの追跡信頼度は、“60%”よりも小さい。そこで、変更部614は、この区間に含まれる“R0001”及び“E01”を入れ替える。
追跡信頼度が所定値よりも小さいエントリの追跡IDを対象として入れ替えを行うことで、正しい追跡IDを誤って変更してしまうことを防止できる。
図25は、入れ替え後の第2の移動ログ1721の例を示している。図25の移動ログ1721では、時刻“11:31”及び時刻“11:36”の“R0001”が“E01”に変更され、追跡信頼度が“100%”に変更されている。また、時刻“11:31”及び時刻“11:35”の“E01”が“R0001”に変更され、追跡信頼度が“0%”に変更されている。
図17の映像解析装置303及び図18の修正装置302を含む業務プロセス分析システムによれば、映像中の2人の人物が重なることで誤った追跡が行われた場合であっても、誤りを補正して移動ログ1721の精度を向上させることができる。また、修正後の移動ログ1721を用いて業務プロセス分析を行うことで、分析対象の追跡IDに対応する時刻及び場所を検索する処理が効率化される。
図26は、図17の映像解析装置303が行う第2の移動ログ生成処理の例を示すフローチャートである。ステップ2601~ステップ2603、ステップ2606、ステップ2608、及びステップ2609の処理は、図14のステップ1401~ステップ1404、ステップ1406、及びステップ1407の処理と同様である。
追跡が成功した場合(ステップ2603,YES)、追跡部413は、追跡IDが示す人物に対する重なり判定処理を行い(ステップ2604)、信頼度付与部1711は、重なり判定処理の結果に応じてその人物に追跡信頼度を設定する(ステップ2605)。追跡IDが示す人物が他の人物と重なっている場合、直前の追跡信頼度の1/2の値が設定され、追跡IDが示す人物が他の人物と重なっていない場合、直前の追跡信頼度が設定される。
次に、追跡部413は、画像内でその人物が侵入したROIが示す場所の名称を付与し(ステップ2606)、その人物の追跡ID、追跡信頼度、時刻、及び場所を含むエントリを生成して、移動ログ1721に記録する(ステップ2607)。
一方、追跡が失敗した場合(ステップ2603,NO)、追跡部413は、新たな人物を検出し(ステップ2608)、検出された人物に対して新たな追跡IDを付与する(ステップ2609)。そして、信頼度付与部1711は、その人物に追跡信頼度“0%”を設定し(ステップ2610)、映像解析装置303は、ステップ2606以降の処理を行う。
図18の修正装置302は、図15と同様の移動ログ変更処理を行う。ただし、図15のステップ1505において、修正装置302は、図16とは異なる場所判定処理を行う。
図27は、図18の修正装置302が行う第2の場所判定処理の例を示すフローチャートである。ステップ2701及びステップ2702の処理は、図16のステップ1601及びステップ1602の処理と同様である。
ステップ2702の処理の後、特定部613は、業務ログ521から取得されたエントリの検出時刻に対応する所定時刻のエントリであり、かつ、場所X1を含むエントリを、移動ログ1721から取得する。そして、特定部613は、そのエントリから追跡ID及び追跡信頼度を抽出する(ステップ2703)。
以下では、ステップ2703において移動ログ1721のエントリから抽出された追跡IDを、第1追跡IDと記載する。
次に、特定部613は、抽出された追跡信頼度を所定値と比較する(ステップ2704)。追跡信頼度が所定値よりも小さい場合(ステップ2704,YES)、特定部613は、業務ログ521のエントリから抽出された人物IDと、第1追跡IDとを比較する(ステップ2705)。
人物IDと第1追跡IDが一致しない場合(ステップ2705,NO)、特定部613は、移動ログ1721を修正すると判定する。そして、特定部613は、移動ログ1721において、第1追跡IDよりも前の特定時刻Tに、第1追跡IDと同じ特定場所に対応付けられている、他の追跡IDを検索する(ステップ2706)。
以下では、ステップ2706において移動ログ1721から検索された他の追跡IDを、第2追跡IDと記載する。第1追跡IDが示す人物と第2追跡IDが示す人物は、特定時刻Tにおいて重なっている。
次に、特定部613は、特定時刻Tから所定時刻までの区間に含まれる第1追跡ID及び第2追跡ID各々について、対応付けられた追跡信頼度が所定値よりも小さいことを確認する。そして、特定部613は、修正対象区間及び入れ替え対象追跡IDを示す修正指示を、変更部614へ出力する(ステップ2707)。修正対象区間は、特定時刻Tから所定時刻までの区間を表し、入れ替え対象追跡IDは、第1追跡ID及び第2追跡IDを表す。
追跡信頼度が所定値以上である場合(ステップ2704,NO)、特定部613は、移動ログ1721を修正しないと判定し、修正指示を出力することなく処理を終了する。人物IDと追跡IDが一致する場合(ステップ2705,YES)、特定部613は、移動ログ1721を修正しないと判定し、修正指示を出力することなく処理を終了する。
修正指示が出力された場合、図15のステップ1507において、変更部614は、移動ログ1721の修正対象区間に含まれる第1追跡ID及び第2追跡IDを入れ替えることで、移動ログ1721を修正する。
図28は、図3の映像解析装置303の第3の機能的構成例を示している。図28の映像解析装置303は、図17の映像解析装置303に動作判定部2811を追加した構成を有する。
動作判定部2811は、例えば、機械学習により生成された学習済みモデルを用いて、映像中で追跡される各時刻の人物の動作を判定する。学習済みモデルは、骨格形状を認識するSVM(Support Vector Machine)であってもよい。人物の動作は、例えば、歩行、起立、着席等を表す。
追跡部413は、人物の動作を含む移動ログ2821を生成して、記憶部411に格納する。移動ログ2821の各エントリは、追跡ID、追跡信頼度、人物の動作、時刻、及び場所を含む。
図29は、図3の修正装置302の第3の機能的構成例を示している。図29の修正装置302は、図6の修正装置302と同様の構成を有する。記憶部611は、図6の移動ログ421の代わりに、図28の移動ログ2821を記憶する。特定部613及び変更部614は、移動ログ2821を用いて移動ログ変更処理を行う。
図30は、図3の監視対象領域311内を一緒に移動する2人の人物の例を示している。実線3001は、デスク312-1上の端末装置306-1を用いて作業を行っている人物Mが、一時的に離席して地点Pへ移動する移動経路を示している。破線3002は、人物Mが地点Pで人物Lと対話した後、人物Lと一緒にデスク312-1に戻る移動経路を示している。
一点鎖線3003は、人物Lが地点Qから地点Pへ移動する移動経路を示している。二点鎖線3004は、人物Lが地点Pで人物Mと対話した後、人物Mと一緒にデスク312-1へ移動する移動経路を示している。
この場合、地点Pにおいて人物M及び人物Lが重なることで、人物M及び人物Lの追跡信頼度が低下し、人物Mは二点鎖線3004が示す移動経路上を移動し、かつ、人物Lは破線3002が示す移動経路上を移動したと誤判定される。
図30の監視対象領域311における人物Mの操作履歴を含む業務ログ521は、図23の業務ログ521と同様である。
図31は、図30の監視対象領域311における人物M及び人物Lの追跡信頼度を含む第3の移動ログ2821の例を示している。図31の移動ログ2821は、追跡ID、追跡信頼度、人物の動作、時刻、及び場所の対応関係を表す。人物の動作は、物体の動作情報の一例である。
例えば、人物“E01”は、時刻“11:29”に“デスクA”の場所で着席しており、時刻“11:30”に起立して、“デスクA”の場所から移動を開始している。そして、人物“E01”は、時刻“11:31”に“地点P”を歩行しており、時刻“11:35”に“デスクA”の場所で起立している。
時刻“11:29”及び時刻“11:30”における人物“E01”の追跡信頼度は100%である。しかし、時刻“11:31”に“地点P”で人物“E01”及び人物“R0001”が重なったため、時刻“11:31”及び時刻“11:35”における人物“E01”の追跡信頼度は50%に低下している。
一方、人物“R0001”は、時刻“11:29”に“地点Q”を歩行しており、時刻“11:31”に“地点P”を歩行しており、時刻“11:36”に“デスクA”の場所で着席している。時刻“11:29”、時刻“11:31”、及び時刻“11:36”における人物“R0001”の追跡信頼度は0%である。
まず、特定部613は、図23の業務ログ521から、図8のイベントリスト621に登録されているイベントを操作内容として含むエントリを検索し、“PCログイン”を含む検出時刻“11:37”のエントリを取得する。
次に、特定部613は、業務ログ521から取得された検出時刻“11:37”のエントリから、人物ID“E01”、端末ID“PC-01”、及び操作内容“PCログイン”を抽出する。そして、特定部613は、図9の場所情報622を用いて、“PC-01”に対応する場所“デスクA”を求める。
次に、特定部613は、図31の移動ログ2821から、取得されたエントリの検出時刻“11:37”に対応する所定時刻のエントリであり、かつ、場所として“デスクA”を含むエントリを取得する。検出時刻の直前の時刻が所定時刻として用いられた場合、“デスクA”を含む所定時刻のエントリとして、時刻“11:36”のエントリが取得される。そして、特定部613は、そのエントリから追跡ID“R0001”、追跡信頼度“0%”、及び人物の動作“着席”を抽出する。
ログイン作業は着席して行われることが多いため、業務ログ521のエントリから抽出された“PCログイン”は、“デスクA”において期待される動作が“着席”であることを示している。したがって、移動ログ2821のエントリから抽出された“着席”は、“デスクA”において期待される動作に該当する。
次に、特定部613は、抽出された追跡信頼度“0%”を所定値と比較する。例えば、所定値が“60%”である場合、抽出された追跡信頼度“0%”は所定値よりも小さい。そして、業務ログ521のエントリから抽出された“E01”は、移動ログ2821のエントリから抽出された“R0001”とは異なっている。さらに、移動ログ2821のエントリから抽出された“着席”は、業務ログ521のエントリから抽出された“PCログイン”を行う人物の動作に該当する。
この場合、特定部613は、時刻“11:36”に“デスクA”の場所で着席していた人物“R0001”は、検出時刻“11:37”に“デスクA”の場所で“PCログイン”を行った人物“E01”と同一人物であると判定する。
次に、特定部613は、移動ログ2821において、人物“E01”及び人物“R0001”が地点Pで重なっている時刻“11:31”を求める。時刻“11:31”から時刻“11:36”までの区間の各エントリの追跡信頼度は、“60%”よりも小さい。そこで、変更部614は、この区間に含まれる“R0001”及び“E01”を入れ替える。
追跡信頼度が所定値よりも小さいエントリの追跡IDを対象として入れ替えを行うことで、正しい追跡IDを誤って変更してしまうことを防止できる。また、移動ログ2821に記録された人物の動作を、業務ログ521から推定される人物の動作と比較することで、2人の人物が同一人物であるか否かを精度良く判定することができる。
図32は、入れ替え後の第3の移動ログ2821の例を示している。図32の移動ログ2821では、時刻“11:31”及び時刻“11:36”の“R0001”が“E01”に変更され、追跡信頼度が“100%”に変更されている。また、時刻“11:31”及び時刻“11:35”の“E01”が“R0001”に変更され、追跡信頼度が“0%”に変更されている。
図28の映像解析装置303及び図29の修正装置302を含む業務プロセス分析システムによれば、映像中の2人の人物が一緒に移動することで誤った追跡が行われた場合であっても、誤りを補正して移動ログ2821の精度を向上させることができる。また、修正後の移動ログ2821を用いて業務プロセス分析を行うことで、分析対象の追跡IDに対応する時刻及び場所を検索する処理が効率化される。
図33は、図28の映像解析装置303が行う第3の移動ログ生成処理の例を示すフローチャートである。ステップ3301~ステップ3306及びステップ3309~ステップ3311の処理は、図26のステップ2601~ステップ2606及びステップ2608~ステップ2610の処理と同様である。
ステップ3306の処理の後、追跡部413は、その人物の動作を判定する(ステップ3307)。そして、追跡部413は、その人物の追跡ID、追跡信頼度、その人物の動作、時刻、及び場所を含むエントリを生成して、移動ログ2821に記録する(ステップ3308)。
図29の修正装置302は、図15と同様の移動ログ変更処理を行う。ただし、図15のステップ1505において、修正装置302は、図16とは異なる場所判定処理を行う。
図34は、図29の修正装置302が行う第3の場所判定処理の例を示すフローチャートである。ステップ3401、ステップ3402、ステップ3404、ステップ3405、ステップ3407、及びステップ3408の処理は、図27のステップ2701、ステップ2702、及びステップ2704~ステップ2707の処理と同様である。
ステップ3402の処理の後、特定部613は、業務ログ521から取得されたエントリの検出時刻に対応する所定時刻のエントリであり、かつ、場所X1を含むエントリを、移動ログ2821から取得する。そして、特定部613は、そのエントリから追跡ID、追跡信頼度、及び人物の動作を抽出する(ステップ3403)。
ステップ3405において人物IDと第1追跡IDが一致しない場合(ステップ3405,NO)、特定部613は、ステップ3406の処理を行う。ステップ3406において、特定部613は、移動ログ2821のエントリから抽出された人物の動作が、業務ログ521のエントリから抽出された操作内容の操作を行う人物の動作に該当するか否かをチェックする。
業務ログ521のエントリから抽出された操作内容の操作を行う人物の動作は、所定場所において期待される動作の一例である。
抽出された人物の動作が、業務ログ521のエントリから抽出された操作内容の操作を行う人物の動作に該当する場合(ステップ3406,YES)、特定部613は、移動ログ2821を修正すると判定する。そして、特定部613は、ステップ3407以降の処理を行う。
抽出された人物の動作が、業務ログ521のエントリから抽出された操作内容の操作を行う人物の動作に該当しない場合(ステップ3406,NO)、特定部613は、移動ログ2821を修正しないと判定し、修正指示を出力することなく処理を終了する。
図35は、図1の移動履歴変更装置101を含む車両管理システムの構成例を示している。図35の車両管理システムは、車両管理装置3501、修正装置3502、映像解析装置3503、収集装置3504、撮像装置3505、車両検出装置3506-1、及び車両検出装置3506-2を含む。修正装置3502は、図1の移動履歴変更装置101に対応する。
車両管理装置3501、修正装置3502、映像解析装置3503、及び収集装置3504は、通信ネットワーク3507を介して互いに通信することができる。通信ネットワーク3507は、LAN又はWANである。
監視対象領域3511は、車両が移動する空間である。監視対象領域3511は、工場、空港等の敷地内の領域であってもよい。監視対象領域3511には、ゲート3512-1及びゲート3512-2が設置されており、ゲート3512-i(i=1,2)には車両検出装置3506-iが取り付けられている。
車両検出装置3506-1及び車両検出装置3506-2は、センサの一例である。監視対象領域3511には、3台以上の車両検出装置3506-iが設置されていてもよい。
撮像装置3505は、例えば、CCD、CMOS等の撮像素子を有するカメラであり、監視対象領域3511の映像を撮影して、映像解析装置3503へ出力する。
映像解析装置3503は、撮像装置3505から出力される映像を解析して、映像に映っている物体の移動経路を示す移動ログを生成する。そして、映像解析装置3503は、移動ログを修正装置3502へ送信する。映像に映っている物体は、例えば、車両であり、移動ログは、物体移動履歴情報122の一例である。
収集装置3504及び車両検出装置3506-iは、通信ネットワーク3508を介して互いに通信することができる。通信ネットワーク3508は、LAN又はWANである。
車両検出装置3506-iは、ゲート3512-iを通過する車両を検出し、検出時刻、検出内容、及び検出された車両の情報を、収集装置3504へ送信する。車両検出装置3506-iは、例えば、撮像装置を用いて車両を近距離から撮影することで、ナンバープレートの画像を取得し、取得された画像を車両の情報として収集装置3504へ送信する。
収集装置3504は、車両検出装置3506-iから受信した車両の情報から、車両の識別情報及び車両タイプを特定する。車両の識別情報は、例えば、ナンバープレートに表示されている自動車登録番号である。車両タイプは、物体の種類を示す種類情報の一例である。収集装置3504は、検出時刻、車両の識別情報、車両タイプ、及び検出内容を含む検出ログを生成して、修正装置3502へ送信する。検出ログは、物体検出履歴情報121の一例である。
修正装置3502は、収集装置3504から受信した検出ログを用いて、映像解析装置3503から受信した移動ログを修正し、修正後の移動ログを車両管理装置3501へ送信する。車両管理装置3501は、修正装置3502から受信した移動ログを用いて車両の運行状況を分析し、分析結果を出力する。
図36は、図35の映像解析装置3503の機能的構成例を示している。図36の映像解析装置3503は、記憶部3611、通信部3612、追跡部3613、及び信頼度付与部3614を含む。通信部3612は、撮像装置3505から監視対象領域3511の映像を受信する。
追跡部3613は、映像に映っている車両を追跡し、信頼度付与部3614は、追跡される各時刻の車両に対して追跡信頼度を付与する。追跡部3613は、例えば、機械学習により生成されたSSD(Single Shot Multibox Detector)等の学習済みモデルを用いて、映像中の車両の車両タイプを認識することで、その車両を追跡することができる。
追跡部3613は、車両の移動経路を示す移動ログ3621を生成して、記憶部3611に格納する。移動ログ3621の各エントリは、追跡ID、追跡信頼度、時刻、車両タイプ、及び場所を含む。通信部3612は、生成された移動ログ3621を修正装置3502へ送信する。
図37は、図35の収集装置3504の機能的構成例を示している。図37の収集装置3504は、記憶部3711、通信部3712、及び記録部3713を含む。通信部3712は、車両検出装置3506-iから、検出時刻、検出内容、及び車両の情報を受信する。記憶部3711は、車両情報3721を記憶している。車両情報3721は、車両の識別情報と車両タイプとを対応付ける情報である。
車両の情報にナンバープレートの画像が含まれている場合、記録部3713は、ナンバープレートの画像から自動車登録番号を認識し、車両の識別情報として取得する。そして、記録部3713は、車両情報3721から、取得された車両の識別情報に対応する車両タイプを取得し、検出ログ3722を生成して、記憶部3711に格納する。検出ログ3722の各エントリは、検出時刻、車両の識別情報、車両タイプ、及び検出内容を含む。通信部3712は、生成された検出ログ3722を修正装置3502へ送信する。
図38は、図35の修正装置3502の機能的構成例を示している。図38の修正装置3502は、記憶部3811、通信部3812、特定部3813、及び変更部3814を含む。記憶部3811、特定部3813、及び変更部3814は、図1の記憶部111、特定部112、及び変更部113にそれぞれ対応する。
通信部3812は、収集装置3504から検出ログ3722を受信し、映像解析装置3503から移動ログ3621を受信する。特定部3813は、受信した検出ログ3722及び移動ログ3621を記憶部3811に格納する。
記憶部3811は、イベントリスト3821を記憶している。イベントリスト3821は、検出ログ3722に含まれる検出内容のうち、移動ログ3621に含まれる場所の判定に利用できる検出内容を示すイベントのリストである。
特定部3813は、イベントリスト3821に含まれるイベントに基づいて、検出ログ3722から、第1車両の識別情報、車両タイプ、検出時刻、及び検出内容を取得する。そして、特定部3813は、移動ログ3621において、第1車両の検出時刻に対応する所定時刻に、検出内容に対応する所定場所に存在する第2車両の識別情報を特定する。
変更部3814は、移動ログ3621において、特定された第2車両の識別情報を、取得された第1車両の識別情報に変更することで、移動ログ3621を修正する。通信部3812は、修正後の移動ログ3621を車両管理装置3501へ送信する。
図39は、図35の監視対象領域3511内を移動する車両の例を示している。車両3901の車両タイプは“A”であり、車両3902の車両タイプは“B”である。車両タイプ“A”の車体は、車両タイプ“B”の車体よりも小さい。車両3902は、地点Vに停止しており、車両3901は、移動経路3911上をゲート3512-1からゲート3512-2まで移動する。
撮像装置3505の映像において、ゲート3512-1を通過する車両3901は、車両検出装置3506-1の周囲の所定領域内に映っている。また、ゲート3512-2を通過する車両3901は、車両検出装置3506-2の周囲の所定領域内に映っている。
撮像装置3505から見た場合、地点Vにおいて、車両3901が車両3902の後ろ側を通過するため、撮像装置3505の映像には車両3901が一時的に映らなくなり、追跡が途切れる。そして、車両3901が車両3902の右側に現れたとき、車両3901に対して新たな追跡IDが付与される。
図40は、図38のイベントリスト3821の例を示している。図40のイベントリスト3821に含まれるイベントは、“ゲートG2通過”である。“ゲートG2”は、ゲート3512-2の名称を表す。
図41は、図37の車両情報3721の例を示している。図41の車両情報3721は、車両タイプ及び車両IDの対応関係を表す。車両IDは、車両の識別情報である。例えば、“C1234”は、車両3901の識別情報であり、“T0012”は、車両3902の識別情報である。
図42は、図39の監視対象領域3511における車両3901の検出履歴を含む検出ログ3722の例を示している。図42の検出ログ3722は、検出時刻、車両ID、車両タイプ、及び検出内容の対応関係を表す。
検出時刻は、車両検出装置3506-iにより、車両IDが示す車両が検出された時刻を表し、検出内容は、検出された車両を用いて行われた作業の内容を表す。検出内容としては、“ゲート通過”、“航空機への荷積み作業”等が記録される。
“C1234”が示す車両3901は、時刻“13:30”に“ゲートG1”を通過しており、時刻“13:50”に“ゲートG2”を通過している。“ゲートG1”は、ゲート3512-1の名称を表す。
図43は、図39の監視対象領域3511における2台の車両の移動経路を含む移動ログ3621の例を示している。図43の移動ログ3621は、追跡ID、追跡信頼度、時刻、及び場所の対応関係を表す。追跡信頼度は、追跡IDが示す車両と他の車両との重なりが発生する度に低下する。
例えば、車両“C1234”は、時刻“13:29”に“ゲートG1”に存在している。時刻“13:29”における車両“C1234”の追跡信頼度は100%である。車両“T0012”は、時刻“13:29”及び時刻“13:50”に“地点V”に存在している。時刻“13:29”及び時刻“13:50”における車両“T0012”の追跡信頼度は100%である。
車両“R0001”は、時刻“13:48”に“地点V”に存在し、時刻“13:50”に“ゲートG2”に存在している。時刻“13:48”及び時刻“13:50”における車両“R0001”の追跡信頼度は0%である。
まず、特定部3813は、図42の検出ログ3722から、図40のイベントリスト3821に登録されているイベントを検出内容として含むエントリを検索し、“ゲートG2通過”を含む検出時刻“13:50”のエントリを取得する。
次に、特定部3813は、検出ログ3722から取得された検出時刻“13:50”のエントリから、車両ID“C1234”、車両タイプ“A”、及び検出内容“ゲートG2通過”を抽出する。
次に、特定部3813は、図43の移動ログ3621から、取得されたエントリの検出時刻“13:50”に対応する所定時刻のエントリであり、かつ、検出内容に対応する“ゲートG2”を場所として含むエントリを取得する。この例では、“ゲートG2”を含む所定時刻のエントリとして、追跡ID“R0001”を有する時刻“13:50”のエントリが取得される。そして、特定部3813は、そのエントリから追跡ID“R0001”、追跡信頼度“0%”、及び車両タイプ“A”を抽出する。
次に、特定部3813は、抽出された追跡信頼度“0%”を所定値と比較する。例えば、所定値が“60%”である場合、抽出された追跡信頼度“0%”は所定値よりも小さい。そして、検出ログ3722のエントリから抽出された“C1234”は、移動ログ3621のエントリから抽出された“R0001”とは異なっている。さらに、検出ログ3722のエントリから抽出された車両タイプ“A”は、移動ログ3621のエントリから抽出された車両タイプ“A”と一致する。
この場合、特定部3813は、時刻“13:50”に“ゲートG2”に存在した車両“R0001”は、検出時刻“13:50”に“ゲートG2”を通過した車両“C1234”と同一車両であると判定する。
次に、特定部3813は、移動ログ3621において、時刻“13:50”以前の時間帯で、車両“R0001”の追跡信頼度が所定値よりも小さい区間を求め、変更部3814は、その区間の“R0001”を“C1234”に変更する。
追跡信頼度が所定値よりも小さいエントリの追跡IDを変更対象として選択することで、正しい追跡IDを誤って変更してしまうことを防止できる。また、移動ログ3621に記録された車両タイプを、業務ログ521に記録された車両タイプと比較することで、2台の車両が同一車両であるか否かを精度良く判定することができる。
“R0001”を含む時刻“13:48”及び時刻“13:50”の各エントリの追跡信頼度は、“60%”よりも小さい。そこで、変更部3814は、これらのエントリに含まれる“R0001”を“C1234”に変更する。時刻“13:50”以降のエントリに“R0001”が含まれている場合、そのエントリの“R0001”も“C1234”に変更される。
図44は、変更後の移動ログ3621の例を示している。図44の移動ログ3621では、時刻“13:48”及び時刻“13:50”の“R0001”が“C1234”に変更され、追跡信頼度が“100%”に変更されている。
車両管理装置3501は、図44の移動ログ3621から分析対象の追跡ID“C1234”に対応する時刻及び場所を検索することで、検索された時刻及び場所を含む、車両3901の移動経路を生成する。そして、車両管理装置3501は、生成された移動経路に基づいて、車両3901を用いて行われる作業におけるボトルネックを検出し、車両3901の運行スケジュールを最適化する。
図35の車両管理システムによれば、遮蔽により映像中の車両の追跡が途絶えた場合であっても、誤りを補正して移動ログ3621の精度を向上させることができる。また、修正後の移動ログ3621を用いて運行状況の分析を行うことで、分析対象の追跡IDに対応する時刻及び場所を検索する処理が効率化される。
図45は、図37の収集装置3504が行う検出ログ生成処理の例を示すフローチャートである。まず、記録部3713は、ユーザから終了指示が入力されたか否かをチェックする(ステップ4501)。
終了指示が入力されていない場合(ステップ4501,NO)、記録部3713は、通信部3712を介して、何れかの車両検出装置3506-iにより検出された車両の検出時刻、検出内容、及び車両の情報を取得する(ステップ4502)。そして、記録部3713は、車両の情報から車両IDを認識し(ステップ4503)、車両情報3721から、認識された車両IDに対応する車両タイプを取得する(ステップ4504)。
次に、記録部3713は、検出時刻、車両ID、車両タイプ、及び検出内容を含むエントリを生成して、検出ログ3722に記録する(ステップ4505)。そして、記録部3713は、ステップ4501以降の処理を繰り返す。終了指示が入力された場合(ステップ4501,YES)、記録部3713は、処理を終了する。
図46は、図36の映像解析装置3503が行う第4の移動ログ生成処理の例を示すフローチャートである。まず、追跡部3613は、ユーザから終了指示が入力されたか否かをチェックする(ステップ4601)。
終了指示が入力されていない場合(ステップ4601,NO)、追跡部3613は、映像に映っている車両の車両タイプを認識しながら、その車両を追跡し(ステップ4602)、追跡が成功したか否かをチェックする(ステップ4603)。
追跡が成功した場合(ステップ4603,YES)、追跡部3613は、追跡IDが示す車両に対する重なり判定処理を行い(ステップ4604)、信頼度付与部3614は、重なり判定処理の結果に応じてその車両に追跡信頼度を設定する(ステップ4605)。追跡IDが示す車両が他の車両と重なっている場合、直前の追跡信頼度の1/2の値が設定され、追跡IDが示す車両が他の車両と重なっていない場合、直前の追跡信頼度が設定される。
次に、追跡部3613は、画像内でその車両が侵入したROIが示す場所の名称を付与し(ステップ4606)、その車両の追跡ID、追跡信頼度、時刻、車両タイプ、及び場所を含むエントリを生成して、移動ログ3621に記録する(ステップ4607)。そして、映像解析装置3503は、ステップ4601以降の処理を繰り返す。
一方、追跡が失敗した場合(ステップ4603,NO)、追跡部3613は、新たな車両を検出し(ステップ4608)、検出された車両の車両タイプを認識する。そして、追跡部3613は、検出された車両に対して新たな追跡IDを付与する(ステップ4609)。
次に、信頼度付与部3614は、その車両に追跡信頼度“0%”を設定し(ステップ4610)、映像解析装置3503は、ステップ4606以降の処理を行う。終了指示が入力された場合(ステップ4601,YES)、映像解析装置3503は、処理を終了する。
図47は、図38の修正装置3502が行う第2の移動ログ変更処理の例を示すフローチャートである。まず、特定部3813は、ユーザから終了指示が入力されたか否かをチェックする(ステップ4701)。
終了指示が入力されていない場合(ステップ4701,NO)、特定部3813は、通信部3812を介して、収集装置3504から検出ログ3722を取得し(ステップ4702)、映像解析装置3503から移動ログ3621を取得する(ステップ4703)。そして、特定部3813は、取得した検出ログ3722から、イベントリスト3821に登録されているイベントを示す検出内容を検索し、検出ログ3722にイベントが含まれているか否かをチェックする(ステップ4704)。
検出ログ3722にイベントが含まれている場合(ステップ4704,YES)、特定部3813は、場所判定を行って、取得した移動ログ3621を修正するか否かを判定する(ステップ4705)。移動ログ3621を修正する場合、特定部3813は、変更対象の追跡ID及び変更後の追跡IDを示す修正指示を、変更部3814へ出力する。
次に、変更部3814は、特定部3813から修正指示が出力されたか否かをチェックする(ステップ4706)。修正指示が出力された場合(ステップ4706,YES)、変更部3814は、移動ログ3621において修正指示が示す変更対象の追跡IDを、変更後の追跡IDに変更することで、移動ログ3621を修正する(ステップ4707)。そして、修正装置3502は、ステップ4701以降の処理を繰り返す。
検出ログ3722にイベントが含まれていない場合(ステップ4704,NO)、修正装置3502は、ステップ4701以降の処理を繰り返す。修正指示が出力されない場合(ステップ4706,NO)、修正装置3502は、ステップ4701以降の処理を繰り返す。終了指示が入力された場合(ステップ4701,YES)、修正装置3502は、処理を終了する。
図48は、図47のステップ4705における第4の場所判定処理の例を示すフローチャートである。まず、特定部3813は、検出ログ3722から、イベントを検出内容として含むエントリを取得し、そのエントリから検出時刻、車両ID、車両タイプ、及び検出内容を抽出する(ステップ4801)。
次に、特定部3813は、検出ログ3722のエントリから抽出された検出時刻に対応する所定時刻のエントリであり、かつ、検出内容に対応する場所を含むエントリを、移動ログ3621から取得する。そして、特定部3813は、そのエントリから追跡ID、追跡信頼度、及び車両タイプを抽出する(ステップ4802)。
次に、特定部3813は、抽出された追跡信頼度を所定値と比較する(ステップ4803)。追跡信頼度が所定値よりも小さい場合(ステップ4803,YES)、特定部3813は、検出ログ3722のエントリから抽出された車両IDと、移動ログ3621のエントリから抽出された追跡IDとを比較する(ステップ4804)。
車両IDと追跡IDが一致しない場合(ステップ4804,NO)、特定部3813は、検出ログ3722のエントリから抽出された車両タイプと、移動ログ3621のエントリから抽出された車両タイプとが一致するか否かをチェックする(ステップ4805)。
検出ログ3722のエントリから抽出された車両タイプと、移動ログ3621のエントリから抽出された車両タイプとが一致する場合(ステップ4805,YES)、特定部3813は、移動ログ3621を修正すると判定する。そして、特定部3813は、変更対象の追跡ID及び変更後の追跡IDを示す修正指示を、変更部3814へ出力する(ステップ4806)。
変更対象の追跡IDは、移動ログ3621のエントリから抽出された追跡IDと同じ追跡IDであって、所定時刻以前の時間帯で追跡信頼度が所定値よりも小さい区間のエントリ又は所定時刻以降のエントリに含まれる追跡IDである。変更後の追跡IDは、検出ログ3722のエントリから抽出された車両IDである。
追跡信頼度が所定値以上である場合(ステップ4803,NO)、特定部3813は、移動ログ3621を修正しないと判定し、修正装置3502は、修正指示を出力することなく処理を終了する。車両IDと追跡IDが一致する場合(ステップ4804,YES)、特定部3813は、移動ログ3621を修正しないと判定し、修正装置3502は、修正指示を出力することなく処理を終了する。
検出ログ3722のエントリから抽出された車両タイプと、移動ログ3621のエントリから抽出された車両タイプとが一致しない場合(ステップ4805,NO)、特定部3813は、移動ログ3621を修正しないと判定する。そして、修正装置3502は、修正指示を出力することなく処理を終了する。
修正装置302及び修正装置3502は、変更前の移動ログを書き換える代わりに、変更後の移動ログを別の移動ログとして記録してもよい。また、修正装置302及び修正装置3502は、変更後の移動ログと、業務ログ521又は検出ログ3722とを統合して、統合移動ログを生成することもできる。
図49は、統合移動ログを生成する修正装置302の第4の機能的構成例を示している。図49の修正装置302は、図18の修正装置302と同様の構成を有する。変更部614は、変更後の移動ログ1721と業務ログ521とを統合して、統合移動ログ4901を生成し、記憶部611に格納する。
通信部612は、統合移動ログ4901を業務プロセス分析装置301へ送信し、業務プロセス分析装置301は、統合移動ログ4901を用いて業務プロセス分析を行う。
図50は、図23の業務ログ521と、図25の入れ替え後の移動ログ1721とを統合することで生成された、統合移動ログ4901の例を示している。図50の統合移動ログ4901は、追跡ID、時刻、場所、端末ID、及び操作内容の項目を含む。
エントリ5001、エントリ5003~エントリ5005、及びエントリ5007~エントリ5009は、図25の移動ログ1721のエントリに対応し、端末ID及び操作内容のデータを含んでいない。
エントリ5002及びエントリ5006は、図23の業務ログ521のエントリに対応し、端末ID及び操作内容のデータを含んでいる。図23の業務ログ521には場所が含まれていないため、エントリ5002及びエントリ5006の場所のデータは、直前のエントリの場所のデータを用いて補完されている。エントリ5002の場所“デスクA”は、直前のエントリ5001の場所と同じであり、エントリ5006の場所“デスクA”は、直前のエントリ5005の場所と同じである。
図49の修正装置302によれば、業務ログ521と移動ログ1721とを統合することで、業務ログ521及び移動ログ1721のデータを圧縮することができる。したがって、統合移動ログ4901の生成後に業務ログ521及び移動ログ1721を削除することで、記憶部611の空き容量が増加する。
図51は、図49の修正装置302が行う統合移動ログ生成処理の例を示すフローチャートである。まず、変更部614は、ユーザから終了指示が入力されたか否かをチェックする(ステップ5101)。
終了指示が入力されていない場合(ステップ5101,NO)、変更部614は、記憶部611から業務ログ521を取得し(ステップ5102)、修正後の移動ログ1721を取得する(ステップ5103)。
次に、変更部614は、業務ログ521のエントリと、移動ログ421のエントリとを、統合移動ログ4901の項目に合わせて結合する(ステップ5104)。そして、変更部614は、結合された複数のエントリを追跡IDの昇順又は降順にソートし(ステップ5105)、同じ追跡IDを含む複数のエントリを時刻の昇順にソートする(ステップ5106)。
次に、変更部614は、場所のデータを含んでいないエントリを特定し、特定されたエントリの場所のデータを、直前のエントリの場所のデータで補完する(ステップ5107)。そして、変更部614は、ソートされた複数のエントリを、統合移動ログ4901に記録し(ステップ5108)、修正装置302は、ステップ5101以降の処理を繰り返す。終了指示が入力された場合(ステップ5101,YES)、修正装置302は、処理を終了する。
業務プロセス分析システム又は車両管理システムにおいて、業務ログ、検出ログ、及び移動ログに記録される物体は、人物又は車両に限られず、動物、自走式ロボット、航空機等の他の物体であってもよい。他の物体には、ベルトコンベアのような搬送機構によって搬送される製品、紙書類等も含まれる。物体を検出するセンサは、物体に取り付けられたRFID(Radio Frequency Identification)タグを読み取るRFIDリーダであってもよい。
図1の移動履歴変更装置101の構成は一例に過ぎず、移動履歴変更装置101の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図3の業務プロセス分析システムの構成は一例に過ぎず、業務プロセス分析システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図4、図17、及び図28の映像解析装置303の構成は一例に過ぎず、業務プロセス分析システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図5の収集装置304の構成は一例に過ぎず、業務プロセス分析システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図6、図18、図29、及び図49の修正装置302の構成は一例に過ぎず、業務プロセス分析システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図35の車両管理システムの構成は一例に過ぎず、車両管理システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図36の映像解析装置3503の構成は一例に過ぎず、車両管理システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図37の収集装置3504の構成は一例に過ぎず、車両管理システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図38の修正装置3502の構成は一例に過ぎず、車両管理システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図2のフローチャートは一例に過ぎず、移動履歴変更装置101の構成又は条件に応じて、一部の処理を省略又は変更してもよい。
図13~図16、図26、図27、図33、図34、及び図51のフローチャートは一例に過ぎず、業務プロセス分析システムの構成又は条件に応じて、一部の処理を省略又は変更してもよい。図45~図48のフローチャートは一例に過ぎず、車両管理システムの構成又は条件に応じて、一部の処理を省略又は変更してもよい。例えば、図48の場所判定処理において車両タイプを使用しない場合は、ステップ4805の処理を省略することができる。
図7、図20、及び図30に示した監視対象領域311及び人物の移動経路は一例に過ぎず、監視対象領域311及び人物の移動経路は、業務プロセス分析システムの分析対象に応じて変化する。図8~図12、図19、図23~図25、図31、図32、及び図50に示した各種データは一例に過ぎず、これらのデータは、監視対象領域311及び人物の移動経路に応じて変化する。図21及び図22に示した重なり判定処理は一例に過ぎず、別の判定方法により、2人の人物が重なっているか否かを判定してもよい。
図39に示した監視対象領域3511及び車両の移動経路は一例に過ぎず、監視対象領域3511及び車両の移動経路は、車両管理システムの分析対象に応じて変化する。図40~図44に示した各種データは一例に過ぎず、これらのデータは、監視対象領域3511及び車両の移動経路に応じて変化する。
式(1)~式(6)は一例に過ぎず、別の計算式を用いて2人の人物が重なっているか否かを判定してもよい。
図52は、図1の移動履歴変更装置101、図4、図17、及び図28の映像解析装置303、図5の収集装置304、図6、図18、図29、及び図49の修正装置302として用いられる情報処理装置(コンピュータ)のハードウェア構成例を示している。図52の情報処理装置は、図36の映像解析装置3503、図37の収集装置3504、及び図38の修正装置3502としても用いられる。
図52の情報処理装置は、CPU(Central Processing Unit)5201、メモリ5202、入力装置5203、出力装置5204、補助記憶装置5205、媒体駆動装置5206、及びネットワーク接続装置5207を含む。これらの構成要素はハードウェアであり、バス5208により互いに接続されている。
メモリ5202は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ5202は、図1の記憶部111、図4、図17、及び図28の記憶部411、図5の記憶部511、又は図6、図18、図29、及び図49の記憶部611として動作してもよい。メモリ5202は、図36の記憶部3611、図37の記憶部3711、又は図38の記憶部3811として動作してもよい。
CPU5201(プロセッサ)は、例えば、メモリ5202を利用してプログラムを実行することにより、図1の特定部112及び変更部113として動作する。CPU5201は、メモリ5202を利用してプログラムを実行することにより、図4、図17、及び図28の追跡部413としても動作する。
CPU5201は、メモリ5202を利用してプログラムを実行することにより、図5の記録部513としても動作する。CPU5201は、メモリ5202を利用してプログラムを実行することにより、図6、図18、図29、及び図49の特定部613及び変更部614としても動作する。
CPU5201は、メモリ5202を利用してプログラムを実行することにより、図17及び図28の信頼度付与部1711としても動作する。CPU5201は、メモリ5202を利用してプログラムを実行することにより、図28の動作判定部2811としても動作する。
CPU5201は、メモリ5202を利用してプログラムを実行することにより、図36の追跡部3613及び信頼度付与部3614としても動作する。CPU5201は、メモリ5202を利用してプログラムを実行することにより、図37の記録部3713としても動作する。CPU5201は、メモリ5202を利用してプログラムを実行することにより、図38の特定部3813及び変更部3814としても動作する。
入力装置5203は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示又は情報の入力に用いられる。出力装置5204は、例えば、表示装置、プリンタ等であり、ユーザ又はオペレータへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、移動ログ421、移動ログ1721、移動ログ2821、移動ログ3621、又は統合移動ログ4901であってもよい。
補助記憶装置5205は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置5205は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置5205にプログラム及びデータを格納しておき、それらをメモリ5202にロードして使用することができる。
補助記憶装置5205は、図1の記憶部111、図4、図17、及び図28の記憶部411、図5の記憶部511、又は図6、図18、図29、及び図49の記憶部611として動作してもよい。補助記憶装置5205は、図36の記憶部3611、図37の記憶部3711、又は図38の記憶部3811として動作してもよい。
媒体駆動装置5206は、可搬型記録媒体5209を駆動し、その記録内容にアクセスする。可搬型記録媒体5209は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体5209は、CD-ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリ等であってもよい。ユーザ又はオペレータは、可搬型記録媒体5209にプログラム及びデータを格納しておき、それらをメモリ5202にロードして使用することができる。
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ5202、補助記憶装置5205、又は可搬型記録媒体5209のような、物理的な(非一時的な)記録媒体である。
ネットワーク接続装置5207は、通信ネットワーク307又は通信ネットワーク3507に接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置5207を介して受信し、それらをメモリ5202にロードして使用することができる。
ネットワーク接続装置5207は、図4、図17、及び図28の通信部412、図5の通信部512、又は図6、図18、図29、及び図49の通信部612として動作してもよい。ネットワーク接続装置5207は、図36の通信部3612、図37の通信部3712、又は図38の通信部3812として動作してもよい。
なお、情報処理装置が図52のすべての構成要素を含む必要はなく、情報処理装置の用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要な場合は、入力装置5203及び出力装置5204を省略してもよい。可搬型記録媒体5209を使用しない場合は、媒体駆動装置5206を省略してもよい。
図3の業務プロセス分析装置301及び図35の車両管理装置3501としては、図52と同様の情報処理装置を用いることができる。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
図1乃至図52を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
(付記1)
物体検出履歴情報から、所定場所でセンサにより検出された第1物体の識別情報と、前記第1物体の検出時刻とを取得し、
映像から生成された物体移動履歴情報において、前記第1物体の検出時刻に対応する所定時刻に前記所定場所に存在する第2物体の識別情報を特定し、
前記物体移動履歴情報において、特定された前記第2物体の識別情報を、取得された前記第1物体の識別情報に変更する、
処理をコンピュータが実行することを特徴とする移動履歴変更方法。
(付記2)
前記第2物体の識別情報を前記第1物体の識別情報に変更する処理は、前記第1物体の検出時刻よりも前の特定時刻に、前記所定場所とは異なる特定場所に前記第1物体及び前記第2物体が存在していたことを、前記物体移動履歴情報が示している場合、前記物体移動履歴情報において前記特定時刻から前記所定時刻までの区間に含まれる、前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理を含むことを特徴とする付記1記載の移動履歴変更方法。
(付記3)
前記物体移動履歴情報は、前記映像において前記第1物体及び前記第2物体を追跡することで得られた、前記第1物体及び前記第2物体それぞれの追跡信頼度を含み、
前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理は、前記区間に含まれる前記第1物体及び前記第2物体それぞれの追跡信頼度が所定値よりも小さい場合、前記区間に含まれる前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理を含むことを特徴とする付記2記載の移動履歴変更方法。
(付記4)
前記物体移動履歴情報は、前記映像から前記第1物体及び前記第2物体の動作を認識することで得られた、前記第1物体及び前記第2物体それぞれの動作情報を含み、
前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理は、前記所定時刻における前記第2物体の動作情報が、前記所定場所において期待される動作に対応している場合、前記区間に含まれる前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理を含むことを特徴とする付記2又は3記載の移動履歴変更方法。
(付記5)
前記物体移動履歴情報は、前記映像において前記第2物体を追跡することで得られた、前記第2物体の追跡信頼度を含み、
前記第2物体の識別情報を前記第1物体の識別情報に変更する処理は、前記所定時刻における前記第2物体の追跡信頼度が所定値よりも小さい場合、前記第2物体の識別情報を前記第1物体の識別情報に変更する処理を含むことを特徴とする付記1記載の移動履歴変更方法。
(付記6)
前記物体移動履歴情報は、前記映像から前記第2物体の種類を認識することで得られた、前記第2物体の種類情報を含み、
前記第2物体の識別情報を前記第1物体の識別情報に変更する処理は、前記所定時刻における前記第2物体の種類情報が、前記第1物体の種類に対応している場合、前記第2物体の識別情報を前記第1物体の識別情報に変更する処理を含むことを特徴とする付記5記載の移動履歴変更方法。
(付記7)
前記物体検出履歴情報と前記物体移動履歴情報とを統合することで、統合移動履歴情報を生成する処理を、前記コンピュータがさらに実行することを特徴とする付記1乃至6の何れか1項に記載の移動履歴変更方法。
(付記8)
前記センサは端末装置であり、前記第1物体は、前記所定場所で前記端末装置を操作した人物であり、前記第2物体は、前記映像において前記端末装置の周囲の所定領域内に映っている人物であることを特徴とする付記1乃至7の何れか1項に記載の移動履歴変更方法。
(付記9)
前記センサは車両検出装置であり、前記第1物体は、前記所定場所を通過した車両であり、前記第2物体は、前記映像において前記車両検出装置の周囲の所定領域内に映っている車両であることを特徴とする付記1乃至7の何れか1項に記載の移動履歴変更方法。
(付記10)
物体検出履歴情報から、所定場所でセンサにより検出された第1物体の識別情報と、前記第1物体の検出時刻とを取得し、
映像から生成された物体移動履歴情報において、前記第1物体の検出時刻に対応する所定時刻に前記所定場所に存在する第2物体の識別情報を特定し、
前記物体移動履歴情報において、特定された前記第2物体の識別情報を、取得された前記第1物体の識別情報に変更する、
処理をコンピュータに実行させるための移動履歴変更プログラム。
(付記11)
前記第2物体の識別情報を前記第1物体の識別情報に変更する処理は、前記第1物体の検出時刻よりも前の特定時刻に、前記所定場所とは異なる特定場所に前記第1物体及び前記第2物体が存在していたことを、前記物体移動履歴情報が示している場合、前記物体移動履歴情報において前記特定時刻から前記所定時刻までの区間に含まれる、前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理を含むことを特徴とする付記10記載の移動履歴変更プログラム。
(付記12)
前記物体移動履歴情報は、前記映像において前記第1物体及び前記第2物体を追跡することで得られた、前記第1物体及び前記第2物体それぞれの追跡信頼度を含み、
前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理は、前記区間に含まれる前記第1物体及び前記第2物体それぞれの追跡信頼度が所定値よりも小さい場合、前記区間に含まれる前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理を含むことを特徴とする付記11記載の移動履歴変更プログラム。
(付記13)
前記物体移動履歴情報は、前記映像から前記第1物体及び前記第2物体の動作を認識することで得られた、前記第1物体及び前記第2物体それぞれの動作情報を含み、
前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理は、前記所定時刻における前記第2物体の動作情報が、前記所定場所において期待される動作に対応している場合、前記区間に含まれる前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理を含むことを特徴とする付記11又は12記載の移動履歴変更プログラム。
(付記14)
前記物体移動履歴情報は、前記映像において前記第2物体を追跡することで得られた、前記第2物体の追跡信頼度を含み、
前記第2物体の識別情報を前記第1物体の識別情報に変更する処理は、前記所定時刻における前記第2物体の追跡信頼度が所定値よりも小さい場合、前記第2物体の識別情報を前記第1物体の識別情報に変更する処理を含むことを特徴とする付記10記載の移動履歴変更プログラム。
(付記15)
前記物体移動履歴情報は、前記映像から前記第2物体の種類を認識することで得られた、前記第2物体の種類情報を含み、
前記第2物体の識別情報を前記第1物体の識別情報に変更する処理は、前記所定時刻における前記第2物体の種類情報が、前記第1物体の種類に対応している場合、前記第2物体の識別情報を前記第1物体の識別情報に変更する処理を含むことを特徴とする付記14記載の移動履歴変更プログラム。
101 移動履歴変更装置
111、411、511、611、3611、3711、3811 記憶部
112、613、3813 特定部
113、614、3814 変更部
121 物体検出履歴情報
122 物体移動履歴情報
301 業務プロセス分析装置
302、3502 修正装置
303、3503 映像解析装置
304、3504 収集装置
305、3505 撮像装置
306-1~306-3 端末装置
307、308、3507、3508 通信ネットワーク
311、3511 監視対象領域
312-1、312-2 デスク
313-1、313-2 椅子
314 棚
412、512、612、3612 通信部
413、3613 追跡部
421、1721、2821、3621 移動ログ
513、3713 記録部
521 業務ログ
621、3821 イベントリスト
622 場所情報
701、2001、3001 実線
702、2002、3002 破線
703、2003、3003 一点鎖線
1711、3614 信頼度付与部
1901~1905、1911~1914、5001~5009 エントリ
2004、3004 二点鎖線
2101、2102 人物
2111、2112、2121、2122、3911 移動経路
2131~2133、2141~2143、2201、2202 境界ボックス
2203 重なり領域
2211、2212、2221、2222 頂点
2811 動作判定部
3501 車両管理装置
3506-1、3506-2 車両検出装置
3512-1、3512-2 ゲート
3721 車両情報
3722 検出ログ
3901、3902 車両
4901 統合移動ログ
5201 CPU
5202 メモリ
5203 入力装置
5204 出力装置
5205 補助記憶装置
5206 媒体駆動装置
5207 ネットワーク接続装置
5208 バス
5209 可搬型記録媒体

Claims (8)

  1. 物体検出履歴情報から、所定場所でセンサにより検出された第1物体の識別情報と、前記第1物体の検出時刻とを取得し、
    映像から生成された物体移動履歴情報において、前記第1物体の検出時刻に対応する所定時刻に前記所定場所に存在する第2物体の識別情報を特定し、
    前記物体移動履歴情報において、特定された前記第2物体の識別情報を、取得された前記第1物体の識別情報に変更する、
    処理をコンピュータが実行することを特徴とする移動履歴変更方法。
  2. 前記第2物体の識別情報を前記第1物体の識別情報に変更する処理は、前記第1物体の検出時刻よりも前の特定時刻に、前記所定場所とは異なる特定場所に前記第1物体及び前記第2物体が存在していたことを、前記物体移動履歴情報が示している場合、前記物体移動履歴情報において前記特定時刻から前記所定時刻までの区間に含まれる、前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理を含むことを特徴とする請求項1記載の移動履歴変更方法。
  3. 前記物体移動履歴情報は、前記映像において前記第1物体及び前記第2物体を追跡することで得られた、前記第1物体及び前記第2物体それぞれの追跡信頼度を含み、
    前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理は、前記区間に含まれる前記第1物体及び前記第2物体それぞれの追跡信頼度が所定値よりも小さい場合、前記区間に含まれる前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理を含むことを特徴とする請求項2記載の移動履歴変更方法。
  4. 前記物体移動履歴情報は、前記映像から前記第1物体及び前記第2物体の動作を認識することで得られた、前記第1物体及び前記第2物体それぞれの動作情報を含み、
    前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理は、前記所定時刻における前記第2物体の動作情報が、前記所定場所において期待される動作に対応している場合、前記区間に含まれる前記第1物体の識別情報と前記第2物体の識別情報とを入れ替える処理を含むことを特徴とする請求項2又は3記載の移動履歴変更方法。
  5. 前記物体移動履歴情報は、前記映像において前記第2物体を追跡することで得られた、前記第2物体の追跡信頼度を含み、
    前記第2物体の識別情報を前記第1物体の識別情報に変更する処理は、前記所定時刻における前記第2物体の追跡信頼度が所定値よりも小さい場合、前記第2物体の識別情報を前記第1物体の識別情報に変更する処理を含むことを特徴とする請求項1記載の移動履歴変更方法。
  6. 前記物体移動履歴情報は、前記映像から前記第2物体の種類を認識することで得られた、前記第2物体の種類情報を含み、
    前記第2物体の識別情報を前記第1物体の識別情報に変更する処理は、前記所定時刻における前記第2物体の種類情報が、前記第1物体の種類に対応している場合、前記第2物体の識別情報を前記第1物体の識別情報に変更する処理を含むことを特徴とする請求項5記載の移動履歴変更方法。
  7. 前記物体検出履歴情報と前記物体移動履歴情報とを統合することで、統合移動履歴情報を生成する処理を、前記コンピュータがさらに実行することを特徴とする請求項1乃至6の何れか1項に記載の移動履歴変更方法。
  8. 物体検出履歴情報から、所定場所でセンサにより検出された第1物体の識別情報と、前記第1物体の検出時刻とを取得し、
    映像から生成された物体移動履歴情報において、前記第1物体の検出時刻に対応する所定時刻に前記所定場所に存在する第2物体の識別情報を特定し、
    前記物体移動履歴情報において、特定された前記第2物体の識別情報を、取得された前記第1物体の識別情報に変更する、
    処理をコンピュータに実行させるための移動履歴変更プログラム。
JP2021019762A 2021-02-10 2021-02-10 移動履歴変更方法及び移動履歴変更プログラム Pending JP2022122498A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021019762A JP2022122498A (ja) 2021-02-10 2021-02-10 移動履歴変更方法及び移動履歴変更プログラム
EP21207974.3A EP4044129A1 (en) 2021-02-10 2021-11-12 Movement history change method,movement history change program, movement history change device
US17/542,422 US20220254033A1 (en) 2021-02-10 2021-12-05 Movement history change method, storage medium, and movement history change device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021019762A JP2022122498A (ja) 2021-02-10 2021-02-10 移動履歴変更方法及び移動履歴変更プログラム

Publications (1)

Publication Number Publication Date
JP2022122498A true JP2022122498A (ja) 2022-08-23

Family

ID=78617293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021019762A Pending JP2022122498A (ja) 2021-02-10 2021-02-10 移動履歴変更方法及び移動履歴変更プログラム

Country Status (3)

Country Link
US (1) US20220254033A1 (ja)
EP (1) EP4044129A1 (ja)
JP (1) JP2022122498A (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7412077B2 (en) * 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
JPWO2014050432A1 (ja) * 2012-09-27 2016-08-22 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
WO2015166612A1 (ja) * 2014-04-28 2015-11-05 日本電気株式会社 映像解析システム、映像解析方法および映像解析プログラム
JP6569385B2 (ja) * 2015-08-20 2019-09-04 株式会社Jvcケンウッド 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム
JP7007177B2 (ja) * 2017-12-20 2022-01-24 マクセル株式会社 端末機器、本人認証システムおよび本人認証方法
JP7065557B2 (ja) 2018-12-05 2022-05-12 Kddi株式会社 人物を追跡する映像解析装置、プログラム及び方法
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7379028B2 (ja) * 2019-09-06 2023-11-14 キヤノン株式会社 電子機器、電子機器の制御方法、プログラムおよび記憶媒体

Also Published As

Publication number Publication date
EP4044129A1 (en) 2022-08-17
US20220254033A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
JP4650669B2 (ja) 動体認識装置
US11048917B2 (en) Method, electronic device, and computer readable medium for image identification
Tammvee et al. Human activity recognition-based path planning for autonomous vehicles
Satake et al. Visual person identification using a distance-dependent appearance model for a person following robot
JP2017174343A (ja) 入店者属性抽出装置及び入店者属性抽出プログラム
JP5431830B2 (ja) 部品検出装置、部品検出方法、プログラムおよび記録媒体
JP2017204095A (ja) 特徴量比較プログラム、情報処理装置、および特徴量比較方法
WO2018173848A1 (ja) オブジェクト追跡システム、インテリジェント撮像装置、オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び記憶媒体
JP2022122498A (ja) 移動履歴変更方法及び移動履歴変更プログラム
Saptharishi et al. Agent-based moving object correspondence using differential discriminative diagnosis
JP7233292B2 (ja) 画像処理装置および画像処理方法
US11568564B2 (en) Mapping multiple views to an identity
KR20230081016A (ko) 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램
CN111860223A (zh) 属性识别系统、学习服务器以及计算机可读记录介质
WO2021032295A1 (en) System and method for detecting person activity in video
JP7491462B2 (ja) 因果相互作用検出装置、制御方法、及びプログラム
KR102560107B1 (ko) 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템 및 방법
US20220309471A1 (en) Systems and methods for machine learning-informed automated recording of time activities with an automated electronic time recording system or service
EP4231222A1 (en) Information processing program, information processing method, and information processing apparatus
JP7088108B2 (ja) 追跡方法、追跡装置、及びプログラム
US20230267743A1 (en) Computer-readable recording medium, information processing method, and information processing apparatus
WO2022079841A1 (ja) グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体
Thomanek et al. University of Applied Sciences Mittweida and Chemnitz University of Technology at TRECVID ActEv 2019.
US20230206693A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
Ghosh Centre-of-mass based gait recognition for person identification

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210303