JP2021106305A - データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラム - Google Patents

データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラム Download PDF

Info

Publication number
JP2021106305A
JP2021106305A JP2019235655A JP2019235655A JP2021106305A JP 2021106305 A JP2021106305 A JP 2021106305A JP 2019235655 A JP2019235655 A JP 2019235655A JP 2019235655 A JP2019235655 A JP 2019235655A JP 2021106305 A JP2021106305 A JP 2021106305A
Authority
JP
Japan
Prior art keywords
data
compression
compression rate
output
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019235655A
Other languages
English (en)
Inventor
悠介 篠原
Yusuke Shinohara
悠介 篠原
孝法 岩井
Takanori Iwai
孝法 岩井
勇人 逸身
Hayato Itsumi
勇人 逸身
フロリアン バイエ
Beye Florian
フロリアン バイエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2019235655A priority Critical patent/JP2021106305A/ja
Priority to US17/131,002 priority patent/US11470248B2/en
Publication of JP2021106305A publication Critical patent/JP2021106305A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】物体検出処理が行われるデータを適切に圧縮することが可能なデータ圧縮装置を提供する。【解決手段】データ圧縮装置(2)は、監視対象範囲を監視する監視装置(1、6)が時系列データとして逐次出力する出力データに対して圧縮処理を行う圧縮手段(212)と、圧縮処理が行われた出力データを、出力データを用いて監視対象範囲に存在する物体を検出するための物体検出処理を行うデータ処理装置(3)に出力する出力手段(213)と、出力データを圧縮する圧縮率と、圧縮率で圧縮された出力データを用いて行われる前記物体検出処理による物体の検出精度との間の関係を示す精度情報に基づいて、圧縮処理で用いられる圧縮率を設定する設定手段(211)とを備える。【選択図】図14

Description

本発明は、データを圧縮するための圧縮処理を行うデータ圧縮装置、データ圧縮方法及びコンピュータプログラム、並びに、データを圧縮する圧縮率を設定するために用いられる演算モデルを生成するモデル生成装置、モデル生成方法及びコンピュータプログラムの技術分野に関する。
動画データを構成する複数の画像データ(言い換えれば、画像データセット、画像レコード)を圧縮する様々な技術が提案されている。例えば、非特許文献1には、各画像データが示す画像の各部分を圧縮する際の圧縮率を、その画像の特徴に基づいて設定する技術が記載されている。例えば、非特許文献2には、各画像データが示す画像のうち視聴者が見ていない領域を低画質化する一方で、各画像データが示す画像のうち人間が自然に注視する視覚的に顕著な領域を高画質化するように、各画像データを圧縮する技術が記載されている。
その他、本願発明に関連する先行技術文献として、特許文献1から特許文献4及び非特許文献3から非特許文献5があげられる。
特表2018−505571号公報 特開2016−046707号公報 特開2009−089354号公報 特開2006−101063号公報
Leonard Galteri et al.、"Video Compression for Obect Detection Algorithms"、2018 24th International Conference on Patten Recognition(ICPR)、IEEE、2018年8月 Wei Huang et al.、"QoE−Oriented Resource Allocation for 360−degree Video Transmission over Heterogeneous Networks"、arXiv 1803.07789、2018年3月 Joseph Redmon et al.、"You Only Look Once: Unified,Real−Time Objection Detection"、arXiv 1506.02640、2016年5月 Wei Liu et al.、"SSD:Single Shot MultiBox Detector"、arXiv 1512.02325、2015年12月 Gregory P.Meyer al.、"LaserNet: An efficient Probabilistic 3D Object Detector for Autonomous Driving"、arXiv 1903.08701、2019年3月
圧縮された画像データに対して、その画像データが示す画像に表現されている物体を検出するための物体検出処理が行われることがある。しかしながら、上述した非特許文献1及び2では、画像データを圧縮する際に、物体検出処理の特性が何ら考慮されていない。このため、非特許文献1及び2に記載された技術は、圧縮された画像データに対して物体検出処理が行われる場合において画像データが適切に圧縮されない可能性があるという技術的問題を有する。
上述した物体検出処理は、画像データ(例えば、所定の撮影範囲を撮影することで当該撮影範囲を監視するカメラが出力する画像データ)に限られない。例えば、上述した物体検出処理は、物体が存在する可能性がある監視対象範囲を監視する任意の監視装置が時系列データとして逐次出力する任意の出力データ(例えば、LIDAR(Light Detection and Ranging)等の3次元スキャナが出力する点群データ)等に対しても行われることがある。このため、任意の監視装置が出力する出力データが圧縮される場合も、上述した技術的問題が生ずる可能性がある。つまり、圧縮された出力データに対して物体検出処理が行われる場合において、出力データが適切に圧縮されない可能性があるという技術的問題を有する。
本発明は、上述した課題を解決可能なデータ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラムを提供することを課題とする。一例として、本発明は、物体検出処理が行われるデータを適切に圧縮することが可能なデータ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラムを提供することを課題とする。
本発明の一の態様において、データ圧縮装置は、監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データを圧縮する圧縮手段と、前記圧縮手段による圧縮が行われた前記出力データを、前記出力データを用いて前記監視対象範囲に存在する物体を検出するデータ処理装置に対して出力する出力手段と、前記出力データを圧縮する圧縮率と、前記圧縮率で圧縮された前記出力データを用いて前記データ処理装置による物体の検出精度との間の関係を示す精度情報に基づいて、前記圧縮手段で用いられる圧縮率を設定する設定手段とを備える。
本発明の一の態様において、モデル生成装置は、監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データ及び前記出力データとデータ種類が同じである同種データの少なくとも一方を含む学習用データを、圧縮率リストに含まれる複数の異なる圧縮率の夫々で圧縮する圧縮手段と、前記複数の異なる圧縮率の夫々で前記圧縮手段による圧縮が行われた前記学習用データを用いて、前記監視対象範囲に存在する物体を検出する検出手段と、前記検出手段による検出結果と、前記圧縮手段による圧縮で用いられた前記複数の異なる圧縮率とに基づいて、前記学習用データを圧縮する圧縮率と、前記圧縮率で圧縮された前記学習用データを用いた前記検出手段による物体の検出精度との間の関係に関する精度の推定に用いる演算モデルを生成する生成手段と、前記生成手段が生成した前記演算モデルを、前記演算モデルを用いて前記出力データを圧縮するための圧縮率を設定し且つ前記設定した圧縮率で前記出力データを圧縮するデータ圧縮装置に対して出力する出力手段とを備える。
本発明の一の態様において、データ圧縮方法は、コンピュータによって、監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データを圧縮する圧縮処理を行い、前記圧縮処理が行われた前記出力データを、前記出力データを用いて前記監視対象範囲に存在する物体を検出するための物体検出処理を行うデータ処理装置に出力し、前記出力データを圧縮する圧縮率と、前記圧縮率で圧縮された前記出力データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係を示す精度情報に基づいて、前記圧縮処理で用いられる圧縮率を設定する。
本発明の一の態様において、モデル生成方法は、コンピュータによって、監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データ及び前記出力データとデータ種類が同じである同種データの少なくとも一方を含む学習用データを、圧縮率リストに含まれる複数の異なる圧縮率の夫々で圧縮する圧縮処理を行い、前記複数の異なる圧縮率の夫々で前記圧縮処理が行われた前記学習用データを用いて、前記監視対象範囲に存在する物体を検出するための物体検出処理を行い、前記物体検出処理の結果と、前記圧縮処理で用いられた前記複数の異なる圧縮率とに基づいて、前記学習用データを圧縮する圧縮率と、前記圧縮率で圧縮された前記学習用データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係に関する精度情報を推定するための演算モデルを生成し、前記生成手段が生成した前記演算モデルを、前記演算モデルを用いて前記出力データを圧縮するための圧縮率を設定し且つ前記設定した圧縮率で前記出力データを圧縮するデータ圧縮装置に出力する。
本発明の一の態様において、コンピュータプログラムは、コンピュータに、データ圧縮方法を実行させるプログラムであって、前記データ圧縮方法は、監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データを圧縮する圧縮処理を行い、前記圧縮処理が行われた前記出力データを、前記出力データを用いて前記監視対象範囲に存在する物体を検出するための物体検出処理を行うデータ処理装置に出力し、前記出力データを圧縮する圧縮率と、前記圧縮率で圧縮された前記出力データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係を示す精度情報に基づいて、前記圧縮処理で用いられる圧縮率を設定する。
本発明の他の態様において、コンピュータプログラムは、コンピュータに、モデル生成方法を実行させるプログラムであって、前記モデル生成方法は、監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データ及び前記出力データとデータ種類が同じである同種データの少なくとも一方を含む学習用データを、圧縮率リストに含まれる複数の異なる圧縮率の夫々で圧縮する圧縮処理を行い、前記複数の異なる圧縮率の夫々で前記圧縮処理が行われた前記学習用データを用いて、前記監視対象範囲に存在する物体を検出するための物体検出処理を行い、前記物体検出処理の結果と、前記圧縮処理で用いられた前記複数の異なる圧縮率とに基づいて、前記学習用データを圧縮する圧縮率と、前記圧縮率で圧縮された前記学習用データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係に関する精度情報を推定するための演算モデルを生成し、前記生成手段が生成した前記演算モデルを、前記演算モデルを用いて前記出力データを圧縮するための圧縮率を設定し且つ前記設定した圧縮率で前記出力データを圧縮するデータ圧縮装置に出力する。
上述したデータ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラムの夫々の一の態様によれば、物体検出処理が行われる出力データが適切に圧縮される。
図1は、本実施形態におけるデータ圧縮システムの全体構成を例示するブロック図である。 図2は、カメラの撮影範囲を説明する平面図である。 図3は、データ圧縮装置の構成を例示するブロック図である。 図4は、データ処理装置の構成を例示するブロック図である。 図5は、モデル生成装置の構成を例示するブロック図である。 図6は、モデル生成装置が行うモデル生成動作の流れを例示するフローチャートである。 図7は、図6のステップS42で行われる圧縮処理の流れを例示するフローチャートである。 図8は、図6のステップS43で行われる物体検出処理の流れを例示するフローチャートである。 図9は、複数の物体が表現されている画像を例示する平面図である。 図10は、図6のステップS44において検出確率推定モデルを生成する処理の流れを例示するフローチャートである。 図11は、圧縮率に関連付けられた物体検出位置を含むラベルデータを説明するデータ構造図である。 図12は、検出確率推定モデルの出力を概念的に例示する説明図である。 図13は、データ圧縮装置が行うデータ圧縮動作の流れを例示するフローチャートである。 図14は、物体の検出確率と画像データの圧縮率との関係を例示するグラフである。 図15は、本実施形態において検出確率推定モデルを生成するために用いられるラベルデータを例示するデータ構造図である。 図16は、第1変形例において検出確率推定モデルを生成するために用いられるラベルデータを例示するデータ構造図である。 図17は、第1変形例における検出確率推定モデルの出力を概念的に例示する説明図である。 図18は、第1変形例における物体の検出確率と画像データの圧縮率との関係を例示するグラフである。 図19は、第2変形例における検出確率推定モデルの出力を概念的に例示する説明図である。 図20は、第3変形例におけるデータ圧縮システムの全体構成を例示するブロック図である。 図21は、第4変形例におけるモデル生成装置の構成を例示するブロック図である。 図22は、第4変形例における圧縮率候補と圧縮率リストに含められる圧縮率との関係を例示する説明図である。
以下、図面を参照しながら、データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラムの実施形態について説明する。以下では、データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラムの実施形態が適用されたデータ圧縮システムSYSについて説明する。
<1>データ圧縮システムSYSの構成
<1−1>データ圧縮システムSYSの全体構成
はじめに、図1を参照しながら、本実施形態のデータ圧縮システムSYSの全体構成について説明する。図1は、本実施形態のデータ圧縮システムSYSの全体構成を例示するブロック図である。
図1に示すように、データ圧縮システムSYSは、カメラ1と、データ圧縮装置2と、データ処理装置3と、モデル生成装置4とを備えている。データ圧縮装置2と、データ処理装置3と、モデル生成装置4とは、通信ネットワーク網5を介して互いに通信可能である。通信ネットワーク網5は、有線の通信ネットワーク網及び無線の通信ネットワーク網の少なくとも一方を含んでいてもよい。
カメラ1は、カメラ1が備える光学系の特性によって定まる所定の撮影範囲(言い換えれば、撮影画角)に含まれる光景を撮影可能な撮影機器である。カメラ1の撮影範囲は、例えば、図2に示すように、カメラ1を起点に一定の広がりを有する範囲(典型的には、空間)となっていてもよい。カメラ1は、所定の撮影レート(例えば、1秒間に30回撮影範囲を撮影する撮影レート)で撮影範囲を撮影する。その結果、カメラ1は、夫々が撮影範囲の状況を示す複数の画像データ(言い換えれば、動画フレーム)を、時系列データとして出力する。つまり、カメラ1は、複数の画像データによって構成される動画データ(つまり、映像データ)を出力する。
データ圧縮装置2は、カメラ1が出力する動画データを取得する。データ圧縮装置2は、カメラ1から取得した動画データを圧縮し且つ圧縮した動画データをデータ処理装置3に送信するためのデータ圧縮動作を行う。つまり、データ圧縮装置2は、動画データを構成する複数の画像データを圧縮し且つ圧縮した複数の画像データから構成される動画データをデータ処理装置3に送信するためのデータ圧縮動作を行う。この際、データ圧縮装置2は、モデル生成装置4が生成する検出確率推定モデル221を用いて、画像データを圧縮する圧縮率を設定する。
本実施形態では、説明の便宜上、圧縮率は、圧縮前の画像データのデータサイズに対する、圧縮前の画像データのデータサイズと圧縮後の画像データのデータサイズとの差分の絶対値の比率を意味するものとする。このため、例えば、画像データが10%の圧縮率で圧縮される場合には、圧縮後の画像データのデータサイズは、圧縮前の画像データのデータサイズの90%となる。尚、本実施形態及び変形例において、“x%の圧縮率”なる記載は、“圧縮率x%(圧縮率がx%)”という意味をなすこととする。
画像データを圧縮することは、画像データのデータサイズが減少するように画像データを符号化することと等価であるとみなしてもよい。このため、データ圧縮装置2は、データ符号化装置と称されてもよい。同様の理由からデータ圧縮システムSYSは、データ符号化システムと称されてもよい。
データ処理装置3は、データ圧縮装置2から送信された動画データ(つまり、圧縮された動画データ)を受信する。データ処理装置3は、受信した動画データに対して、所定のデータ処理を行う。本実施形態では、データ処理装置3は、所定のデータ処理の一例として、物体検出処理を行う。物体検出処理は、動画データを構成する各画像データを用いて、カメラ1が撮影範囲を撮影していた時点でカメラ1の撮影範囲に存在していた物体を検出する処理である。つまり、物体検出処理は、各画像データが示す画像に表現されている物体を検出する処理である。物体検出処理の結果は、所望の用途(例えば、後述するように、車両を遠隔で運転する用途)で用いられてもよい。
モデル生成装置4は、検出確率推定モデル221を生成し且つ生成した検出確率推定モデル221をデータ圧縮装置2に送信するためのモデル生成動作を行う。検出確率推定モデル221は、上述したように、データ圧縮装置2が画像データを圧縮する際に用いる圧縮率を設定するために用いられる演算モデルである。尚、検出確率推定モデル221については、後に詳述するため、ここでの詳細な説明は省略する。
このようなデータ圧縮システムSYSの一例として、自動車等の車両を遠隔で運転する遠隔運転システムが挙げられる。この場合、カメラ1は、車両に搭載されていてもよい。データ圧縮装置2もまた車両に搭載されていてもよい。但し、データ圧縮装置2は、車両に搭載されていなくてもよい。例えば、データ圧縮装置2は、通信ネットワーク網5を介して車両と通信可能なサーバであってもよい。また、データ処理装置3は、通信ネットワーク網5を介して車両と通信可能なサーバであってもよい。但し、データ処理装置3が車両に搭載されていてもよい。このような遠隔運転システムでは、カメラ1は、車両の周囲の光景を撮影する。カメラ1が撮影した動画データ(画像データ)は、データ圧縮装置2で圧縮された後に、データ処理装置3に送信される。データ処理装置3は、受信した画像データに対して物体検出処理を行うことで、車両の周囲に存在する物体を検出する。その結果、遠隔オペレータは、データ処理装置3における物体検出処理の結果を踏まえて、通信ネットワーク網5を介して車両を遠隔で運転してもよい。或いは、遠隔で車両を走行させる車両制御装置は、データ処理装置3における物体検出処理の結果を踏まえて、通信ネットワーク網5を介して車両を遠隔で運転してもよい。
<1−2>データ圧縮装置2の構成
続いて、図3を参照しながら、データ圧縮装置2の構成について説明する。図3は、データ圧縮装置2の構成を示すブロック図である。
図3に示すように、データ圧縮装置2は、演算装置21と、記憶装置22と、入出力IF(Interface:インタフェース)23と、通信装置24とを備えている。演算装置21と、記憶装置22と、入出力IF23と、通信装置24とは、データバス25を介して接続されていてもよい。
演算装置21は、CPU(Central Processing Unit)及びGPU(Graphic Processing Unit)の少なくとも一方を含む。演算装置21は、コンピュータプログラムを読み込む。例えば、演算装置21は、記憶装置22が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置21は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置21は、通信装置24を介して、データ圧縮装置2の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、ダウンロードしてもよい又は読み込んでもよい)。演算装置21は、読み込んだコンピュータプログラムを実行する。その結果、演算装置21内には、データ圧縮装置2が行うべき動作(例えば、上述したデータ圧縮動作)を実行するための論理的な機能ブロックが実現される。つまり、演算装置21は、データ圧縮装置2が行うべき動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
図3には、データ圧縮動作を実行するために演算装置21内に実現される論理的な機能ブロックの一例が示されている。図3に示すように、演算装置21内には、圧縮率設定部211と、データ圧縮部212と、送信制御部213とが実現される。尚、圧縮率設定部211、データ圧縮部212及び送信制御部213の夫々の動作の詳細については、後に図13等を参照しながら詳述するが、ここでその概要について簡単に説明する。圧縮率設定部211は、モデル生成装置4が生成する検出確率推定モデル221を用いて、画像データを圧縮する圧縮率を設定する。データ圧縮部212は、カメラ1から取得した画像データに対して、圧縮率設定部211が設定した圧縮率で当該画像データを圧縮するための圧縮処理を行う。送信制御部213は、通信装置24を用いて、データ圧縮部212によって圧縮処理が行われた画像データをデータ処理装置3に送信する。
記憶装置22は、所望のデータを記憶可能である。例えば、記憶装置22は、演算装置21が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置22は、演算装置21がコンピュータプログラムを実行している際に演算装置21が一時的に使用するデータを一時的に記憶してもよい。記憶装置22は、データ圧縮装置2が長期的に保存するデータを記憶してもよい。本実施形態では特に、記憶装置22は、圧縮率設定部211が圧縮率を設定する際に用いる検出確率推定モデル221を記憶する。尚、記憶装置22は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
入出力IF23は、データ圧縮装置2とカメラ1との間でのデータの送受信を行う装置である。従って、データ圧縮装置2は、入出力IF23を介して、カメラ1から動画データ(つまり、画像データ)を取得する。
通信装置24は、通信ネットワーク網5を介して、データ処理装置3及びモデル生成装置4と通信可能である。本実施形態では、通信装置24は、通信ネットワーク網5を介して、モデル生成装置4が生成した検出確率推定モデル221を、モデル生成装置4から受信可能である。更に、通信装置24は、通信ネットワーク網5を介して、データ圧縮部212が圧縮した画像データ(つまり、動画データ)を、データ処理装置3に送信可能である。
尚、通信装置24は、通信ネットワーク網5又は不図示の他の通信ネットワーク網を介して、カメラ1と通信可能であってもよい。この場合、データ圧縮装置2は、入出力IF23に加えて又は代えて、通信装置24を介して、カメラ1から動画データ(つまり、画像データ)を取得してもよい。通信装置24を介してカメラ1から動画データが取得される場合には、データ圧縮装置2は、入出力IF23を備えていなくてもよい。
<1−3>データ処理装置3の構成
続いて、図4を参照しながら、データ処理装置3の構成について説明する。図4は、データ処理装置3の構成を例示するブロック図である。
図4に示すように、データ処理装置3は、演算装置31と、記憶装置32と、通信装置33とを備えている。演算装置31と、記憶装置32と、通信装置33とは、データバス34を介して接続されていてもよい。
演算装置31は、CPU及びGPUの少なくとも一方を含む。演算装置31は、コンピュータプログラムを読み込む。例えば、演算装置31は、記憶装置32が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置31は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置31は、通信装置33を介して、データ処理装置3の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、ダウンロードしてもよい又は読み込んでもよい)。演算装置31は、読み込んだコンピュータプログラムを実行する。その結果、演算装置31内には、データ処理装置3が行うべき動作(例えば、上述した物体検出処理を含む動作)を実行するための論理的な機能ブロックが実現される。つまり、演算装置31は、データ処理装置3が行うべき動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
図4には、演算装置31内に実現される論理的な機能ブロックの一例が示されている。図4に示すように、CPU31内には、検出処理部311が実現される。検出処理部311は、データ圧縮装置2から送信された動画データを構成する各画像データに対して物体検出処理を行う。検出処理部311は、ニューラルネットワーク(例えば、CNN:Convolutional Neural Network)を用いた演算モデルを用いて、物体検出処理を行ってもよい。この際、検出処理部311は、任意の物体検出方法に準拠した物体検出処理を行ってもよい。物体検出方法の一例として、「Objectness」と称される物体検出アルゴリズムを用いた物体検出方法及び「CenterNet」と称される物体検出アルゴリズムを用いた物体検出方法の少なくとも一方が挙げられる。
物体検出処理は、画像データが示す画像に表現されている物体を検出する処理を含む。画像に表現されている物体を検出する処理は、画像内で物体が検出された領域の座標を特定する処理を含んでいてもよい。画像内で物体が検出された領域の座標は、例えば、画像内で物体を包含する矩形上の領域(いわゆるボックス)の最小座標及び最大座標を含んでいてもよい。また、物体検出処理は、画像に表現されている物体を検出する処理に加えて、検出した物体のクラスを識別する(言い換えれば、認識する)処理を含んでいてもよい。つまり、物体検出処理は、検出した物体の種類を分類する処理を含んでいてもよい。
尚、上述したように物体検出処理の結果が所望の用途で用いられる場合には、演算装置31内には、所望の用途に関する処理を行うための機能ブロックが実現されてもよい。例えば、上述したように物体検出処理の結果が車両を遠隔で運転する用途で用いられる場合には、演算装置31内には、物体検出処理の結果に基づいて車両を遠隔で運転するための機能ブロックが実現されてもよい。
記憶装置32は、所望のデータを記憶可能である。例えば、記憶装置32は、演算装置31が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置32は、演算装置31がコンピュータプログラムを実行している際に演算装置31が一時的に使用するデータを一時的に記憶してもよい。記憶装置32は、データ処理装置3が長期的に保存するデータを記憶してもよい。尚、記憶装置32は、RAM、ROM、ハードディスク装置、光磁気ディスク装置、SSD及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
通信装置33は、通信ネットワーク網5を介して、データ圧縮装置2と通信可能である。本実施形態では、通信装置33は、通信ネットワーク網5を介して、データ圧縮装置2が圧縮した画像データ(つまり、動画データ)を、データ圧縮装置2から受信可能である
<1−4>モデル生成装置4の構成
続いて、図5を参照しながら、モデル生成装置4の構成について説明する。図5は、データ処理装置3の構成を例示するブロック図である。
図5に示すように、モデル生成装置4は、演算装置41と、記憶装置42と、通信装置43とを備えている。演算装置41と、記憶装置42と、通信装置43とは、データバス44を介して接続されていてもよい。
演算装置41は、CPU及びGPUの少なくとも一方を含む。演算装置41は、コンピュータプログラムを読み込む。例えば、演算装置41は、記憶装置42が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置41は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。演算装置41は、通信装置43を介して、モデル生成装置4の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、ダウンロードしてもよい又は読み込んでもよい)。演算装置41は、読み込んだコンピュータプログラムを実行する。その結果、演算装置41内には、モデル生成装置4が行うべき動作(例えば、上述したモデル生成動作)を実行するための論理的な機能ブロックが実現される。つまり、演算装置41は、モデル生成装置4が行うべき動作を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
図5には、モデル生成動作を実行するために演算装置41内に実現される論理的な機能ブロックの一例が示されている。図5に示すように、CPU41内には、データ圧縮部411と、検出処理部412と、モデル生成部413と、送信制御部414とが実現される。尚、データ圧縮部411、検出処理部412、モデル生成部413及び送信制御部414の夫々の動作の詳細については、後に図6から図12等を参照しながら詳述するが、ここでその概要について簡単に説明する。データ圧縮部411は、記憶装置42が記憶している学習用データセット421に含まれる少なくとも一つの画像データに対して、記憶装置42が記憶している圧縮率リスト422に含まれる複数の異なる圧縮率の夫々で当該画像データを圧縮するための圧縮処理を行う。検出処理部412は、データ圧縮部411によって圧縮処理が行われた画像データに対して、物体検出処理を行う。モデル生成部413は、データ圧縮部411が画像データを圧縮するために用いた複数の圧縮率と、検出処理部412が行った物体検出処理の結果とを用いて、検出確率推定モデル221を生成する。尚、検出確率推定モデル221の生成方法については、後に詳述する。送信制御部414は、通信装置43を用いて、モデル生成部413が生成した検出確率推定モデル221をデータ処理装置3に送信する。
記憶装置42は、所望のデータを記憶可能である。例えば、記憶装置42は、演算装置41が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置42は、演算装置41がコンピュータプログラムを実行している際に演算装置41が一時的に使用するデータを一時的に記憶してもよい。記憶装置42は、モデル生成装置4が長期的に保存するデータを記憶してもよい。本実施形態では特に、記憶装置42は、検出確率推定モデル221を生成するためにデータ圧縮部411が圧縮処理を行う画像データを含む学習用データセット421を記憶する。更に、記憶装置42は、データ圧縮部411が画像データを圧縮するために用いる複数の異なる圧縮率を指定する圧縮率リスト422を記憶する。尚、記憶装置42は、RAM、ROM、ハードディスク装置、光磁気ディスク装置、SSD及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
通信装置43は、通信ネットワーク網5を介して、データ圧縮装置2と通信可能である。本実施形態では、通信装置43は、通信ネットワーク網5を介して、モデル生成部413が生成した検出確率推定モデル221を、データ圧縮装置2に送信可能である
<2>データ圧縮システムSYSの動作
続いて、データ圧縮システムSYSの動作について説明する。以下では、データ圧縮システムSYSが行う動作の少なくとも一部として、モデル生成装置4が行うモデル生成動作と、データ圧縮装置2が行うデータ圧縮動作とについて順に説明する。
<2−1>モデル生成動作
初めに、図6を参照しながら、モデル生成装置4が行うモデル生成動作の流れについて説明する。図6は、モデル生成装置4が行うモデル生成動作の流れを例示するフローチャートである。
図6に示すように、データ圧縮部411は、記憶装置42が記憶している学習用データセット421から、検出確率推定モデル221を生成するために用いられる画像データを取得する(ステップS41)。学習用データセット421は、カメラ1から取得した画像データが含まれていてもよい。或いは、学習用データセット421は、カメラ1から取得した画像データとは異なる画像データが含まれていてもよい。つまり、学習用データセット421は、カメラ1から取得した画像データではないものの、カメラ1から取得した画像データとデータ種類が同じ画像データが含まれていてもよい。データ圧縮部411は、複数の画像データを取得することが好ましい。データ圧縮部411は、一連の動画データを構成する複数の画像データを取得してもよい。データ圧縮部411は、一の動画データを構成する画像データと、一の動画データとは異なる他の動画データを構成する画像データとを含む複数の画像データを取得してもよい。データ圧縮部411は、動画データとは無関係に任意の複数の画像データを取得してもよい。但し、データ圧縮部411は、単一の画像データを取得してもよい。以下では、説明の便宜上、データ圧縮部411が複数の画像データを取得する例について説明する。
その後、データ圧縮部411は、ステップS41で取得した複数の画像データの夫々に対して圧縮処理を行う(ステップS42)。以下、図7を参照しながら、ステップS42で行われる圧縮処理の流れについて説明する。図7は、図6のステップS42で行われる圧縮処理の流れを例示するフローチャートである。
図7に示すように、データ圧縮部411は、記憶装置42が記憶している圧縮率リスト422から一つの圧縮率を抽出する(ステップS421)。その後、データ圧縮部411は、図6のステップS41で取得された複数の画像データの夫々に対して、ステップS421で抽出した圧縮率で各画像データを圧縮する圧縮処理を行う(ステップS422)。このようなステップS421からステップS422までの処理が、圧縮率リスト422に含まれる複数の圧縮率の全てがステップS421で抽出されるまで繰り返される(ステップS423)。圧縮された画像データは、画像データを圧縮する際に用いた圧縮率と関連付けられた状態で記憶装置42に一時的に格納されてもよい。
例えば、圧縮率リスト422に複数の圧縮率として「10%」、「30%」、「50%」及び「80%」という4種類の圧縮率が含まれている場合には、データ圧縮部411は、画像データを10%の圧縮率で圧縮する圧縮処理、画像データを30%の圧縮率で圧縮する圧縮処理、画像データを50%の圧縮率で圧縮する圧縮処理及び画像データを80%の圧縮率で圧縮する圧縮処理を行う。
尚、圧縮率リスト422には、「0%」という圧縮率が含まれていてもよい。この場合、データ圧縮部411は、画像データを圧縮しなくてもよい。なぜならば、0%の圧縮率で圧縮された画像データは、圧縮されていない画像データと同一であるからである。この場合、学習用データセット421から取得された画像データがそのまま、0%の圧縮率で圧縮された画像データとして用いられてもよい。
再び図6において、複数の画像データの夫々に対して複数の異なる圧縮率で圧縮処理が行われた後には、検出処理部412は、圧縮処理が行われた各画像データに対して、物体検出処理を行う(ステップS43)。以下、図8を参照しながら、ステップS43で行われる物体検出処理の流れについて説明する。図8は、図6のステップS43で行われる物体検出処理の流れを例示するフローチャートである。
図8に示すように、検出処理部412は、記憶装置42が記憶している圧縮率リスト422から一つの圧縮率を抽出する(ステップS431)。その後、検出処理部412は、ステップS431で抽出した圧縮率を用いて圧縮された複数の画像データの夫々に対して、物体検出処理を行う(ステップS432)。このようなステップS431からステップS432までの処理が、圧縮率リスト422に含まれる複数の圧縮率の全てがステップS431で抽出されるまで繰り返される(ステップS433)。
例えば、圧縮率リスト422に複数の圧縮率として「10%」、「30%」、「50%」及び「80%」という4種類の圧縮率が含まれている場合には、検出処理部412は、10%の圧縮率で圧縮された画像データに対する物体検出処理、30%の圧縮率で圧縮された画像データに対する物体検出処理、50%の圧縮率で圧縮された画像データに対する物体検出処理及び80%の圧縮率で圧縮された画像データに対する物体検出処理を行う。
検出処理部412は、データ処理装置3の検出処理部311が行う物体検出処理と同一の物体検出処理を行うことが好ましい。検出処理部412は、検出処理部311が行う物体検出処理が準拠している物体検出方法と同一の物体検出方法に準拠した物体検出処理を行うことが好ましい。検出処理部311が所定の演算モデル(例えば、ニューラルネットワークを採用した演算モデル)を用いて物体検出処理を行う場合には、検出処理部412は、検出処理部311が用いる演算モデルと同一の演算モデルを用いて物体検出処理を行うことが好ましい。
物体検出処理の結果は、画像データが示す画像に表現されている物体が画像内において検出された位置(以降、“物体検出位置”と称する)を含んでいてもよい。以下、説明の便宜上、本実施形態では、物体検出処理の結果が物体検出位置である例を用いて説明を進める。物体検出位置は、例えば、画像内で物体が検出された領域(例えば、いわゆるボックスと称される、物体を包含する矩形状の領域)の座標(2次元座標系の座標値)を含んでいてもよい。例えば、図9は、画像データが示す画像に、人間に相当する物体#1と、人間に相当する物体#2と、信号機に相当する物体#3とが表現されている様子を例示している。この場合、物体検出処理の結果は、物体#1を包含する矩形状の領域の最小座標(例えば、図9における左下の頂点の座標であり、(xmin#1、ymin#1))及び最大座標(例えば、図9における右上の頂点の座標であり、(xmax#1、ymax#1))と、物体#2を包含する矩形状の領域の最小座標(xmin#2、ymin#2)及び最大座標(xmax#2、ymax#2)と、物体#3を包含する矩形状の領域の最小座標(xmin#3、ymin#3)及び最大座標(xmax#3、ymax#3)とを含んでいてもよい。このような物体検出処理の結果は、物体検出処理が行われた画像データを圧縮する際に用いた圧縮率と関連付けられた状態で記憶装置42に一時的に格納されてもよい。
再び図6において、圧縮された複数の画像データの夫々に対して物体検出処理が行われた後には、モデル生成部413は、データ圧縮部411が画像データを圧縮するために用いた複数の圧縮率と、検出処理部412が行った物体検出処理の結果とを用いて、検出確率推定モデル221を生成する(ステップS44)。以下、図10を参照しながら、ステップS43で行われる物体検出処理の流れについて説明する。図10は、図6のステップS44で行われる検出確率推定モデル221を生成する処理の流れを示すフローチャートである。
図10に示すように、モデル生成部413は、記憶装置42が記憶している圧縮率リスト422から一つの圧縮率を抽出する(ステップS441)。但し、ステップS441では、モデル生成部413は、圧縮率リスト422に含まれている複数の圧縮率のうちの最小の(つまり、最小の)圧縮率は抽出しなくてもよい。
その後、モデル生成部413は、ステップS441で抽出された圧縮率で圧縮された画像データに対して行われた物体検出処理の結果の少なくとも一部を選択する(ステップS442)。つまり、モデル生成部413は、ステップS441で抽出された圧縮率で圧縮された画像データから検出された複数の物体検出位置の少なくとも一部を選択する(ステップS442)。ステップS442で選択された物体検出位置は、検出確率推定モデル221を生成するために実際に用いられる。一方で、ステップS442で選択されなかった物体検出位置は、検出確率推定モデル221を生成するために実際に用いられないことが好ましい。
ステップS441で抽出された圧縮率で圧縮された画像データに対して行われた物体検出処理の結果の少なくとも一部を選択するために、モデル生成部413は、最小の圧縮率で圧縮された画像データに対して行われた物体検出処理の結果と、ステップS441で抽出された圧縮率で圧縮された画像データに対して行われた物体検出処理の結果とを比較してもよい。つまり、モデル生成部413は、最小の圧縮率で圧縮された画像データから検出された複数の物体検出位置(以降、説明の便宜上、“物体検出位置(基準)”と称する)と、ステップS441で抽出された圧縮率で圧縮された画像データから検出された複数の物体検出位置(以降、説明の便宜上、“物体検出位置(選択候補)”と称する)とを比較してもよい。
具体的には、モデル生成部413は、複数の物体検出位置(基準)の少なくとも一つと一致する物体検出位置(選択候補)を選択する。ここで、少なくとも一つの物体検出位置(基準)と一致する物体検出位置(選択候補)が存在する場合には、最小の圧縮率で圧縮された画像データから検出された物体と同じ物体が、ステップS441で抽出された圧縮率で圧縮された画像データからも検出されていると想定される。従って、少なくとも一つの物体検出位置(基準)と一致する物体検出位置(選択候補)の信頼性は相対的に高いと想定される。なぜならば、最小の圧縮率で圧縮された画像データに対する物体検出処理の結果は、最も信頼性が高いからである。従って、複数の物体検出位置(基準)の少なくとも一つと一致する物体検出位置(選択候補)を選択する動作は、相対的に信頼性の高い物体検出位置(選択候補)を選択する動作と実質的に等価であるとみなしてもよい。
一方で、モデル生成部413は、複数の物体検出位置(基準)いずれとも一致しない物体検出位置(選択候補)を選択しない。ここで、複数の物体検出位置(基準)のいずれとも一致しない物体検出位置(選択候補)が存在する場合には、最小の圧縮率で圧縮された画像データからは検出されていない物体が、ステップS441で抽出された圧縮率で圧縮された画像データから検出されていると想定される。この場合、最小の圧縮率で圧縮された画像データに対する物体検出処理の結果が最も信頼性が高いことを考慮すれば、複数の物体検出位置(基準)のいずれとも一致しない物体検出位置(選択候補)の信頼性は相対的に低いと想定される。典型的には、複数の物体検出位置(基準)のいずれとも一致しない物体検出位置(選択候補)は、誤って検出された物体検出位置(選択候補)である可能性があると想定される。従って、複数の物体検出位置(基準)のいずれとも一致しない物体検出位置(選択候補)を選択しない動作は、相対的に信頼性の低い物体検出位置(選択候補)を排除する動作と実質的に等価であるとみなしてもよい。
このように、モデル生成部413は、ステップS442において、相対的に信頼性の高い物体検出位置(選択候補)を、検出確率推定モデル221を生成するために実際に用いられる物体検出位置として選択する。一方で、モデル生成部413は、相対的に信頼性の低い物体検出位置(選択候補)を、検出確率推定モデル221を生成するために実際に用いられる物体検出位置として選択しない。その結果、相対的に信頼性の高い物体検出位置に基づいて検出確率推定モデル221が生成されるがゆえに、検出確率推定モデル221の信頼性もまた相対的に高くなる。つまり、検出確率推定モデル221の推定精度が相対的に高くなる。
以上説明したステップS441からステップS442までの処理が、圧縮率リスト422に含まれる複数の圧縮率の全て(但し、最小圧縮率を除く)がステップS441で抽出されるまで繰り返される(ステップS443)。例えば、圧縮率リスト422に複数の圧縮率として「10%」、「30%」、「50%」及び「80%」という4種類の圧縮率が含まれている場合には、モデル生成部413は、30%の圧縮率で圧縮された画像データから検出された複数の物体検出位置(選択候補)と10%の圧縮率で圧縮された画像データから検出された複数の物体検出位置(基準)とを比較することで、30%の圧縮率で圧縮された画像データから検出された複数の物体検出位置(選択候補)の少なくとも一部を選択する。同様に、モデル生成部413は、50%の圧縮率で圧縮された画像データから検出された複数の物体検出位置(選択候補)と10%の圧縮率で圧縮された画像データから検出された複数の物体検出位置(基準)とを比較することで、50%の圧縮率で圧縮された画像データから検出された複数の物体検出位置(選択候補)の少なくとも一部を選択する。同様に、モデル生成部413は、80%の圧縮率で圧縮された画像データから検出された複数の物体検出位置(選択候補)と10%の圧縮率で圧縮された画像データから検出された複数の物体検出位置(基準)とを比較することで、80%の圧縮率で圧縮された画像データから検出された複数の物体検出位置(選択候補)の少なくとも一部を選択する。
その後、モデル生成部413は、最小の圧縮率で圧縮された画像データから検出された複数の物体検出位置(基準)の夫々を、検出確率推定モデル221を生成するために実際に用いられる物体検出位置として選択する(ステップS444)。なぜならば、上述したように、最小の圧縮率で圧縮された画像データに対する物体検出処理の結果は、最も信頼性が高いからである。
ステップS442及びS444の夫々で選択された物体検出位置は、図11に例示するように、物体検出位置の検出元となる画像データの圧縮率と関連付けられた状態で、記憶装置42に一時的に格納されてもよい。具体的には、ステップS442及びS444の夫々で選択された物体検出位置と物体検出位置の検出元となる画像データの圧縮率とを含むラベルデータ423が、選択された物体検出位置の数だけ記憶装置42に格納されてもよい。例えば、図11に示す例では、記憶装置42には、図9に示す物体#1の物体検出位置(xmin#1、ymin#1、xmax#1、ymax#1)と10%という圧縮率とを含むラベルデータ423、物体#1の物体検出位置(xmin#1、ymin#1、xmax#1、ymax#1)と30%という圧縮率とを含むラベルデータ423、及び、物体#1の物体検出位置(xmin#1、ymin#1、xmax#1、ymax#1)と50%という圧縮率とを含むラベルデータ423が格納されている。この場合、物体#1は、10%、30%及び50%の夫々の圧縮率で圧縮された画像データからは検出されたものの、80%の圧縮率で圧縮された画像データからは検出されなかったことが分かる。同様に、例えば、図11に示す例では、記憶装置42には、図9に示す物体#2の物体検出位置(xmin#2、ymin#2、xmax#2、ymax#2)と10%という圧縮率とを含むラベルデータ423及び物体#2の物体検出位置(xmin#2、ymin#2、xmax#2、ymax#2)と30%という圧縮率とを含むラベルデータ423が格納されている。この場合、物体#2は、10%及び30%の夫々の圧縮率で圧縮された画像データからは検出されたものの、50%及び80%の夫々の圧縮率で圧縮された画像データからは検出されなかったことが分かる。
その後、モデル生成部413は、図6のステップS41で学習用データセット421から取得された複数の画像データと、記憶装置42が記憶している物体検出位置と圧縮率とを含むラベルデータ423の全てとに基づいて、検出確率推定モデル221を生成する(ステップS445)。
検出確率推定モデル221は、一の画像データが検出確率推定モデル221に入力された場合に、当該一の画像データが示す画像のある位置に表現されていると推定される物体が物体検出処理によって検出される確率を、圧縮率毎に出力する演算モデルであってもよい。
つまり、検出確率推定モデル221は、N種類(尚、Nは2以上の整数)の圧縮率に関して、以下の(1)乃至(N)に示す各確率を出力する演算モデルであってもよい。
(1)第1の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、当該一の画像データが示す画像のある位置に表現されていると推定される物体が検出される確率と、
(2)第1の圧縮率とは異なる第2の圧縮率で圧縮された同じ一の画像データに対して物体検出処理が行われた場合に、当該一の画像データが示す画像のある位置に表現されていると推定される物体が検出される確率と、・・・、
(N−1)第1から第N−2の圧縮率とは異なる第N−2の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、当該一の画像データが示す画像のある位置に表現されていると推定される物体が検出される確率と、
(N)第1から第N−1の圧縮率とは異なる第Nの圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、当該一の画像データが示す画像のある位置に表現されていると推定される物体が検出される確率。
より具体的に、例えば図12に示す例において、ある画像データが入力された検出確率推定モデル221の出力は、以下の通りであることを示している。
(1−1)10%の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体#11が検出される確率が、100%であり、
(1−2)30%の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体#11が検出される確率が、90%であり、
(1−3)50%の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体#11が検出される確率が、50%であり、
(1−4)80%の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体#11が検出される確率が、20%であり、
(2−1)10%の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#12、ymin#12、xmax#12、ymax#12)に表現されていると推定される物体#12が検出される確率が、100%であり、
(2−2)30%の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#12、ymin#12、xmax#12、ymax#12)に表現されていると推定される物体#12が検出される確率が、95%であり、
(2−3)50%の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#12、ymin#12、xmax#12、ymax#12)に表現されていると推定される物体#12が検出される確率が、90%であり、
(2−4)80%の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#12、ymin#12、xmax#12、ymax#12)に表現されていると推定される物体#12が検出される確率が、90%であり、
(3−1)10%の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#13、ymin#13、xmax#13、ymax#13)に表現されていると推定される物体#13が検出される確率が、90%である。
このような検出確率推定モデル221は、例えば、ニューラルネットワークを用いた演算モデルであってもよい。この場合、モデル生成部413は、複数の画像データと物体検出位置と圧縮率とを用いて検出確率推定モデル221を学習させることで、検出確率推定モデル221を生成してもよい。
ここで、上述したように、モデル生成装置4が行う物体検出処理とデータ処理装置3が行う物体検出処理とが同一である。このため、モデル生成装置4が行った物体検出処理の結果に基づいて生成される検出確率推定モデル221は、実質的には、一の画像データがデータ処理装置3に入力された場合に、当該一の画像データが示す画像のある位置に表現されていると推定される物体(本段落では、物体Iと表記する)がデータ処理装置3によって検出される確率を、圧縮率毎に出力する演算モデルであるとも言える。また、物体Iを検出する確率は、実質的には、物体Iを検出する精度と等価であるとも言える。なぜならば、物体Iを検出する確率が高ければ高いほど、物体Iを検出する精度が高いと言えるからである。従って、検出確率推定モデル221は、一の画像データがデータ処理装置3に入力された場合に、当該一の画像データが示す画像のある位置に表現されていると推定される物体がデータ処理装置3によって検出される精度を、圧縮率毎に出力する演算モデルであるとも言える。このため、検出確率推定モデル221は、画像データを圧縮する圧縮率と、圧縮された画像データを用いて行われる物体検出処理による物体の検出精度との間の関係に関する精度情報を出力する演算モデルであるとも言える。
再び図6において、検出確率推定モデル221が生成された後には、送信制御部414は、通信装置43を用いて、ステップS44で生成された検出確率推定モデル221をデータ処理装置3に送信する(ステップS45)。
<2−2>データ圧縮動作
続いて、図13を参照しながら、データ圧縮装置2が行うデータ圧縮動作の流れについて説明する。図13は、データ圧縮装置2が行うデータ圧縮動作の流れを例示するフローチャートである。
図13に示すように、まず、圧縮率設定部211は、通信装置24を用いて、モデル生成装置4から検出確率推定モデル221を取得する(ステップS21)。取得された検出確率推定モデル221は、記憶装置22に記憶される。尚、最新の検出確率推定モデル221が既に取得済みである場合には、圧縮率設定部211は、検出確率推定モデル221を取得しなくてもよい。
その後、入出力IF23を介してカメラ1からデータ圧縮装置2に動画データ(画像データ)が入力された場合には(ステップS22)、データ圧縮装置2は、データ圧縮装置2に入力された動画データを圧縮する(ステップS23からステップS25)。つまり、データ圧縮装置2は、データ圧縮装置2に入力された動画データを構成する画像データを圧縮する。
具体的には、まず、圧縮率設定部211は、ステップS22で取得した画像データを、ステップS21で取得した検出確率推定モデル221に入力する(ステップS23)。その結果、圧縮率設定部211は、ステップS22で取得した画像データがデータ処理装置3に入力された場合に、画像データが示す画像に表現されていると推定される各物体がデータ処理装置3によって検出される確率を、画像データの圧縮率毎に取得する(ステップS23)。
その後、圧縮率設定部211は、ステップS23で取得した圧縮率毎の検出確率に基づいて、画像データの圧縮率を設定する(ステップS24)。具体的には、検出確率推定モデル221は、圧縮率設定部211がステップS23で取得した圧縮率毎の検出確率に加えて、上述したように画像データが示す画像に表現されている物体の位置(物体推定位置)も併せて出力している。このため、圧縮率設定部211は、検出確率推定モデル221が出力する物体推定位置に基づいて、画像データが示す画像内で物体が表現されていると推定される領域と、画像データが示す画像内で物体が表現されていないと推定される領域とを区別することができる。
ここで、画像データが示す画像内で物体が表現されていないと推定される領域は、データ処理装置3が行う物体検出処理にとって相対的に重要度が低い領域であると言える。このため、画像データのうちの物体が表現されていないと推定される領域に関するデータ部分は、相対的に高い圧縮率で圧縮したとしても、データ処理装置3における物体検出処理に影響が生ずる可能性は相対的に低い。そこで、圧縮率設定部211は、画像データのうちの物体が表現されていないと推定される領域に関するデータ部分を圧縮するために用いる圧縮率を、相対的に高い圧縮率に設定する。例えば、圧縮率設定部211は、画像データのうちの物体が表現されていないと推定される領域に関するデータ部分を圧縮するために用いる圧縮率を、設定可能な最も大きい(つまり、最も高い)圧縮率に設定してもよい。例えば、圧縮率設定部211は、画像データのうちの物体が表現されていないと推定される領域に関するデータ部分を圧縮するために用いる圧縮率を、画像データのうちの物体が表現されていると推定される領域に関するデータ部分を圧縮するために用いる圧縮率よりも低い圧縮率に設定してもよい。
一方で、画像データが示す画像内で物体が表現されていると推定される領域は、データ処理装置3が行う物体検出処理にとって相対的に重要度が高い領域であると言える。そこで、圧縮率設定部211は、ステップS23で取得した圧縮率毎の検出確率に基づいて、画像データのうちの物体が表現されていると推定される領域に関するデータ部分を圧縮するために用いる圧縮率を設定する。以下、圧縮率を設定するための動作の一例について、図14を参照しながら説明する。
図14の上部は、図13のステップS22で取得された画像データが示す画像に、物体Aと物体Bとが表現されている例を示している。この場合、検出確率推定モデル221は、物体Aに関する物体推定位置と共に、画像データの圧縮率毎に物体Aが検出される確率を出力する。更に、検出確率推定モデル221は、物体Bに関する物体推定位置と共に、画像データの圧縮率毎に物体Bが検出される確率を出力する。その結果、圧縮率設定部211は、図14の下部に例示するように、画像データの圧縮率と物体の検出確率(つまり、検出精度)との相関関係を、物体毎に把握することができる。圧縮率設定部211は、このような画像データの圧縮率と物体の検出確率との相関関係に基づいて、画像データのうちの各物体が表現されていると推定される領域に関するデータ部分を圧縮するために用いる圧縮率を設定する。
例えば、圧縮率設定部211は、画像データのうちの物体Aが表現されていると推定される領域に関するデータ部分APのデータサイズと画像データのうちの物体Bが表現されていると推定される領域に関するデータ部分BPのデータサイズとの総和が許容サイズ以下になるという条件と、物体Aの検出確率と物体Bの検出確率との総和が許容確率以上になるという条件が満たされるように、データ部分APを圧縮するために用いる圧縮率及びデータ部分BPを圧縮するために用いる圧縮率を設定してもよい。例えば、圧縮率設定部211は、データ部分APのデータサイズとデータ部分BPのデータサイズとの総和が許容サイズ以下になるという制約を満たしながら物体Aの検出確率と物体Bの検出確率との総和が最大になるように、データ部分APを圧縮するために用いる圧縮率及びデータ部分BPを圧縮するために用いる圧縮率を設定してもよい。図14に示す例では、圧縮率設定部211は、圧縮率が増加するにつれて検出確率が相対的に急激に減少する物体Aに関するデータ部分APを圧縮するために用いる圧縮率を、相対的に小さい圧縮率に設定し、圧縮率が増加しても検出確率が相対的に急激に減少することがない物体Bに関するデータ部分BPを圧縮するために用いる圧縮率を、相対的に大きい圧縮率に設定している。
つまり、圧縮率設定部211は、画像データが示す画像にM個(但し、Mは1以上の整数)の物体が表現されていると推定される場合には、画像データのうちのM個の物体が表現されていると推定されるM個の領域に関するデータ部分のデータサイズが許容サイズ以下になるという条件と、M個の物体の検出確率の総和が許容確率以上になる(つまり、許容精度以上になる)という条件とが満たされるように、M個の物体が表現されていると推定されるM個の領域に関するデータ部分を圧縮するために用いる圧縮率を設定してもよい。典型的には、圧縮率設定部211は、画像データのうちのM個の物体が表現されていると推定されるM個の領域に関するデータ部分のデータサイズが許容サイズ以下になるという制約を満たしながら、M個の物体の検出確率の総和が最大になるように、M個の物体が表現されていると推定されるM個の領域に関するデータ部分を圧縮するために用いる圧縮率を設定してもよい。
許容サイズは、圧縮された画像データ(つまり、圧縮された画像データから構成される動画データ)を送信するためにデータ圧縮装置2が利用可能な通信ネットワーク網5の帯域(いわゆる、可用帯域)に基づいて設定されてもよい。この場合、許容サイズは、通信ネットワーク網5の可用帯域で送信可能なデータレートに応じたサイズとなる。典型的には、許容サイズは、通信ネットワーク網5の可用帯域で送信可能な画像データのサイズとなる。この場合、圧縮率設定部211は、通信ネットワーク網5の可用帯域の制限内で圧縮された画像データ(動画データ)を送信するという条件と、M個の物体の検出確率の総和が許容確率以上になるという条件とが満たされるように、M個の物体が表現されていると推定されるM個の領域に関するデータ部分を圧縮するために用いる圧縮率を設定してもよい。典型的には、圧縮率設定部211は、通信ネットワーク網5の可用帯域の制限内で圧縮された画像データ(動画データ)を送信するという制約を満たしながら、M個の物体の検出確率の総和が最大になるように、M個の物体が表現されていると推定されるM個の領域に関するデータ部分を圧縮するために用いる圧縮率を設定してもよい。
再び図13において、その後、データ圧縮部212は、ステップS22で取得した画像データを、ステップS24で決定した圧縮率で圧縮する(ステップS25)。この際、データ圧縮部212は、必要に応じて、圧縮された画像データから動画データを生成するための符号化処理を行ってもよい。
その後、送信制御部213は、通信装置24を用いて、ステップS25で圧縮された画像データ(つまり、ステップS25で圧縮された画像データから構成される、圧縮された動画データ)をデータ処理装置3に送信する(ステップS26)。
<3>データ圧縮システムSYSの技術的効果
以上説明したように、本実施形態のデータ圧縮システムSYSによれば、データ圧縮装置2は、データ処理装置3による物体の検出確率と画像データの圧縮率との相関関係(例えば、図14に例示する相関関係であり、検出確率推定モデル221の出力)に基づいて、画像データの圧縮率を設定することができる。このため、データ圧縮装置2は、圧縮された画像データに対して物体検出処理が行われる場合において、画像データを適切に圧縮することができる。つまり、データ圧縮装置2は、データ処理装置3が行う物体検出処理の特性を考慮した適切な圧縮態様で、画像データを圧縮することができる。
例えば、データ圧縮装置2は、データ処理装置3による物体の検出確率(つまり、検出精度)が相対的に高くなるように、画像データを適切に圧縮することができる。例えば、データ圧縮装置2は、画像データのデータサイズが相対的に小さくなると共にデータ処理装置3による物体の検出確率が相対的に高くなるように、画像データを適切に圧縮することができる。例えば、データ圧縮装置2は、通信ネットワーク網5を介して画像データをデータ圧縮装置2からデータ処理装置3に適切に送信できる程度に画像データのデータサイズが小さくなると共にデータ処理装置3による物体の検出確率が相対的に高くなるように、画像データを適切に圧縮することができる。
更に、データ圧縮装置2は、画像データが示す画像に表現されていると推定される複数の物体の検出確率に基づいて、画像データのうちの複数の物体に夫々対応する複数のデータ部分の圧縮率を設定することができる。このため、データ圧縮装置2は、データ処理装置3による複数の物体の検出確率(つまり、検出精度)が相対的に高くなるように、画像データを適切に圧縮することができる。
更に、データ圧縮装置2は、圧縮率を設定する際に参照される物体の検出確率を、検出確率推定モデル221を用いて容易に取得する(つまり、推定する)ことができる。このため、データ圧縮装置2は、データ処理装置3が行う物体検出処理の特性を比較的容易に推定し、当該推定した物体検出処理の特性を考慮した適切な圧縮態様で画像データを圧縮することができる。
<4>変形例
続いて、データ圧縮システムSYSの変形例について説明する。尚、以下では、既に説明済みの構成要件については、同一の参照符号を付してその詳細な説明を省略する。同様に、既に説明済みの処理については、同一のステップ番号を付してその詳細な説明を省略する。
<4−1>第1変形例
上述した説明では、モデル生成装置4(特に、モデル生成部413)は、記憶装置42が記憶している物体検出位置と圧縮率とを含むラベルデータ423の全てを用いて、検出確率推定モデル221を生成している。一方で、第1変形例では、モデル生成部413は、検出確率推定モデル221を生成するために、記憶装置42が記憶している物体検出位置と圧縮率とを含むラベルデータ423の一部を用いなくてもよい。
具体的には、図15に、物体検出位置と圧縮率とを含む複数のラベルデータ423の一例が示されている。第1変形例では、モデル生成部413は、同じ物体検出位置を含む少なくとも二つのラベルデータ423が存在する場合には、ラベルデータ423に含まれる圧縮率が最も大きい単一のラベルデータ423を用いて検出確率推定モデル221を生成する。一方で、モデル生成部413は、ラベルデータ423に含まれる圧縮率が最も大きくないラベルデータ423を、検出確率推定モデル221を生成するために用いなくてもよい。
例えば、図15に示す例では、図9に示す物体#1の物体検出位置(xmin#1、ymin#1、xmax#1、ymax#1)を含むラベルデータ423が三つ存在する。この場合、三つのラベルデータ423が夫々含む三つの圧縮率の中では50%という圧縮率が最大の圧縮率となる。このため、三つのラベルデータ423のうち50%という圧縮率を含むラベルデータ423が検出確率推定モデル221を生成するために用いられ、三つのラベルデータ423のうち10%及び30%という圧縮率を夫々含む二つのラベルデータ423が検出確率推定モデル221を生成するために用いられなくてもよい。その結果、第1変形例では、モデル生成部413は、図15に示す複数のラベルデータ423に代えて、同じ物体検出位置を含むラベルデータ423が一つしか存在しないという条件を満たす図16に例示する複数のラベルデータ423を用いて、検出確率推定モデル221を生成する。その結果、検出確率推定モデル221を生成するための処理負荷が低減される。
第1変形例では、検出確率推定モデル221は、一の画像データが検出確率推定モデル221に入力された場合に、当該一の画像データが示す画像のある位置に表現されていると推定される物体が物体検出処理によって検出される確率を、当該物体が初めて検出される圧縮率と共に出力する演算モデルであってもよい。
つまり、第1変形例では、検出確率推定モデル221は、検出確率推定モデル221は、L種類(尚、Lは2以上の整数)の圧縮率に関して、以下の(1)乃至(N)に示す各確率を出力する演算モデルであってもよい。
(1)第1の範囲内の圧縮率よりも大きい圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に物体が検出されない一方で、第1の範囲内の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に初めて物体が検出される確率と、
(2)第1の範囲とは異なる第2の範囲内の圧縮率よりも大きい圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に物体が検出されない一方で、第2の範囲内の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に初めて物体が検出される確率と、・・・、
(L−1)第1から第L−2の範囲内の圧縮率よりも大きい圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に物体が検出されない一方で、第L−1の範囲内の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に初めて物体が検出される確率と、
(L)第1の範囲から第L−1の範囲とは異なる第Lの範囲内の圧縮率よりも大きい圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に物体が検出されない一方で、第Lの範囲内の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に初めて物体が検出される確率。
より具体的には、例えば図17に示す例では、ある画像データが入力された検出確率推定モデル221の出力は、以下の通りであることを示している。
(1)10%よりも大きい圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体が検出されない一方で、0%から10%の間の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体が初めて検出される確率が、10%であり、
(2)30%よりも大きい圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体が検出されない一方で、10%から30%の間の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体が初めて検出される確率が、30%であり、
(3)50%よりも大きい圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体が検出されない一方で、30%から50%の間の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体が初めて検出される確率が、40%であり、
(4)80%よりも大きい圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体が検出されない一方で、50%から80%の間の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体が初めて検出される確率が、10%であり、
(5)80%から100%の間の圧縮率で圧縮された一の画像データに対して物体検出処理が行われた場合に、物体推定位置(xmin#11、ymin#11、xmax#11、ymax#11)に表現されていると推定される物体が初めて検出される確率が、10%である。
尚、圧縮率リスト422に含まれる最大の圧縮率よりも高い圧縮率が圧縮処理に用いられることは原則としてない。このため、圧縮率リスト422に含まれる最大の圧縮率よりも大きい範囲の圧縮率で圧縮された一の画像データから物体が検出される確率は、実質的には、物体が検出されない確率と等価であるとみなしてもよい。例えば、圧縮率リスト422に含まれる最大の圧縮率が80%である場合には、図17に示す「80%から100%の間の圧縮率で圧縮された一の画像データから物体が検出される確率」は、実質的には、「一の画像データから物体が検出されない確率」と等価であるとみなしてもよい。
このような検出確率推定モデル221が生成される場合であっても、圧縮率設定部211は、図18に例示するように、画像データの圧縮率と物体の検出確率(つまり、検出精度)との相関関係を、物体毎に把握することができる。例えば、図18に例示する相関関係は、図17に例示する検出確率の累積分布関数を算出し、算出した累積分布関数から「物体が検出されない確率」を除外した上で、残った累積分布関数を正規化することで得られる。従って、第1変形例においても、上述した実施形態と同様に、圧縮率が適切に設定され、その結果、画像データが適切に圧縮される。つまり、第1変形例においても、上述した本実施形態のデータ圧縮システムSYSが享受可能な効果と同様の効果が享受可能である。
<4−2>第2変形例
上述した説明では、データ圧縮装置2(特に、圧縮率設定部211)は、検出確率推定モデル221に対して、カメラ1から取得した画像データを入力している。一方で、第2変形例では、図19に例示するように、圧縮率設定部211は、カメラ1から取得した画像データに対して物体検出処理を行い、画像データのうち検出された物体に関するデータ部分を検出確率推定モデル221に入力してもよい。或いは、圧縮率設定部211は、カメラ1から取得した画像データに対して物体検出処理を行い、物体検出処理によって検出された物体の位置に関する情報を画像データと共に検出確率推定モデル221に入力してもよい。
この場合であっても、圧縮率設定部211は、画像データの圧縮率と物体の検出確率(つまり、検出精度)との相関関係を、物体毎に把握することができる。従って、第2変形例においても、上述した実施形態と同様に、圧縮率が適切に設定され、その結果、画像データが適切に圧縮される。つまり、第2変形例においても、上述した本実施形態のデータ圧縮システムSYSが享受可能な効果と同様の効果が享受可能である。
<4−3>第3変形例
上述した説明では、データ圧縮装置2は、カメラ1から取得した画像データ(動画データ)を圧縮している。ここで、カメラ1は、撮影範囲を撮影することで撮影範囲を監視する監視装置の一例であるとも言える。このため、データ圧縮装置2は、カメラ1から取得した画像データ(動画データ)に加えて又は代えて、所定の監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データを圧縮してもよい。この場合、監視装置は、監視対象範囲に存在する物体を監視する監視装置であることが好ましい。従って、監視装置が出力する出力データは、監視対象範囲に存在する物体に関する情報を含んでいることが好ましい。尚、カメラ1の撮影範囲は、監視対象範囲の一例である。
このような監視装置の一例として、監視対象範囲を光学的に監視することで、空間的に広がる監視対象範囲に存在する物体に関する情報に相当する点群データを出力する空間監視装置があげられる。空間監視装置の一例として、LIDAR(Light Detection and Ranging )等の3次元スキャナがあげられる。この場合、図20に例示するように、データ圧縮システムSYSは、カメラ1に加えて又は代えて、LIDAR6を備えていてもよい。
データ圧縮装置2は、LIDAR6から点群データを取得し、取得した点群データを圧縮してもよい。この際、データ圧縮装置2は、画像データを圧縮する場合と同様に、点群データのうち物体が存在すると推定される空間に関するデータ部分の圧縮率を、当該物体の検出確率と点群データの圧縮率との相関関係に関する情報に基づいて設定してもよい。物体の検出確率と点群データの圧縮率との相関関係に関する情報は、検出確率推定モデル221を用いて取得されてもよい。但し、第3変形例では、検出確率推定モデル221は、一の点群データが検出確率推定モデル221に入力された場合に、当該一の点群データが示す空間のある位置に存在すると推定される物体が物体検出処理によって検出される確率を、点群データの圧縮率毎に出力する演算モデルであってもよい。
データ処理装置3は、点群データに対して物体検出処理を行ってもよい。つまり、データ処理装置3は、点群データが示す空間に存在する物体を検出してもよい。
このような第3変形例では、データ圧縮装置2は、圧縮された点群データに対して物体検出処理が行われる場合において、点群データを適切に圧縮することができる。つまり、データ圧縮装置2は、データ処理装置3が行う物体検出処理の特性を考慮した適切な圧縮態様で、点群データを圧縮することができる。つまり、第3変形例においても、上述した本実施形態のデータ圧縮システムSYSが享受可能な効果と同様の効果が享受可能である。
尚、画像データは、2次元平面上に分布するピクセル(つまり、点)が集合したデータであるとも言える。一方で、点群データは、3次元空間内に分布するピクセル(つまり、点)が集合したデータであるとも言える。従って、画像データ及び点群データは、物体に関する情報を点の集合で示すデータであるという点で共通しているとも言える。
<4−4>第4変形例
第4変形例では、データ圧縮システムSYSは、モデル生成装置4に代えて、モデル生成装置4aを備える。モデル生成装置4aは、図21に例示するように、モデル生成装置4と比較して、演算装置41内に、圧縮率リスト422に含まれる圧縮率を決定する機能ブロックとしてのリスト生成部415aが実現されるという点で異なる。モデル生成装置4aのその他の特徴は、モデル生成装置4のその他の特徴と同一であってもよい。
圧縮率リスト422に含まれる圧縮率を決定するために、モデル生成装置4のデータ圧縮部411は、学習用データセット421に含まれる少なくとも一つの画像データ(或いは、学習用データセット421に含まれない少なくとも一つの画像データ)を圧縮する。この際、図22に例示するように、データ圧縮部411は、画像データを、夫々が圧縮率リスト422に含めるべき圧縮率の候補である複数の異なる圧縮率候補の夫々で圧縮する。
その後、モデル生成装置4の検出処理部412は、複数の異なる圧縮率候補の夫々で圧縮された画像データに対して、物体検出処理を行う。
その後、モデル生成装置4のリスト生成部415aは、複数の異なる圧縮率候補の中に、物体検出処理の結果が同じになる少なくとも二つの圧縮率候補が存在する場合には、少なくとも二つの圧縮率候補のうちの最も大きい一つの圧縮率候補を、圧縮率リスト422に含める。一方で、リスト生成部415aは、少なくとも二つの圧縮率候補のうちの最も大きい圧縮率候補以外の圧縮率候補を、圧縮率リスト422に含めない。
例えば、図22は、複数の異なる圧縮率候補が、10%、20%、30%、40%及び50%を含む例を示している。更に、図22は、10%の圧縮率候補で圧縮された画像データに対して行われた物体検出処理によって物体A、物体B及び物体Cが検出され、20%の圧縮率候補で圧縮された画像データに対して行われた物体検出処理によって物体A及び物体Bが検出される一方で物体Cが検出されず、30%の圧縮率候補で圧縮された画像データに対して行われた物体検出処理によって物体A及び物体Bが検出される一方で物体Cが検出されず、40%の圧縮率候補で圧縮された画像データに対して行われた物体検出処理によって物体Aが検出される一方で物体B及び物体Cが検出されず、50%の圧縮率候補で圧縮された画像データに対して行われた物体検出処理によって物体Aが検出される一方で物体B及び物体Cが検出されなかった例を示している。
図22に示す例では、20%の圧縮率候補で圧縮された画像データに対して行われた物体検出処理の結果は、30%の圧縮率候補で圧縮された画像データに対して行われた物体検出処理の結果と同じである。この場合、20%の圧縮率候補よりも30%の圧縮率候補の方が大きい。従って、リスト生成部415aは、30%の圧縮率候補を圧縮率リスト422に含める一方で、30%の圧縮率候補を圧縮率リスト422に含めない。
同様に、図22に示す例では、40%の圧縮率候補で圧縮された画像データに対して行われた物体検出処理の結果は、50%の圧縮率候補で圧縮された画像データに対して行われた物体検出処理の結果と同じである。この場合、40%の圧縮率候補よりも50%の圧縮率候補の方が大きい。従って、リスト生成部415aは、50%の圧縮率候補を圧縮率リスト422に含める一方で、40%の圧縮率候補を圧縮率リスト422に含めない。
一方で、図22に示す例では、10%の圧縮率候補で圧縮された画像データに対して行われた物体検出処理の結果と同じ結果が出力される物体検出処理はない。従って、この場合には、リスト生成部415aは、10%の圧縮率候補を圧縮率リスト422に含める。
以上の動作により、圧縮率リスト422が適切に生成される。
<5>付記
以上説明した実施形態に関して、更に以下の付記を開示する。
[付記1]
監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データを圧縮する圧縮手段と、
前記圧縮手段による圧縮が行われた前記出力データを、前記出力データを用いて前記監視対象範囲に存在する物体を検出するデータ処理装置に対して出力する出力手段と、
前記出力データを圧縮する圧縮率と、前記圧縮率で圧縮された前記出力データを用いて前記データ処理装置による物体の検出精度との間の関係を示す精度情報に基づいて、前記圧縮手段で用いられる圧縮率を設定する設定手段と
を備えるデータ圧縮装置。
[付記2]
前記設定手段は、前記圧縮手段による圧縮が行われた前記出力データのデータサイズが許容サイズ以下になることと、前記検出精度が許容精度以上になることとを満足するように、前記圧縮率を設定する
付記1に記載のデータ圧縮装置。
[付記3]
前記精度情報は、
前記出力データのうちの第1の位置に位置する第1の物体に関する第1のデータ部分を圧縮する圧縮率と、前記圧縮率で圧縮された前記第1のデータ部分を用いた前記データ処理装置による前記第1の物体の検出精度との関係を示す第1の情報と、
前記出力データのうちの前記第1の位置とは異なる第2の位置に位置する第2の物体に関する第2のデータ部分を圧縮する圧縮率と、前記圧縮率で圧縮された前記第2のデータ部分を用いた前記データ処理装置による前記第2の物体の検出精度との関係を示す第2の情報と
を含み、
前記設定手段は、前記精度情報に基づいて、前記第1のデータ部分に対して前記圧縮手段によって用いられる圧縮率と、前記第2のデータ部分に対して前記圧縮手段によって用いられる圧縮率とを別々に設定する
付記1又は2に記載のデータ圧縮装置。
[付記4]
前記設定手段は、前記圧縮手段による圧縮が行われた前記第1及び第2のデータ部分のデータサイズの総和が許容サイズ以下になることと、前記第1の物体の検出精度と前記第2の物体の検出精度の総和が最大になることとを満足するように、前記圧縮率を設定する
付記3に記載のデータ圧縮装置。
[付記5]
前記出力手段は、前記圧縮手段による圧縮が行われた前記出力データを、通信ネットワーク網を介して前記データ処理装置に送信し、
前記設定手段は、前記通信ネットワーク網において前記出力手段が利用可能な可用帯域の制限内で前記圧縮手段による圧縮が行われた前記出力データを送信することと、前記検出精度が最大になることとを満足するように、前記圧縮率を設定する
付記1から4のいずれか一項に記載のデータ圧縮装置。
[付記6]
前記設定手段は、前記出力データの少なくとも一部が入力されると前記圧縮率と前記検出精度との関係を出力する演算モデルを用いて前記精度情報を取得し、前記取得した精度情報に基づいて前記圧縮率を設定する
付記1から5のいずれか一項に記載のデータ圧縮装置。
[付記7]
前記監視装置は、カメラ及び3次元スキャナの少なくとも一方を含み、
前記出力データは、動画データを構成する画像データ、及び、点群データの少なくとも一方を含む
付記1から6のいずれか一項に記載のデータ圧縮装置。
[付記8]
監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データ及び前記出力データとデータ種類が同じである同種データの少なくとも一方を含む学習用データを、圧縮率リストに含まれる複数の異なる圧縮率の夫々で圧縮する圧縮手段と、
前記複数の異なる圧縮率の夫々で前記圧縮手段による圧縮が行われた前記学習用データを用いて、前記監視対象範囲に存在する物体を検出する検出手段と、
前記検出手段による検出結果と、前記圧縮手段による圧縮で用いられた前記複数の異なる圧縮率とに基づいて、前記学習用データを圧縮する圧縮率と、前記圧縮率で圧縮された前記学習用データを用いた前記検出手段による物体の検出精度との間の関係に関する精度の推定に用いる演算モデルを生成する生成手段と、
前記生成手段が生成した前記演算モデルを、前記演算モデルを用いて前記出力データを圧縮するための圧縮率を設定し且つ前記設定した圧縮率で前記出力データを圧縮するデータ圧縮装置に対して出力する出力手段と
を備えるモデル生成装置。
[付記9]
前記圧縮率リストに含まれる前記複数の異なる圧縮率を設定する設定手段を更に備え、
前記設定手段は、(i)前記圧縮率リストに含まれる圧縮率の候補となる複数の異なる圧縮率候補の夫々で前記学習用データを圧縮するように前記圧縮手段を制御し、(ii)前記複数の異なる圧縮率候補の夫々で圧縮された前記学習用データを用いて前記監視対象範囲に存在する物体を検出するように前記検出手段を制御し、(iii)前記複数の異なる圧縮率候補の中に前記検出手段による検出結果が同じになる少なくとも二つの圧縮率候補が存在する場合には、前記少なくとも二つの圧縮率候補のうち最も大きい圧縮率候補を前記圧縮率リストに含める圧縮率として設定する
付記8に記載のモデル生成装置。
[付記10]
コンピュータによって、
監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データを圧縮する圧縮処理を行い、
前記圧縮処理が行われた前記出力データを、前記出力データを用いて前記監視対象範囲に存在する物体を検出するための物体検出処理を行うデータ処理装置に出力し、
前記出力データを圧縮する圧縮率と、前記圧縮率で圧縮された前記出力データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係を示す精度情報に基づいて、前記圧縮処理で用いられる圧縮率を設定する
データ圧縮方法。
[付記11]
コンピュータによって、
監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データ及び前記出力データとデータ種類が同じである同種データの少なくとも一方を含む学習用データを、圧縮率リストに含まれる複数の異なる圧縮率の夫々で圧縮する圧縮処理を行い、
前記複数の異なる圧縮率の夫々で前記圧縮処理が行われた前記学習用データを用いて、前記監視対象範囲に存在する物体を検出するための物体検出処理を行い、
前記物体検出処理の結果と、前記圧縮処理で用いられた前記複数の異なる圧縮率とに基づいて、前記学習用データを圧縮する圧縮率と、前記圧縮率で圧縮された前記学習用データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係に関する精度情報を推定するための演算モデルを生成し、
前記生成手段が生成した前記演算モデルを、前記演算モデルを用いて前記出力データを圧縮するための圧縮率を設定し且つ前記設定した圧縮率で前記出力データを圧縮するデータ圧縮装置に出力する
モデル生成方法。
[付記12]
コンピュータに、データ圧縮方法を実行させるプログラムであって、
前記データ圧縮方法は、
監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データを圧縮する圧縮処理を行い、
前記圧縮処理が行われた前記出力データを、前記出力データを用いて前記監視対象範囲に存在する物体を検出するための物体検出処理を行うデータ処理装置に出力し、
前記出力データを圧縮する圧縮率と、前記圧縮率で圧縮された前記出力データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係を示す精度情報に基づいて、前記圧縮処理で用いられる圧縮率を設定する
コンピュータプログラム。
[付記13]
コンピュータに、モデル生成方法を実行させるプログラムであって、
前記モデル生成方法は、
監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データ及び前記出力データとデータ種類が同じである同種データの少なくとも一方を含む学習用データを、圧縮率リストに含まれる複数の異なる圧縮率の夫々で圧縮する圧縮処理を行い、
前記複数の異なる圧縮率の夫々で前記圧縮処理が行われた前記学習用データを用いて、前記監視対象範囲に存在する物体を検出するための物体検出処理を行い、
前記物体検出処理の結果と、前記圧縮処理で用いられた前記複数の異なる圧縮率とに基づいて、前記学習用データを圧縮する圧縮率と、前記圧縮率で圧縮された前記学習用データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係に関する精度情報を推定するための演算モデルを生成し、
前記生成手段が生成した前記演算モデルを、前記演算モデルを用いて前記出力データを圧縮するための圧縮率を設定し且つ前記設定した圧縮率で前記出力データを圧縮するデータ圧縮装置に出力する
コンピュータプログラム。
[付記14]
付記12又は13に記載のコンピュータプログラムが記録された、コンピュータ読み取り可能な一時的でない記録媒体。
本発明は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴うデータ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法、コンピュータプログラム及び記録媒体もまた本発明の技術思想に含まれる。
1 カメラ
2 データ圧縮装置
21 演算装置
211 圧縮率設定部
212 データ圧縮部
213 送信制御部
22 記憶装置
221 検出確率推定モデル
3 データ処理装置
4 モデル生成装置
41 演算装置
411 データ圧縮部
412 検出処理部
413 モデル生成部
414 送信制御部
42 記憶装置
421 学習用データセット
422 圧縮率リスト
423 ラベルデータ
SYS データ圧縮システム

Claims (10)

  1. 監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データを圧縮する圧縮手段と、
    前記圧縮手段による圧縮が行われた前記出力データを、前記出力データを用いて前記監視対象範囲に存在する物体を検出するデータ処理装置に対して出力する出力手段と、
    前記出力データを圧縮する圧縮率と、前記圧縮率で圧縮された前記出力データを用いて前記データ処理装置による物体の検出精度との間の関係を示す精度情報に基づいて、前記圧縮手段で用いられる圧縮率を設定する設定手段と
    を備えるデータ圧縮装置。
  2. 前記設定手段は、前記圧縮手段による圧縮が行われた前記出力データのデータサイズが許容サイズ以下になることと、前記検出精度が許容精度以上になることとを満足するように、前記圧縮率を設定する
    請求項1に記載のデータ圧縮装置。
  3. 前記精度情報は、
    前記出力データのうちの第1の位置に位置する第1の物体に関する第1のデータ部分を圧縮する圧縮率と、前記圧縮率で圧縮された前記第1のデータ部分を用いた前記データ処理装置による前記第1の物体の検出精度との関係を示す第1の情報と、
    前記出力データのうちの前記第1の位置とは異なる第2の位置に位置する第2の物体に関する第2のデータ部分を圧縮する圧縮率と、前記圧縮率で圧縮された前記第2のデータ部分を用いた前記データ処理装置による前記第2の物体の検出精度との関係を示す第2の情報と
    を含み、
    前記設定手段は、前記精度情報に基づいて、前記第1のデータ部分に対して前記圧縮手段によって用いられる圧縮率と、前記第2のデータ部分に対して前記圧縮手段によって用いられる圧縮率とを別々に設定する
    請求項1又は2に記載のデータ圧縮装置。
  4. 前記設定手段は、前記圧縮手段による圧縮が行われた前記第1及び第2のデータ部分のデータサイズの総和が許容サイズ以下になることと、前記第1の物体の検出精度と前記第2の物体の検出精度の総和が最大になることとを満足するように、前記圧縮率を設定する
    請求項3に記載のデータ圧縮装置。
  5. 前記出力手段は、前記圧縮手段による圧縮が行われた前記出力データを、通信ネットワーク網を介して前記データ処理装置に送信し、
    前記設定手段は、前記通信ネットワーク網において前記出力手段が利用可能な可用帯域の制限内で前記圧縮手段による圧縮が行われた前記出力データを送信することと、前記検出精度が最大になることとを満足するように、前記圧縮率を設定する
    請求項1から4のいずれか一項に記載のデータ圧縮装置。
  6. 監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データ及び前記出力データとデータ種類が同じである同種データの少なくとも一方を含む学習用データを、圧縮率リストに含まれる複数の異なる圧縮率の夫々で圧縮する圧縮手段と、
    前記複数の異なる圧縮率の夫々で前記圧縮手段による圧縮が行われた前記学習用データを用いて、前記監視対象範囲に存在する物体を検出する検出手段と、
    前記検出手段による検出結果と、前記圧縮手段による圧縮で用いられた前記複数の異なる圧縮率とに基づいて、前記学習用データを圧縮する圧縮率と、前記圧縮率で圧縮された前記学習用データを用いた前記検出手段による物体の検出精度との間の関係に関する精度の推定に用いる演算モデルを生成する生成手段と、
    前記生成手段が生成した前記演算モデルを、前記演算モデルを用いて前記出力データを圧縮するための圧縮率を設定し且つ前記設定した圧縮率で前記出力データを圧縮するデータ圧縮装置に対して出力する出力手段と
    を備えるモデル生成装置。
  7. コンピュータによって、
    監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データを圧縮する圧縮処理を行い、
    前記圧縮処理が行われた前記出力データを、前記出力データを用いて前記監視対象範囲に存在する物体を検出するための物体検出処理を行うデータ処理装置に出力し、
    前記出力データを圧縮する圧縮率と、前記圧縮率で圧縮された前記出力データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係を示す精度情報に基づいて、前記圧縮処理で用いられる圧縮率を設定する
    データ圧縮方法。
  8. コンピュータによって、
    監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データ及び前記出力データとデータ種類が同じである同種データの少なくとも一方を含む学習用データを、圧縮率リストに含まれる複数の異なる圧縮率の夫々で圧縮する圧縮処理を行い、
    前記複数の異なる圧縮率の夫々で前記圧縮処理が行われた前記学習用データを用いて、前記監視対象範囲に存在する物体を検出するための物体検出処理を行い、
    前記物体検出処理の結果と、前記圧縮処理で用いられた前記複数の異なる圧縮率とに基づいて、前記学習用データを圧縮する圧縮率と、前記圧縮率で圧縮された前記学習用データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係に関する精度情報を推定するための演算モデルを生成し、
    前記生成手段が生成した前記演算モデルを、前記演算モデルを用いて前記出力データを圧縮するための圧縮率を設定し且つ前記設定した圧縮率で前記出力データを圧縮するデータ圧縮装置に出力する
    モデル生成方法。
  9. コンピュータに、データ圧縮方法を実行させるプログラムであって、
    前記データ圧縮方法は、
    監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データを圧縮する圧縮処理を行い、
    前記圧縮処理が行われた前記出力データを、前記出力データを用いて前記監視対象範囲に存在する物体を検出するための物体検出処理を行うデータ処理装置に出力し、
    前記出力データを圧縮する圧縮率と、前記圧縮率で圧縮された前記出力データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係を示す精度情報に基づいて、前記圧縮処理で用いられる圧縮率を設定する
    コンピュータプログラム。
  10. コンピュータに、モデル生成方法を実行させるプログラムであって、
    前記モデル生成方法は、
    監視対象範囲を監視する監視装置が時系列データとして逐次出力する出力データ及び前記出力データとデータ種類が同じである同種データの少なくとも一方を含む学習用データを、圧縮率リストに含まれる複数の異なる圧縮率の夫々で圧縮する圧縮処理を行い、
    前記複数の異なる圧縮率の夫々で前記圧縮処理が行われた前記学習用データを用いて、前記監視対象範囲に存在する物体を検出するための物体検出処理を行い、
    前記物体検出処理の結果と、前記圧縮処理で用いられた前記複数の異なる圧縮率とに基づいて、前記学習用データを圧縮する圧縮率と、前記圧縮率で圧縮された前記学習用データを用いて行われる前記物体検出処理による前記物体の検出精度との間の関係に関する精度情報を推定するための演算モデルを生成し、
    前記生成手段が生成した前記演算モデルを、前記演算モデルを用いて前記出力データを圧縮するための圧縮率を設定し且つ前記設定した圧縮率で前記出力データを圧縮するデータ圧縮装置に出力する
    コンピュータプログラム。
JP2019235655A 2019-12-26 2019-12-26 データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラム Pending JP2021106305A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019235655A JP2021106305A (ja) 2019-12-26 2019-12-26 データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラム
US17/131,002 US11470248B2 (en) 2019-12-26 2020-12-22 Data compression apparatus, model generation apparatus, data compression method, model generation method and program recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019235655A JP2021106305A (ja) 2019-12-26 2019-12-26 データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2021106305A true JP2021106305A (ja) 2021-07-26

Family

ID=76546737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019235655A Pending JP2021106305A (ja) 2019-12-26 2019-12-26 データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラム

Country Status (2)

Country Link
US (1) US11470248B2 (ja)
JP (1) JP2021106305A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013070A1 (ja) * 2021-08-06 2023-02-09 日本電信電話株式会社 データ処理装置、データ処理方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627245B (zh) * 2021-07-02 2024-01-19 武汉纺织大学 Crts目标检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10499091B2 (en) * 2002-09-17 2019-12-03 Kinya Washino High-quality, reduced data rate streaming video production and monitoring system
JP2006101063A (ja) 2004-09-29 2006-04-13 Seiko Epson Corp 再生側の環境を考慮した動画像データの送信
JP5531327B2 (ja) 2007-09-10 2014-06-25 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
AU2012201684A1 (en) * 2012-03-21 2013-10-10 Canon Kabushiki Kaisha Image compression
US9721169B2 (en) * 2012-07-27 2017-08-01 Clarion Co., Ltd. Image processing device for detecting vehicle in consideration of sun position
JP6282193B2 (ja) * 2014-07-28 2018-02-21 クラリオン株式会社 物体検出装置
JP6357385B2 (ja) 2014-08-25 2018-07-11 ルネサスエレクトロニクス株式会社 画像通信装置、画像送信装置および画像受信装置
GB201508074D0 (en) * 2015-05-12 2015-06-24 Apical Ltd People detection
CN105407352A (zh) 2015-11-23 2016-03-16 小米科技有限责任公司 图像压缩方法、装置及服务器
US10627887B2 (en) * 2016-07-01 2020-04-21 Microsoft Technology Licensing, Llc Face detection circuit
JP6860433B2 (ja) * 2017-06-19 2021-04-14 株式会社東芝 処理装置、処理システム、方法及びプログラム
US10970555B2 (en) * 2019-08-27 2021-04-06 At&T Intellectual Property I, L.P. Data-driven event detection for compressed video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013070A1 (ja) * 2021-08-06 2023-02-09 日本電信電話株式会社 データ処理装置、データ処理方法、及びプログラム

Also Published As

Publication number Publication date
US11470248B2 (en) 2022-10-11
US20210203840A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US10769531B2 (en) Methods and systems for counting people
JP6024952B2 (ja) 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム
US10499082B2 (en) Optimized coding method for omnidirectional video, computer readable storage medium and computer device
US11727255B2 (en) Systems and methods for edge assisted real-time object detection for mobile augmented reality
US11847816B2 (en) Resource optimization based on video frame analysis
JP2021106305A (ja) データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラム
JP2008283230A (ja) 画像処理システム
US20160173787A1 (en) Surveillance camera with heat map function
JP5190968B2 (ja) 動画像の圧縮方法及び圧縮装置
US20190114783A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US9319676B2 (en) Motion estimator and system on chip comprising the same
US11205257B2 (en) Method and apparatus for measuring video quality based on detection of change in perceptually sensitive region
JP6995083B2 (ja) 原映像ストリームから有意映像ストリームを生成するプログラム、装置及び方法
He et al. Real-time deep video analytics on mobile devices
KR20210038156A (ko) 전술 상황 기반 적응형 영상 압축 장치 및 방법
JP6641448B2 (ja) 監視カメラシステム
JP6916224B2 (ja) 画像圧縮パラメータ決定装置、画像伝送システム、方法およびプログラム
CN113706573B (zh) 一种运动物体的检测方法、装置及存储介质
US8965171B2 (en) Recording control apparatus, recording control method, storage medium storing recording control program
KR102401340B1 (ko) 인지 민감 영역의 변화의 검출에 기반하는 비디오 화질 측정 방법 및 장치
US20240013426A1 (en) Image processing system and method for image processing
JP6149534B2 (ja) 画像送信装置、画像伝送システム、画像送信方法および画像送信プログラム
KR102427570B1 (ko) 영상 기록 장치를 모니터링하기 위한 모니터링 서버
US11570492B2 (en) Image capturing system, distribution apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium
KR102513803B1 (ko) 인공신경망을 이용한 객체 카운팅 방법 및 이를 수행하기 위한 컴퓨팅 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240528