JP2023083234A - 画像取得デバイスを用いて撮影されたビデオストリームのビットレートを制御するための方法 - Google Patents

画像取得デバイスを用いて撮影されたビデオストリームのビットレートを制御するための方法 Download PDF

Info

Publication number
JP2023083234A
JP2023083234A JP2022188249A JP2022188249A JP2023083234A JP 2023083234 A JP2023083234 A JP 2023083234A JP 2022188249 A JP2022188249 A JP 2022188249A JP 2022188249 A JP2022188249 A JP 2022188249A JP 2023083234 A JP2023083234 A JP 2023083234A
Authority
JP
Japan
Prior art keywords
bitrate
video stream
edge filter
threshold
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022188249A
Other languages
English (en)
Inventor
ヨアキム エリクソン,
Ericson Joakim
ソン ユアン,
Song Yuan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of JP2023083234A publication Critical patent/JP2023083234A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19667Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19686Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627Rights management associated to the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】画像取得デバイスを用いて撮影されたビデオストリームのビットレートを制御する方法、記憶媒体及びコントロールユニットを提供する。【解決手段】方法は、画像取得デバイスを用いて撮影されたビデオストリームの現在のビットレート値を判定することと、現在のビットレート値が閾値を超えることを検出することに応えて、エッジフィルタの少なくとも1つのパラメータを調整して、ビデオストリームの少なくとも1つのエリアにおけるエッジの量をさらに減らして、これにより、ビットレートを制御する。【選択図】図2

Description

本発明は一般的に、カメラ監視の分野、具体的には、画像取得デバイスを用いて撮影されたビデオストリームのビットレートを制御するための方法及びコントロールユニットに関する。
各種のカメラ監視のアプリケーションでは時に、カメラにより撮影されたビデオストリームにおける物体をマスクする必要がある。物体をマスクすることについての重要な理由のいくつかは、ビデオストリームに存在する人々に対してプライバシを守り、ビデオストリームに撮影されることがある他のタイプの個人情報を保護することである。
一例として、物体検出は、人を検出するために使用される場合がある。人のマスキングは、イメージフレームの関連する部分の画像座標を抽出することにより行われてよい。画像座標が一度既知となると、ビデオストリームにおける関連する部分がマスクされ、ピクセル化され、ぼかされ、又は、他の方法で変更され、ビデオストリームにおける識別子を曖昧にし得る。
マスキングを達成する1つの既知の方法は、ソーベルフィルタを適用することであり、これは、エッジ又は輪郭のみが表示される匿名化された画像をもたらす。このタイプのフィルタを使用することの利点は、画像は匿名化されているものの、演算子は依然として、撮影されたシーンにおける人の動き及びアクションを解像でき、これは、多くの監視のユースケースに十分であることである。
しかし、例えば、ソリッドマスク及び画素化と比較して、ソーベルフィルタを経たビデオストリームの生成されたデータのビットレートはより高く、これは、ネットワークの問題若しくはストレージの問題、又は、演算子に対する一般情報の過負荷を引き起こす場合がある。
結果として、匿名化されたビデオストリームにおける生成されたデータを扱うことに関して、改善の余地がある。
従来技術の上記及び他の欠点を考慮して、本発明の目的は、従来技術のそれら欠点の少なくともいくつかを軽減する、画像取得デバイスを用いて撮影されたビデオストリームであって、エッジフィルタを使用してフィルタされたビデオストリームのビットレートを制御するための改善された方法を提供することである。
本発明の第1の態様によると、画像取得デバイスを用いて撮影されたビデオストリームであって、ビデオストリームにおける撮影されたシーンの少なくとも1つのエリアのプライバシマスキングのためのエッジフィルタを使用してフィルタされたビデオストリームのビットレートを制御するための方法がしたがって提供される。
この方法は、ビデオストリームの現在のビットレート値を判定することと、現在のビットレート値が閾値を超えることを検出することに応えて、エッジフィルタの少なくとも1つのパラメータを調整して、ビデオストリームの少なくとも1つのエリアにおけるエッジの量をさらに減らして、これにより、ビットレートを制御することと、を含む。
本発明は、エッジフィルタのパラメータを調整することが、結果としてのフィルタされたビデオストリームの生成されたビットレートを変えることの認識に基づいている。結果として、現在のビットレートをモニタすることにより、また、許容可能なビットレートの知識をもってして、エッジフィルタのフィルタパラメータが調整されて、エッジの量を減らして、これは、ビットレートを効果的に制御し得る。ビットレートは、エッジの量を減らした結果として下げられる。
結果として、発明者達は、エッジフィルタを使用することは、ビデオストリームのエリアをマスクして、ビデオストリームにおける人のプライバシを好適に保護できる一方で、モーション及びアクションを依然として検出可能とでき、また、積極的に、そして少なくともほぼリアルタイムに、エッジフィルタのパラメータを変えて、これにより、ビットレートを制御することを提供できることを認識した。
ビデオストリームは一般的に、経時的に撮影された一式の連続するイメージフレームである。連続するイメージフレームは、ビデオストリームを集合的に形成する。
エッジフィルタは、イメージフレームにおけるエッジを見つけるよう適合されているアルゴリズムを用いて演算する。そのようなエッジフィルタの基本的な演算は、アルゴリズムが、画像輝度が急速又はシャープな変化又は切れ目を有するイメージフレームにおけるエッジ又はカーブを見つけることである。エッジ又はカーブが一度見つかると、それらがエンハンスされる一方で、他の部分の出現が抑えられる。エッジフィルタは、ビデオストリームの各イメージフレームに適用される。
エッジフィルタは、フィルタ演算子の一部であってよいパラメータにより画定される。フィルタ演算子は、使用されている特定のエッジフィルタに応じて、異なる種類のものであってよい。しかし、フィルタ演算子はしばしば、イメージフレームの隣り合うピクセル間の強度勾配を算定又は推定する勾配演算子として演算する。隣り合うピクセルは、直接隣り合うものであってよいが、フィルタ演算子はしばしば、2番目に隣り合うもの及び/又はさらに遠くに隣り合うものをも含む。算定された強度勾配は、エッジが検出されたと考えられるか否かを判定するための検出閾値と比較される。
結果として、エッジフィルタは、エッジポイントをエンハンスして、非エッジポイントを抑えるフィルタである。エッジポイントは、画像輝度が急速又はシャープな変化又は切れ目を有するエッジに属すると判定された、イメージフレームにおける一又は複数のピクセルに対応する。同様に、非エッジポイントは、エッジに属しないと判定された、イメージフレームにおける一又は複数のピクセルに対応する。したがって、エッジフィルタをビデオストリームに適用することにより、イメージフレームにおけるエッジポイントがエンハンスされる一方で、非エッジポイントが抑えられる。例えば、エッジフィルタ、これは時に、エッジ検出フィルタとも呼ばれる、は、ソーベルフィルタ、キャニィフィルタ、DoG(Difference of Gaussian)フィルタ、ラプラシアンフィルタ、プルウィットフィルタ、ロバートクロスフィルタ、又はシャーフィルタであってよく、これらは、単にいくつかの例として示す。このユースケースに合わせるために、エッジフィルタの出力、つまり、エッジフィルタを経たバージョンのビデオストリームは、一又は複数の演算、例えば、正の勾配と負の勾配との間を区別しない絶対値演算、強度を調整するゲイン演算子、エッジポイントを黒くして非エッジポイントを白くするオフセット演算子、及び/又は、画像における、真のエッジの一部ではない、不必要な薄黒いエッジピクセル又は他の構造を除去するノイズ削減演算子を使用して変更されてよい。
1つのエッジフィルタ例は、3×3のカーネル又は演算子に基づき、3×3のサブマトリクスにおけるピクセルが、所与のピクセルに対する勾配を算定する際に検討されるようにして、ここでは、カーネルのエレメントが、勾配を算定するために使用される異なるピクセル値に対するウェイトを設定する。このサイズの演算子を使用することは、計算的に効率的なエッジフィルタリングプロセスを提供する一方で、許容可能な品質のフィルタされた画像を提供する。より大きいカーネル、例えば、4×4又は5×5がまた、ここに説明する実施形態に適用可能である。
ビットレート閾値は、画像取得デバイスに接続されているネットワークのビットレート容量若しくは帯域幅、又は、メモリ容量、又は、いくつかの他の所定のパラメータの知識に基づいて設定されてよい。閾値には、いくらかの重要なビットレートレベルを超えるという危険にさらさないようにするマージンが設定されてよい。
ビットレートは、画像取得デバイスにより撮影されたビデオストリームのイメージフレームから生成される単位時間毎のビットの数である。ビットは、撮影されたイメージフレームをエンコーディングプロトコルにしたがってエンコードするエンコーダにおいて生成されてよい。現在のビットレート値は、単位時間毎に生成されたビットを直接又は間接的に示す。
プライバシマスキングは、イメージフレームの一部をマスクされたエリアで隠す又は見えないようにすることにより、人のプライバシを保護する特徴として理解される。一般的に、プライバシマスクは、静的又は動的なものであってよく、ここに最も多く説明するものは、イメージフレームに適用されるエッジフィルタの形態の動的なマスクだけでなく、ソリッドマスク又はぼかしの形態もある。静的なマスクは、同じ方法でイメージフレームの全体又はその少なくとも一部にわたって全体的に適用されてよい一方で、動的なマスクは、例えば、顔又は人がビデオストリームにおいて一度検出されたら適用されてよい。
エッジフィルタのパラメータは、カーネルのエレメント、又は、エッジフィルタのフィルタ演算子又はゲイン演算子の出力が比較される検出閾値を指してよい。エッジフィルタのパラメータを調整して、現在のビットレート値を減らすことは、エッジフィルタの保護必要度が調整されて、フィルタによりエンハンスされるエッジをより少なくすることとして理解されてよい。
1つの実施形態によると、現在のビットレート値は、現在のビットレート又は現在のビットレートの増加率であってよい。現在のビットレートの増加率は、ビットレートが現在増加しているレート又はペースである。ビットレートが現在増加しているレート又はペースをモニタすることと、これに応答することと、は、高ビットレートに対するより速い、又は、より早急の応答を可能にする。なぜなら、エッジフィルタのパラメータにおける調整は、高増加率が、絶対ビットレートが危機的な高ビットレートに到達する前に検出された際に行われ得るからである。閾値のそれぞれとの組み合わされた比較のために、現在のビットレートをビットレートの増加率と組み合わせることがさらに可能であってよい。例えば、ビットレートの増加率が突如急激に上がると、フィルタパラメータが続いて、ビットレート自体がビットレート閾値に到達する前に調整されてよい。
1つの実施形態によると、調整することは、エッジフィルタの少なくとも1つのパラメータを、現在のビットレート値が閾値未満となるまで調整することをさらに含んでよい。これにより、好適には、少なくとも1つのフィルタパラメータの調整が、ビットレートが再度許容可能なレベルとなるまで継続する。
1つの実施形態によると、エッジフィルタの少なくとも1つのパラメータは、撮影されたシーンの所定のエリアに対して調整されてよい。所定のエリアを判定することは、人が存在するビデオストリームにおけるエリアを、例えば、物体検出アルゴリズム又はモーション検出を使用することにより検出することを含んでよい。所定のエリアはまた、静的マスキングが適用されるべき、ビデオストリームにおけるエリアに関連してよい。所定のエリアは、モニタされているシーンの予備知識に基づいて予め設定されてよい。静的マスキングは、あるエリアの、そのエリアにおける移動物体の存在に関わらないマスキングに関する。したがって、静的マスキングを用いて、ビデオストリームの予め定められたエリアがマスクされる。
1つの実施形態によると、この方法は、撮影されたシーンのエリアにおける物体を検出することと、撮影されたシーンにおける物体のサイズを検出することと、エッジフィルタの少なくとも1つのパラメータを、撮影されたシーンのエリアにおいて異なって、エリアのそれぞれにおける検出された物体のサイズに応じて調整することと、をさらに含んでよい。例えば、プライバシマスキングは、画像取得デバイスから遠い人又は物体にとってさほど重要ではない。なぜなら、それらのプライバシは、それらがカメラから遠いことにより守られ得るからである。画像取得デバイスから遠い人又は物体は、ビデオストリームにおいて小さく現れる。これは、ビデオストリームにおける物体のサイズが、特定の物体がエッジフィルタを使用してマスクされるべきであるか否か、又は、その程度を判定する効率的な方法を提供することを意味する。これは、ビデオストリームの異なるエリアにおいて必要とされるプライバシマスキングに基づくエッジフィルタ調整を仕立てることを好適に提供する。
1つの実施形態によると、エッジフィルタの少なくとも1つのパラメータは、サイズ閾値を超える、又は、これに等しい検出されたサイズを有する物体のあるシーンのエリアに対するエッジの量を、サイズ閾値未満の検出されたサイズを有する物体のあるエリアにおけるそれと比較して、さらに減らすよう調整されてよい。サイズ閾値は、ビデオストリームにおける、画像取得デバイスから十分に遠い距離に人がいる、プライバシマスキングを過剰に必要としないエリアは、画像取得デバイスの近くに人がいるエリアにおけるそれらよりも多くのエッジを維持してフィルタされるよう設定されてよい。好適には、カメラに近い物体があるエリアのフィルタリングは、ビデオストリームのビットレートを、さらに遠い物体のエリアのフィルタリングのそれより多く下げることを提供する。なぜなら、カメラから遠いビデオストリームにおける物体は一般的に、カメラに近い物体のそれよりも少ないエッジを生じさせるからである。このタイプのサイズ閾値化は、他のエリアよりも多くのエッジフィルタリングを必要とするエリアを見つける、比較的簡単なものの、依然として効率的な方法を提供する。
1つの実施形態によると、調整することは、エッジフィルタのパラメータを、撮影されたシーンのエリアを全体的に静的にマスクするために調整することを含んでよい。したがって、エッジフィルタの少なくとも1つのパラメータは、静的マスキングが適用されるべきエリアとして画定されるすべてのエリアに対して調整されてよい。
1つの実施形態によると、この方法は、撮影されたシーンにおける人の数を検出することと、人の数が閾値、つまり、人数閾値を超えることを検出することに応えて、エッジフィルタの少なくとも1つのパラメータを調整することと、をさらに含んでよい。ビデオストリームにおいて人が多ければ、ビットレートを下げるための、調整されたエッジフィルタのパラメータが必要とされてよい。例えば、人のみがエッジフィルタを使用してマスクされて、人の数が増えると、エッジフィルタは続いて、ビデオストリームのより多くのエリアに適用されなければならず、これは、生成されるビットレートを上げる。好適には、エッジフィルタのパラメータはしたがって、この人の数における変化と、生成されるビットレートに関するエッジフィルタリングの必要性と、に適応するために調整されて、生成されるビットレート又はビットレートの増加率を維持するか、又は、これを下げる。
1つの実施形態によると、この方法は、画像のぼかしを、撮影されたシーンの選択されたエリアに適用して、ビットレートをさらに制御することをさらに含んでよい。
1つの実施形態によると、この方法は、ソリッドカラーのマスキングを、撮影されたシーンの選択されたエリアに適用して、ビットレートをさらに制御することを含んでよい。
例えば、ぼかし又はソリッドカラーのマスキングを使用することは、プライバシマスキングを、現在の特定の実装に応じて仕立てるさらなるツールを提供する。
1つの実施形態によると、この方法は、移動物体を検出することと、エッジフィルタの少なくとも1つのパラメータを、撮影されたシーンにおける移動物体の現在のサイズに応じて調整することと、をさらに含んでよい。移動物体、例えば、人は、比較的高いビットレートを引き起こす。したがって、エッジフィルタを調整することは、移動物体を含むビデオストリームにおけるエリアに対して特に好適である。
いくつかの考えられる実装では、閾値は第1の閾値であってよく、これにより、この方法は、現在のビットレート値が、第1の閾値より低い第2の閾値未満であることを検出することに応えて、エッジフィルタの少なくとも1つのパラメータを調整して、ビデオストリームの少なくとも1つのエリアにおけるエッジの量を増やして、これにより、ビットレートを制御することをさらに含んでよい。第2のより低い閾値を使用することは、エッジフィルタリングが、フィルタされたビデオストリームにおけるディティールの過剰なロスを引き起こさないことを確かにすることを提供する。結果として、第2の閾値は、エッジフィルタリングが、フィルタされたビデオストリームにおけるモーション、イベント、又はアクションを見分けることが可能となるようにする一方で、依然としてプライバシを守るよう調整されるよう設定される。
本発明の第2の態様によると、画像取得デバイスを用いて撮影されたビデオストリームであって、そのビデオストリームにおける撮影されたシーンの少なくとも1つのエリアのプライバシマスキングのためのエッジフィルタを使用してフィルタされたビデオストリームのビットレートを制御するためのコントロールユニットが提供されて、このコントロールユニットは、本発明の第1の態様に係る方法のステップを行うよう構成されている。
本発明のこの第2の態様のさらなる実施形態のそれぞれと、それらを通して得られる効果と、は、本発明の第1の態様についてのそれら上記説明に大きく類似する。
本発明の第3の態様によると、ビデオストリームを撮影するよう構成されている画像取得デバイスと、第2の態様に係るコントロールユニットと、を含むシステムが提供される。
画像取得デバイスは好ましくは、ビデオカメラ、例えば、監視カメラである。
本発明のこの第3の態様のさらなる実施形態のそれぞれと、それらを通して得られる効果と、は、本発明の第1の態様と第2の態様とについてのそれら上記説明に大きく類似する。
本発明の第4の態様によると、コンピュータプログラムであって、そのプログラムがコンピュータにより実行されると、そのコンピュータに、ここで説明する実施形態のいずれか1つの方法のステップを実行させる命令を含むコンピュータプログラムが提供される。
本発明のこの第4の態様のさらなる実施形態のそれぞれと、それらを通して得られる効果と、は、本発明の他の態様についてのそれら上記説明に大きく類似する。
本発明のさらなる特徴と、それによる利点と、が、添付の特許請求の範囲と、以下の説明と、を検討する際に、明らかとなるであろう。当業者である名宛人であれば、本発明の様々な特徴が組み合わされて、以下に説明するそれら以外の実施形態がそれぞれ、本発明の範囲を逸脱することなく創造されてよいことを認識するであろう。
本発明の様々な態様は、その特定の特徴及び利点を含み、以下の発明を実施するための形態と、以下に示す添付の図面と、から、容易に理解されるであろう。
本発明の実施形態の1つのアプリケーション例を概念的に示す。 本発明の実施形態に係る方法ステップのフローチャートである。 エッジフィルタが適用されたイメージフレームを概念的に示す。 図3Aに示すものの、図3Aにおいて使用されたエッジフィルタと比較して、少なくとも1つの調整されたパラメータを有するエッジフィルタを用いてフィルタされたイメージフレームを概念的に示す。 本発明の実施形態に係る方法ステップのフローチャートである。 概念的なイメージフレームを示す。 本発明の実施形態に係る方法ステップのフローチャートである。 異なって調整されたパラメータを持つエッジフィルタを用いてフィルタされた、概念的な、撮影されたイメージフレームである。 本発明の実施形態に係る方法ステップのフローチャートである。
本発明を、添付図面を参照して以下にさらに詳細に説明する。ここでは、本発明の現在の好適な実施形態を示す。本発明はしかし、多くの異なる形態にて体現されてよく、以下に示す実施形態に限定されるものとして理解すべきでない。むしろこれらの実施形態は、完璧性及び完全性のために、そして、本発明の範囲を当業者に十分に伝えるために提供される。類似の参照符号は、これらの図面を通して、同様の構成要素を示す。
ここで、これらの図面、特に図1を見てみると、画像取得デバイス200、例えば、カメラ、又は、より具体的には、監視カメラによりモニタされるシーン1が見て取れる。シーン1には、例えば、駐車場にある車両であってよい一式の物体104a、104bがあり、複数の人106aからcがいる。
カメラ200は、現在の特定のアプリケーションに応じて、建物、ポール、又は、いずれの他の好適な位置に載置されてよい。さらに、カメラ200は、固定カメラ、又は、パン、チルト、及びズームなどの可動カメラであってよく、又は、身体装着型カメラであってもよい。さらに、カメラ200は、可視光カメラ、赤外線(IR)反応カメラ、又はサーマル(長波長赤外線(LWIR))カメラであってよい。さらに、LIDAR及びレーダ機能を採用する画像取得デバイスもまた考えられてよい。
カメラ200は、シーン1のビデオストリームを形成するイメージフレームを撮影することにより、シーン1を継続してモニタしている。カメラの視野内にあるシーン1はここでは、物体104a及びbと、人106aからcと、を含むよう例示されている。カメラ200は、ビデオストリームを、ある送信容量、つまり、ある帯域幅を有する通信ネットワーク114に接続されている無線リンク112を経由して、クライアント116又はサーバ118に送信してよい。
カメラ200は、撮像モジュール202と、画像処理パイプライン204と、エンコーダ206と、メモリ208と、カメラ200とネットワーク114との間の無線リンク112を介しての通信インターフェースとして構成された入力及び出力インターフェース210と、をさらに含む。
撮像モジュール202は、種々のコンポーネント、例えば、レンズとイメージセンサと、を含み、レンズは、多数のピクセルを含めて、イメージセンサ上に画像を投影するよう適合されている。
画像処理パイプライン204は、ある範囲の種々の演算を、イメージセンサから受信したイメージフレームに行うよう構成されている。そのような演算は、例えば、フィルタリング、デモザイク処理、色補正、空間ノイズ及び/又は時間ノイズを除去するためのノイズフィルタリング、たる形ひずみなどの影響を除去するための歪み補正、幅広い範囲の強度を含むシーンの撮像などを可能にするグローバル及び/又はローカルトーンマッピング、回転などの変換、ビネッティングの影響などを取り除くための平坦フィールド補正、プライバシマスクや説明文などのオーバレイの適用などを含んでよい。しかし、それらの演算のいくつか、例えば、たる形ひずみの補正や回転などの変換演算は、画像処理パイプライン204の外に配列された一又は複数のモジュール、コンポーネント、又は回路により、例えば、画像処理パイプライン204とエンコーダ206との間の一又は複数のユニットにおいて行われてよいことに留意すべきである。
画像処理パイプライン204に続いて、イメージフレームはエンコーダ206に転送されて、ここで、イメージフレームは、エンコーディングプロトコルにしたがってエンコードされて、レシーバ、例えば、クライアント116及び/又はサーバ118に、ネットワーク114を経由して、入力/出力インターフェース210を使用して転送される。図1に示すカメラ200はまた、多くの他のコンポーネント、例えば、プロセッサやメモリなどを含み、これらは、従来のカメラシステムにおいて一般的であり、その目的及び作動が当業者によく知られていることに留意すべきである。そのようなコンポーネントは、明確性を理由として、図1の図示及び説明から省略されている。
カメラ200はまた、ビデオストリームの撮影に関するデータを保存するためのデータストレージ208をも含んでよい。したがって、このデータストレージは、撮影されたビデオストリームを保存してよい。このデータストレージは、不揮発性メモリ、例えば、SDカードであってよい。
数多くの従来のビデオエンコーディングフォーマットがある。本発明の種々の実施形態を用いて作動するいくつかの一般的なビデオエンコーディングフォーマットは、JPEG、Motion JPEG(MJPEG)、High Efficiency Video Coding(HEVC)、これは、H.265及びMPEG-H Part 2としても知られる、Advanced Video Coding(AVC)、これは、H.264及びMPEG-4 Part 10としても知られる、Versatile Video Coding(VVC)、これは、H.266、MPEG-I Part 3、及びFuture Video Coding(FVC)としても知られる、VP9、VP10、及びAOMedia Video 1(AV1)を含み、これらは、単にいくつかの例として示す。
一般的に、エンコーダは、ビットレートが可変のエンコーディングフォーマットを使用する。これは、フレーム毎に変わるイメージフレームからのデータは、エンコーダにより処理されて、変わらないデータ、つまり、イメージフレームにおける静的なエリアは、再度エンコードされる必要がないことを意味する。したがって、移動物体のあるシーンは、移動物体がない、又は、少ない移動物体があるシーンよりも高いビットレートを引き起こす。
画像処理パイプライン204とエンコーダ206とは、コントロールユニット212上で作動してよい。カメラ200とコントロールユニット212とは、カメラシステム10の一部であってよく、ここでは、コントロールユニット212は、別個のスタンドアローン型コントロールユニット、又は、カメラ200の一部であってよい。コントロールユニット212は、遠い場所、例えば、サーバ上にあって、したがって、クラウドベースのサービスとして作動することが考えられる。
しかし、コントロールユニット212と撮像モジュール202とは、単一のユニットとして配列されてよい。
シーン1をモニタする際に、カメラ200は、イメージフレームを、撮像モジュール202を使用して継続して撮影して、イメージフレームを画像処理パイプライン204において処理して、処理されたデータをエンコーダ206においてエンコードして、通信ネットワーク114において現在利用可能な帯域幅に応じて、エンコードされたイメージフレームをデータストレージ208に保存する、及び/又は、通信ネットワーク114を経由して直接送信する。
シーン1の性質に応じて、画像処理パイプライン204におけるエッジフィルタリングは、エンコーダ206がエンコードする種々の量のデータを生成する。過剰に高いビットレートの場合、ストレージの問題又はネットワークの問題が生じる場合がある。例えば、生成されたビットレートが、通信ネットワーク114の帯域幅を超える場合、データの送信が阻害される。さらに、データストレージ208においてメモリのストレージスペースが足らなくなることにより、エンコードされたイメージフレームの保存が難しくなる場合がある。ビットレートを下げることは、エンコーダ206の負荷を下げて、その結果として、通信ネットワーク114上のネットワークの帯域幅の問題を回避することをも可能にする。
エッジフィルタリングは、好適なタイプのプライバシマスキングである。なぜなら、それは、ビデオストリームにおけるプライバシの保護を可能にする一方で、依然として、ビデオストリームにおいて行われたアクションの認識及び検出が可能であるからである。しかし、画像処理パイプライン204においてエッジフィルタリングを使用することは、エンコーダ206でのビットレートの上昇を引き起こす場合がある。これは特に、物体の動き又はモーションがビデオストリームに存在する場合に顕著である。
この問題を軽減するために、発明者達は、エッジフィルタのパラメータを調整することにより、画像取得デバイス200を用いて撮影されたビデオストリームからのビットレートを制御することを提案する。エッジフィルタは、ビデオストリームにおける撮影されたシーン1の少なくとも1つのエリアのプライバシマスキングのために使用される。
ここで、図2を見てみると、これは、本発明の実施形態に係るフローチャートを示す。
ステップS102において、ビデオストリームの現在のビットレート値が判定される。現在のビットレート値は、エッジフィルタを経たビデオストリームを画像処理パイプライン204から受信するエンコーダ206により判定される。
現在のビットレート値は、閾値と比較されて、S103において、現在のビットレート値が閾値を超えることを検出することに応えて、エッジフィルタの少なくとも1つのパラメータが、ステップS104において調整されて、ビデオストリームの少なくとも1つのエリアにおけるエッジの量をさらに減らして、これにより、ビットレートを制御する。
結果として、通信ネットワーク114を経由して送信されるビデオストリームのデータのビットレートを制御するために、少なくとも1つのエッジフィルタのパラメータが制御される。例えば、結果としてのエンコードされたイメージにおいて生成されたエッジが少なければ、ビットレートが下げられて、つまり、エンコーダ206において生成されるビットの数は少なくなり、通信ネットワーク114を経由して送信されなければならないデータは少なくなる。
現在のビットレート値の閾値との比較は、コントロールユニット212内の処理回路により行われてよい。さらに、エッジフィルタのパラメータの調整は、エッジフィルタリングが生じる画像処理パイプライン204において行われてよい。
図3A及び図3Bはそれぞれ、調整のレベルが異なるエッジフィルタが適用されたイメージフレーム300の概念的な一例を示す。
図3Aにおいて、イメージフレーム300は、二人の人301及び302のエッジを含み、これらは、視認可能で比較的明確であるものの、プライバシが依然として保護されている。図3Aにおいて、第1の保護必要度又は第1の調整設定のエッジフィルタが適用されており、これは、オペレータが、二人の人の存在を決定付けることを可能とするが、彼らのプライバシは守られている。
図3Bにおいて、同じイメージフレーム300を示すが、ここでは、図3Aにおけるイメージフレーム300に適用されたエッジフィルタのそれより低い保護必要度又は異なる調整設定のエッジフィルタが適用されており、これにより、結果として、より少ないエッジが検出されている。エッジがより少なければ、エンコーダ206において導かれるビットレートが低くなる。なぜなら、連続するイメージフレーム間で変わるデータが少ないからである。
ここに示す実施形態には、異なるタイプのエッジフィルタが適用可能である。1つのエッジフィルタ例は、以下に簡単に説明するソーベルフィルタ演算子に依存する。
ソーベルフィルタは、2つの3×3のカーネル、1つは水平
Figure 2023083234000002
の変化、もう1つは垂直
Figure 2023083234000003
の変化に基づいてよい。ソーベルカーネルは、以下により与えられてよい:
Figure 2023083234000004
これらのカーネルは双方とも、二次元イメージフレームに、これらのカーネルを、ピクセル値のマトリクスにより表されるこの二次元イメージフレームに畳み込むことにより適用されて、イメージフレームの各ピクセルに対して、勾配の大きさ
Figure 2023083234000005
が算定され得る:
Figure 2023083234000006
この勾配の大きさ
Figure 2023083234000007
は、検出閾値と比較されて、所与のピクセルにエッジが存在するか否かを判定する。検出閾値を調節することにより、フィルタされたビデオストリームにおいて存在するエッジの量が調整される。例えば、図3Aに示すイメージフレームを生成するためのエッジを検出するために使用された検出閾値は、より少ないエッジが検出された、図3Bに示すイメージフレームを生成するために使用された、対応する検出閾値より低いものであった。したがって、このエッジフィルタにおいて使用された、より高い検出閾値は、図3Bにおける、より少ないエッジをもたらして、その結果として、ビットレートを下げる。
ここに説明するように、他のエッジフィルタ演算子もまた、他のサイズのカーネルと、それらのカーネルに含まれる他の数値エレメントと、を用いて適用可能であり、上記のソーベル演算子は一つの例である。カーネルのエレメントを調整することは、異なるウェイトを、現在検討されている中央ピクセルを中心とする勾配
Figure 2023083234000008
及び
Figure 2023083234000009
を算定するために使用されるピクセル値に与える。
エッジフィルタのパラメータを調整することは、勾配の大きさが比較される閾値を調整することとなってよい。しかし、エッジフィルタのパラメータを調整することは、エッジフィルタのカーネルの値を調整することとなることもまた考えられる。
コントロールユニット212は、エッジフィルタに必要とされる調整の量を、現在のビットレート値に基づいて推定してよい、又は、この調整は、各調整に対して固定されてよい。エッジフィルタの調整が可変のものであれば、現在の調整の必要性が、現在のビットレート値と閾値との間の差に基づいて推定されてよい。可変ビットレートであれば、ビットレート制御アルゴリズム、例えば、最高ビットレート(MBR)又は平均ビットレート(ABR)が通常は、ビットレートのいくらかの経時的な制御を依然として有するために使用される。MBRとABRは双方とも、可変ビットレートを採用して、MBRは、現在のビットレートが上限未満であることを確かにして、これにより、閾値と現在のビットレートとの間の差を推定できる。ABRは、所与の時間ウィンドウにわたる平均ビットレートが特定の閾値未満であることを確かにするよう構成されている。これらのアプローチは双方とも、所定のMBR又はABRに関連する、ビットレートの経時的な変化のトレンドに基づく調整の量の、より洗練されたバリエーションを可能にする。
好ましくは、ステップS104においてエッジフィルタのパラメータを調整することに続いて、ステップS103において、現在のビットレートが閾値を超える、又は、これに等しいかが再度チェックされる。このようにして、エッジフィルタの少なくとも1つのパラメータが、現在のビットレート値が閾値未満となるまで調整される。固定調整が実装されていれば、この固定調整は、現在のビットレート値が閾値未満となるまで適用される。可変調整が実装されていれば、調整のための現在の余地が、各調整の前に推定される。
現在のビットレート値は、そのような現在のビットレート又は現在のビットレートの増加率であってよい。したがって、モニタされている現在のビットレート値は、現在のビットレートそれ自体、又は、連続するイメージフレームからのビットレートの変化に基づくビットレートの時間勾配であってよい。
エッジフィルタの少なくとも1つのパラメータは、撮影されたシーンの所定のエリアに対して調整されてよい。これは、様々な方法で実装されてよく、それらのいくつかを次に説明する。例えば、移動物体を含むエリアにおいて、又は、遠くの人を捕捉しているエリアにおいて、又は、静的なプライバシマスキングのエリアにおいて、エッジフィルタが調整されてよい一方で、他のエリアでは、エッジフィルタのパラメータは調整されなくともよい。
ここで、図4におけるフローチャートと、図5A及び図5Bにおける概念的な、撮影されたイメージフレーム400と、を見てみる。
撮影されたシーンのエリアにおける物体106a及びbが、ステップS402において検出される。物体は、物体検出アルゴリズム、例えば、画像処理パイプライン204において演算を行ってよい物体分類子を使用して検出及び分類されてよい。
ステップS404において、撮影されたシーンにおける物体106a及びbのサイズが検出される。物体が遠くにあれば、それらのサイズは、カメラ200に近い物体のサイズより小さい。したがって、物体106a及びbのサイズを検出することは、それらがカメラ200に遠いか近いかを、少なくとも間接的に決定付ける効率的な方法を提供する。サイズを検出することは、検出された物体に関連付けられているピクセルの数からの推定により、又は、他の検出アルゴリズムにより行われてよい。
さらに、カメラから遠い物体106bのディティールは、エッジフィルタがなくとも容易に見分けることが可能でない場合があり、これにより、物体106bの対応するエリアにわたるエッジフィルタが調整されて、カメラ200に近い物体のエリアにおけるものよりエッジの数を多く減らしてよい。このようにして、ビットレートが、情報を過剰に失うことなく下げられる。なぜなら、カメラから遠い物体のアクション、つまり、人のアクションは、エッジフィルタリングに関わらず、容易に見分けることが可能でないからである。しかし、好ましくは、カメラ200から遠い物体、例えば、人106bは、カメラ200から、人106bに対するプライバシを守るためのプライバシマスキングが必要でないほど十分に遠い場合がある。カメラ200に近い人106aは、ビデオストリームのイメージフレームの対応する領域のプライバシマスキングを必要とするほど十分に近い。さらに、人106aがカメラ200に近いことにより、より多くのエッジがフィルタにより検出可能であり、これにより、エッジフィルタの調整は、さらに遠い人106bに対応するイメージフレームのエリアに対して対応する調整と比較して、ビットレート値におけるより大きな削減を提供する。したがって、好ましくは、カメラに近い、つまり、サイズ閾値に等しいサイズ、又は、これを超えるサイズの物体106aの対応するエリアにわたるエッジフィルタが調整されて、カメラ200からさらに遠い物体106bのエリアにおけるそれよりも、エッジの数を多く減らしてよい。
したがって、ステップS04は、エッジフィルタの少なくとも1つのパラメータを、撮影されたシーンのエリアにおいて異なって、エリアのそれぞれにおける検出された物体106a及びbのサイズに応じて調整することを含む。図5Aは、概念的な、撮影されたイメージフレーム400であり、図5Bは、イメージフレーム400を概念的に示すが、これは、エッジフィルタリング調整後のものである。ここに描く例では、カメラからさらに遠い物体106bは、あまりフィルタされておらず、つまり、いくつかのエッジが依然として存在する、又は、まったくエッジフィルタされていないようになっている一方で、カメラに近い物体106aのエリアはフィルタされて、さらに遠い物体106bのエリアに対するそれよりも、エッジの量が多く減らされている。
サイズの検出の後に、閾値処理ステップが続いてよく、ここでは、エッジフィルタの少なくとも1つのパラメータは、サイズ閾値を超える、又は、これに等しい検出されたサイズを有する物体のあるシーンのエリアに対するエッジの量を、サイズ閾値未満の検出されたサイズを有する物体のあるエリアにおけるそれと比較して、さらに減らすよう調整されてよい。サイズ閾値は、カメラ200に対するユースケースに応じて設定されてよい。
物体のサイズを検出することの代替案として、検出された物体からカメラ200までの距離を判定するための深さモデルが使用されてよい。この距離は、エッジフィルタの少なくとも1つのパラメータを調整するか否かを判定するための距離閾値と比較される。
物体を検出するステップS402は、物体が人であるか検出することを含んでよい。検出された物体が人であれば、エッジフィルタが、その人のエリアに適用されて、これは、検出された人のサイズに基づいて調整されてよい。
さらに、ステップS402において物体を検出することは、移動物体を検出することをさらに含んでよい。エッジフィルタの少なくとも1つのパラメータは、撮影されたシーンにおける移動物体の現在のサイズに応じて異なって調整される。
いくつかの実施形態では、エリア500が、図5A及び図5Bに概念的に示す、静的なマスキングのために予め定められてよく、ここでは、マスキングは、検出された物体又はモーションに関わらず適用されてよい。静的マスキングのエリア500は、プライバシマスキングが必要となることが事前に既知となっている固定エリア、例えば、モニタリングが許可されていないエリア、又は、人の立ち入りが禁止されたエリア、及び、他の監視の手段が可能でないエリアに関連してよい。そのような静的マスキングのエリア500におけるエッジフィルタの調整は、全体的な調整であってよい。換言すると、エッジフィルタは、図5Bに示すように、エリア500の全体に対して全体的に調整される。しかし、エッジフィルタのパラメータの調整の程度は、静的マスキングのエリアに対応するエリア500のカメラからの距離に依存してよい。
ここに説明するように、撮影されたシーンにおける大量のモーションは、高ビットレートを生成する。したがって、人はシーンにおいて動く傾向にあるため、そのシーンにおける人の数に応じてフィルタリングを調整することは好適である。したがって、図6におけるフローチャートのステップS602において、撮影されたシーンにおける人の数が検出される。ステップS602は、図4におけるステップS402に続いて、又は、ステップS402の一部として行われてよい。
図7A及び図7Bに示すイメージフレームは、後続のイメージフレーム701及び702を示し、ここでは、エッジフィルタが、第1のイメージフレーム701において、動いている人106a及びbに適用されている。しかし、人の数が増えて、閾値、例えば、この例では、三人という人の閾値を超えるとともに、エッジフィルタの少なくとも1つのパラメータがステップS104において調整されて、図7Bに示すように、検出された人106aからdのエッジの数をさらに減らす。したがって、人の数の増加により引き起こされる、ビデオストリームにおけるモーションの量の増加にもかかわらず、ビットレートは閾値未満に維持され得る。
他のタイプのマスキングが、エッジフィルタを補完するものとして適用されてよい。例えば、画像のぼかしが、撮影されたシーンの選択されたエリアに適用されて、ビットレートをさらに制御してよい。別の例では、ソリッドカラーマスクを、撮影されたシーンの選択されたものに適用して、ビットレートをさらに制御する。ソリッドマスクを適用することは、必要とする、エッジフィルタを適用する計算的なパワー及びメモリが少なく、これは、アクションの検出可能性が望ましくない又は可能でないエリア、例えば、カメラ200から遠いエリアのプライバシマスキングのために好適に使用されてよい。
ビットレートが比較的低い値にある場合、これは続いて、ビットレートを上げる余地があり、エッジの量を増やすような、エッジフィルタのパラメータの調整を可能とする。これは、ビデオストリームのディティールを、クライアント116又はサーバ118における演算子に対してエンハンスして、そのビデオストリームにおけるいずれのアクションを良好に解像することとなる。このために、この方法は、図8のフローチャートに示すように、ステップS803において、現在のビットレート値が、第1の閾値より低い第2の閾値未満であることを検出することに応えて、ステップS804において、エッジフィルタの少なくとも1つのパラメータを調整して、ビデオストリームの少なくとも1つのエリアにおけるエッジの量を増やして、これにより、ビットレートを制御することをさらに含んでよい。この調整がステップS804において一度行われると、この方法は再度、ビットレートが第1の閾値、例えば、ステップS103において、図2に関連して説明した閾値を超えるかをチェックする。第2の閾値は、いくらかのレベルのディティールが依然として、フィルタされたビデオストリームに存在するようにして、ビデオストリームにおけるアクション及びイベントが依然として解像可能となるように選択される。換言すると、第2の閾値は、アクション、イベント、又はモーションが、フィルタされたビデオストリームにおいて解像可能又は見分けることが可能な一方で、ビデオストリームにおける物体及び人に対するプライバシが依然として守られるように選択される。第2の閾値は、現在のユースケースに対して設定されてよい。
画像取得デバイスを用いて撮影されたビデオストリームであって、そのビデオストリームにおける撮影されたシーンの少なくとも1つのエリアのプライバシマスキングのためのエッジフィルタを使用してフィルタされたビデオストリームのビットレートを制御するためのコントロールユニット212がさらに提供されて、このコントロールユニットは、ここに説明する方法のステップをそれぞれ行うよう構成されている。
コンピュータプログラムであって、そのプログラムがコンピュータにより実行されると、そのコンピュータに、ここに説明する方法のいずれが1つの方法を実行させる命令を含むコンピュータプログラムが提供される。
コントロールユニットは、マイクロプロセッサ、マイクロコントロールユニット、プログラマブルデジタル信号プロセッサ、又は別のプログラマブルデバイスを含む。コントロールユニットはまた、又はその代わりに、特定用途向け集積回路、プログラマブルゲートアレイ若しくはプログラマブルアレイロジック、プログラマブルロジックデバイス、又はデジタル信号プロセッサを含む。コントロールユニットは、プログラマブルデバイス、例えば、上述するマイクロプロセッサ、マイクロコントロールユニット、又はプログラマブルデジタル信号プロセッサを含み、このプロセッサは、このプログラマブルデバイスの動作を制御するコンピュータにより実行可能なコードをさらに含んでよい。
本開示の制御機能は、既存のコンピュータプロセッサを使用して、若しくは、適切なシステムのための、この目的又は別の目的のために取り込まれた専用コンピュータプロセッサにより、又はハードワイヤシステムにより、実装されてよい。本開示の範囲内の実施形態は、マシンによる実行が可能な命令、又は、そこに保存されたデータ構造を持つための、又はこれらを有するためのマシン可読媒体を含むプログラム製品を含む。そのようなマシン可読媒体は、汎用若しくは専用コンピュータ又はプロセッサを持つ他のマシンによりアクセスできるいずれの利用可能な媒体であり得る。例示を目的として、そのようなマシン可読媒体は、RAM、ROM、EPROM、EEPROM、CD-ROM、若しくは、他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、又は、マシンによる実行が可能な命令若しくはデータ構造の形態の所望するプログラムコードを保持若しくは保存するために使用できて、汎用若しくは専用コンピュータ又はプロセッサを持つ他のマシンによりアクセスできるいずれの他の媒体を含み得る。情報がネットワーク又は別の通信接続(ハードワイヤ、ワイヤレス、又は、ハードワイヤ若しくはワイヤレスの組み合わせのいずれ)を介してマシンに転送又は提供されると、そのマシンはその接続を、マシン可読媒体として正しく見る。したがって、いずれのそのような接続は、マシン可読媒体と正しく呼ばれる。上記の組み合わせもまた、マシン可読媒体の範囲に含まれる。マシンによる実行が可能な命令は、例えば、汎用コンピュータ、専用コンピュータ、又は専用処理マシンに特定の機能若しくは機能のグループを行わせる命令及びデータを含む。
図面はシーケンスを示す場合があるが、ステップの順序は、描かれているものとは異なってよい。また、2つ又はそれ以上のステップが同時に行われてよいし、又は、部分的に同時であってよい。そのようなバリエーションは、選択されているソフトウェア及びハードウェアシステム、並びに、設計者の選択に依存することとなる。そのようなバリエーションはすべて、本開示の範囲内にある。同様に、ソフトウェアの実装は、種々の接続ステップ、処理ステップ、比較ステップ、及び決定ステップを達成するためのルールベースのロジック及び他のロジックを伴う標準的なプログラミング技術を用いて達成され得る。追加的に、本発明は、その具体的に例示する実施形態を参照して説明したが、多くの異なる変更や改変などが、当業者に明白となるであろう。
さらに、開示する実施形態に対するバリエーションが、特許権を主張する本発明の実施において、本図面、本開示、及び添付の本特許請求の範囲の検討により、当業者である名宛人により理解され、達成され得る。さらに、特許請求の範囲では、「含む(comprising)」という用語は、他の要素又はステップを排除しない。不定冠詞「a」又は「an」は、複数を排除しない。

Claims (15)

  1. 画像取得デバイス(200)を用いて撮影されたビデオストリームであって、前記ビデオストリームにおける撮影されたシーン(1)の少なくとも1つのエリアのプライバシマスキングのためのエッジフィルタを使用してフィルタされたビデオストリームのビットレートを制御するための方法であって、
    前記ビデオストリームの現在のビットレート値を判定すること(S102)と、
    前記現在のビットレート値が閾値を超える、又は、これに等しいことを検出すること(S103)に応えて、前記エッジフィルタの少なくとも1つのパラメータを調整して(S104)、前記ビデオストリームの前記少なくとも1つのエリアにおけるエッジの量をさらに減らして、これにより、前記ビットレートを制御することと、
    を含む、方法。
  2. 前記現在のビットレート値は、現在のビットレート又は現在のビットレートの増加率である、請求項1に記載の方法。
  3. 前記エッジフィルタの前記少なくとも1つのパラメータを、前記現在のビットレート値が前記閾値未満となるまで調整することを含む、請求項1又は2に記載の方法。
  4. 前記エッジフィルタの前記少なくとも1つのパラメータは、前記ビデオストリームにおける前記撮影されたシーンの所定のエリアに対して調整される、請求項1から3のいずれか一項に記載の方法。
  5. 前記撮影されたシーンのエリアにおける物体(S106aからd)を検出すること(S402)と、
    前記撮影されたシーンにおける前記物体のサイズを検出すること(S404)と、
    を含み、
    前記調整すること(S104)は、前記エッジフィルタの前記少なくとも1つのパラメータを、前記撮影されたシーンの前記エリアにおいて異なって、前記エリアのそれぞれにおける検出された前記物体の前記サイズに応じて調整することを含む、
    請求項1から4のいずれか一項に記載の方法。
  6. 前記エッジフィルタの前記少なくとも1つのパラメータは、サイズ閾値を超える、又は、これに等しい検出されたサイズを有する物体(106a)のある前記撮影されたシーンのエリアに対する前記エッジの量を、前記サイズ閾値未満の検出されたサイズを有する物体(106b)のあるエリアにおけるそれと比較して、さらに減らすよう調整される、請求項5に記載の方法。
  7. 前記調整することは、前記エッジフィルタの前記パラメータを、前記撮影されたシーンのエリア(500)を全体的に静的にマスクするために調整することを含む、請求項1から6のいずれか一項に記載の方法。
  8. 前記撮影されたシーンにおける人の数を検出すること(S602)を含み、前記人の数が閾値を超えることを検出することに応えて、前記調整すること(S104)は、前記エッジフィルタの前記少なくとも1つのパラメータを調整することを含む、請求項1から7のいずれか一項に記載の方法。
  9. 画像のぼかしを、前記撮影されたシーンの選択されたエリアに適用して、前記ビットレートをさらに制御することを含む、請求項1から8のいずれか一項に記載の方法。
  10. ソリッドカラーのマスキングを、前記撮影されたシーンの選択されたエリアに適用して、前記ビットレートをさらに制御することを含む、請求項1から9のいずれか一項に記載の方法。
  11. 移動物体を検出することと、
    前記エッジフィルタの前記少なくとも1つのパラメータを、前記撮影されたシーンにおける前記移動物体の現在のサイズに応じて調整することと、
    を含む、請求項1から10のいずれか一項に記載の方法。
  12. 請求項1から11のいずれか一項に記載の方法であって、前記閾値は第1の閾値であり、前記現在のビットレート値が、前記第1の閾値より低い第2の閾値未満であることを検出すること(S803)に応えて、前記エッジフィルタの少なくとも1つのパラメータを調整して(S804)、前記ビデオストリームの前記少なくとも1つのエリアにおける前記エッジの量を増やして、これにより、前記ビットレートを制御することをさらに含む、方法。
  13. 画像取得デバイス(200)を用いて撮影されたビデオストリームであって、前記ビデオストリームにおける撮影されたシーンの少なくとも1つのエリアのプライバシマスキングのためのエッジフィルタを使用してフィルタされたビデオストリームのビットレートを制御するためのコントロールユニット(212)であって、請求項1から12のいずれか一項に記載の方法のステップを行うよう構成されているコントロールユニット(212)。
  14. ビデオストリームを撮影するよう構成されている画像取得デバイス(200)と、
    請求項13に記載のコントロールユニット(212)と、
    を含む、システム(10)。
  15. 非一時的コンピュータ可読記憶媒体であって、コンピュータプログラムをそこに保存しており、前記プログラムは、前記プログラムがコンピュータにより実行されると、前記コンピュータに、請求項1から12のいずれか一項に記載の方法を実行させる命令を含む、非一時的コンピュータ可読記憶媒体。
JP2022188249A 2021-12-03 2022-11-25 画像取得デバイスを用いて撮影されたビデオストリームのビットレートを制御するための方法 Pending JP2023083234A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21212337.6A EP4192006A1 (en) 2021-12-03 2021-12-03 A method for controlling a bitrate of a video stream captured with an image acquisition device
EP21212337 2021-12-03

Publications (1)

Publication Number Publication Date
JP2023083234A true JP2023083234A (ja) 2023-06-15

Family

ID=78822544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022188249A Pending JP2023083234A (ja) 2021-12-03 2022-11-25 画像取得デバイスを用いて撮影されたビデオストリームのビットレートを制御するための方法

Country Status (5)

Country Link
US (1) US20230177661A1 (ja)
EP (1) EP4192006A1 (ja)
JP (1) JP2023083234A (ja)
KR (1) KR20230084023A (ja)
CN (1) CN116233482A (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620261B2 (en) * 2004-11-23 2009-11-17 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
US7903733B2 (en) * 2006-01-26 2011-03-08 Qualcomm Incorporated Adaptive filtering to enhance video encoder performance
JP4609457B2 (ja) * 2007-06-14 2011-01-12 ソニー株式会社 画像処理装置、及び、画像処理方法
US10230950B2 (en) * 2013-05-30 2019-03-12 Intel Corporation Bit-rate control for video coding using object-of-interest data
KR102260805B1 (ko) * 2014-08-06 2021-06-07 삼성전자주식회사 이미지 검색 장치 및 그 방법
EP3340623B1 (en) * 2016-12-20 2023-04-12 Axis AB Method of encoding an image including a privacy mask
US10277901B2 (en) * 2017-05-08 2019-04-30 Axis Ab Encoding a video stream having a privacy mask

Also Published As

Publication number Publication date
EP4192006A1 (en) 2023-06-07
CN116233482A (zh) 2023-06-06
US20230177661A1 (en) 2023-06-08
KR20230084023A (ko) 2023-06-12

Similar Documents

Publication Publication Date Title
US20210185355A1 (en) Encoding a privacy masked image
US10893283B2 (en) Real-time adaptive video denoiser with moving object detection
US10277901B2 (en) Encoding a video stream having a privacy mask
US7889248B2 (en) Imaging apparatus and method of processing image
JP6463397B2 (ja) ビデオストリームをエンコードするための方法及びシステム
US8934711B2 (en) Apparatus and method of processing image
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
KR20070040026A (ko) 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
US11825241B2 (en) Camera and a method therein for facilitating installation of the camera
US10110929B2 (en) Method of pre-processing digital images, and digital image preprocessing system
JP2018201189A5 (ja)
WO2017047494A1 (ja) 画像処理装置
US10142664B2 (en) Method and device for determining properties of a graphical overlay for a video stream
EP3379820B1 (en) Controller, video camera, and method for controlling a video camera
WO2011011449A1 (en) Block artifact reducer
US7167594B2 (en) Noise reduction method
JP2023083234A (ja) 画像取得デバイスを用いて撮影されたビデオストリームのビットレートを制御するための方法
US20090086024A1 (en) System and method for improving video compression efficiency
Lee et al. Improved spatiotemporal noise reduction for very low-light environments
KR102315524B1 (ko) 영상의 비트레이트 조절 방법 및 영상 획득 장치
CN117280708A (zh) 利用基于ai的对象识别的监控摄像机的快门值调节
Lasang et al. CFA-based motion blur removal using long/short exposure pairs
US11871116B2 (en) Image capturing apparatus, image capturing method, and storage medium for calculating image capturing condition which enables privacy of object to be protected
US20240296679A1 (en) Transmission of a collage of detected objects in a video
US20240046426A1 (en) Noise removal for surveillance camera image by means of ai-based object recognition