JP2016039606A - 画像伝送装置、画像伝送方法および画像伝送プログラム - Google Patents

画像伝送装置、画像伝送方法および画像伝送プログラム Download PDF

Info

Publication number
JP2016039606A
JP2016039606A JP2014163821A JP2014163821A JP2016039606A JP 2016039606 A JP2016039606 A JP 2016039606A JP 2014163821 A JP2014163821 A JP 2014163821A JP 2014163821 A JP2014163821 A JP 2014163821A JP 2016039606 A JP2016039606 A JP 2016039606A
Authority
JP
Japan
Prior art keywords
image
frame
region
image data
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014163821A
Other languages
English (en)
Other versions
JP6049024B2 (ja
Inventor
智昭 新田
Tomoaki Nitta
智昭 新田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ciao Inc
Original Assignee
Ciao Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2014163821A priority Critical patent/JP6049024B2/ja
Application filed by Ciao Inc filed Critical Ciao Inc
Priority to EA201790310A priority patent/EA038312B1/ru
Priority to KR1020177006511A priority patent/KR101860106B1/ko
Priority to PCT/JP2015/072532 priority patent/WO2016024547A1/ja
Priority to PCT/JP2015/072531 priority patent/WO2016024546A1/ja
Priority to CN201580051770.1A priority patent/CN107079175B/zh
Priority to EP15831554.9A priority patent/EP3182711B1/en
Publication of JP2016039606A publication Critical patent/JP2016039606A/ja
Application granted granted Critical
Publication of JP6049024B2 publication Critical patent/JP6049024B2/ja
Priority to US15/430,383 priority patent/US10171822B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】連続する静止画像を伝送して動画像を合成する際、ぶれや残像の発生を防止しつつ伝送量を抑える。
【解決手段】拠点サーバ３は、撮像装置２により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準フレームの画像データを集約サーバ４に伝送する基準画像伝送手段１１と、連続した複数フレームの画像から背景画像を得て、基準フレームの後の各フレームについて、順次、各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出する抽出領域算出手段１２と、各フレームの第３領域の画像データを順次抽出して集約サーバに伝送する抽出画像伝送手段１３とを含み、集約サーバ４は、拠点サーバ３から伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成する画像合成手段１４を含む。
【選択図】図２

Description

本発明は、撮像拠点において撮像された画像を伝送する画像伝送装置、画像伝送方法および画像伝送プログラムに関する。
撮像された動画像を遠隔地に伝送する際、伝送量を抑えるために動画像データの圧縮が行われる。この動画像データの圧縮技術としては、様々な種類のものがあるが、基本的な手法は、動画像の各フレームの前後で変化のある領域（差分発生領域）だけを伝送するというものである（非特許文献１参照。）。
松田勇治，"動画圧縮の技術"，［online］，ＴＤＫ株式会社，［平成２６年３月１２日検索］，インターネット＜ＵＲＬ：http://www.tdk.co.jp/techmag/knowledge/200804/index2.htm＞
ところで、連続した複数フレームの画像を取得し、これを遠隔地に伝送して合成することにより動画像を得ようとした場合、連続する複数フレームの画像の前後で変化のある領域を差分発生領域として抽出する際、変化の有無を閾値により判定すると、動画像にぶれが出たり、残像が現れたりする。これは光の揺らぎなどによって、実際には変化があっても変化なしと判定されたり、変化がなくても変化ありと判定されたりするからである。
そこで、本発明においては、連続した複数フレームの画像を伝送して動画像を得る際、ぶれや残像の発生を防止しつつ伝送量を抑えることが可能な画像伝送装置、画像伝送方法および画像伝送プログラムを提供することを目的とする。
本発明の画像伝送装置は、撮像拠点に設置され、撮像装置が接続される拠点サーバと、拠点サーバと電気通信回線により接続される集約サーバとを含み、撮像装置により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（以下、「基準フレーム」と称す。）の画像のデータ（以下、「基準画像データ」と称す。）を集約サーバに伝送する基準画像伝送手段と、撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（以下、「背景画像」と称す。）を得て、撮像装置により順次取得される連続した複数フレームの基準フレームの後の各フレームについて、順次、各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出する抽出領域算出手段と、各フレームの画像から各フレームの第３領域の画像データを順次抽出して集約サーバに伝送する抽出画像伝送手段とを含み、集約サーバは、拠点サーバから伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成する画像合成手段を含むことを特徴とする。
また、本発明の画像伝送方法は、撮像拠点に設置され、撮像装置が接続される拠点サーバと、拠点サーバと電気通信回線により接続される集約サーバとによる画像伝送方法であって、拠点サーバが、順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（基準フレーム）の画像のデータ（基準画像データ）を集約サーバに伝送すること、拠点サーバが、撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（背景画像）を得て、撮像装置により順次取得される連続した複数フレームの基準フレームの後の各フレームについて、順次、各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出すること、拠点サーバが、各フレームの画像から各フレームの第３領域の画像データを順次抽出して集約サーバに伝送すること、集約サーバが、拠点サーバから伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成することを含むことを特徴とする。
また、本発明の画像伝送プログラムは、撮像拠点に設置され、撮像装置が接続される第１コンピュータを拠点サーバとして、拠点サーバと電気通信回線により接続される第２コンピュータを集約サーバとしてそれぞれ機能させるための画像伝送プログラムであって、第１コンピュータを、撮像装置により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（基準フレーム）の画像のデータ（基準画像データ）を集約サーバに伝送する基準画像伝送手段と、撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（背景画像）を得て、撮像装置により順次取得される連続した複数フレームの基準フレームの後の各フレームについて、順次、各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出する抽出領域算出手段と、各フレームの画像から各フレームの第３領域の画像データを順次抽出して集約サーバに伝送する抽出画像伝送手段として機能させるためのプログラムと、第２コンピュータを、拠点サーバから伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成する画像合成手段として機能させるためのプログラムとを含むものである。
上記発明によれば、連続した複数フレームの画像の前後で変化のある領域をそれぞれ抽出して集約サーバに伝送して合成するのではなく、連続した複数フレームの各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域の画像データを抽出し、集約サーバに伝送して合成するので、連続した複数フレームの画像の前後で変化のある領域のそれぞれの光の揺らぎなどによる影響が少なくなり、動画像のぶれや残像の発生を防止することができる。
本発明によれば、連続した複数フレーム画像を伝送して動画像を合成する際、ぶれや残像の発生を防止しつつ伝送量を抑えることが可能となる。
本発明の実施の形態における画像伝送装置の概略構成図である。 図１の画像伝送装置のブロック図である。 撮像装置により順次取得される連続した複数フレームの画像の説明図である。 複数フレームの画像例を示す図である。 図４の（ａ）、（ｂ）、（ｃ）の各フレームの画像とそれぞれの背景画像との差分を取った画像例を示す図である。 （ａ）は図４の（ａ）のフレームの差分発生領域とこれを取り囲む第１領域を示す図、（ｂ）は図４（ｂ）のフレームの差分発生領域とこれらを取り囲む第２領域を示す図、（ｃ）は図４（ａ）のフレームの差分発生領域と図４（ｂ）のフレームの差分発生領域との両方を取り囲む第３領域を示す図である。 図４（ｂ）のフレームに図６（ｃ）に示す第３領域を示した説明図である。 図４（ａ）のフレームに図６（ｃ）に示す第３領域を示した説明図である。
図１において、本発明の実施の形態における画像伝送装置１は、撮像拠点に設置され、撮像装置２が接続される拠点サーバ３と、拠点サーバ３と電気通信回線Ｎにより接続される集約サーバ４とから構成される。撮像装置２は、所定の時間間隔（例えば、１／１２０秒〜１秒間隔）で静止画像を撮像することにより、連続した複数フレームの画像を取得する装置である。拠点サーバ３は、撮像拠点ごとにそれぞれ設置される。また、各拠点サーバ３には、１または複数の撮像装置２が接続される。
図２に示すように、拠点サーバ３は、撮像装置２により順次取得される連続した複数フレームの各フレームの画像を一時記憶する記憶手段１０と、所定のタイミングごとに基準となるフレーム（基準フレーム）の画像のデータ（基準画像データ）を集約サーバ４に伝送する基準画像伝送手段１１と、複数フレームの基準フレームの後の各フレームから抽出する領域（以下、「抽出領域」と称す。）を算出する抽出領域算出手段１２と、各フレームの画像から各フレームの抽出領域の画像データを順次抽出して集約サーバ４に伝送する抽出画像伝送手段１３とを有する。
拠点サーバ３は、汎用サーバ、パーソナルコンピュータ、マイクロコンピュータ、ＰＤＡ（個人情報端末）、ポケットコンピュータ、スマートフォン、フィーチャーフォン（携帯電話機）や携帯型ゲーム機等の様々なコンピュータ上で、このコンピュータを上記各手段１０〜１３として機能させるためのプログラムを実行することにより実現される。
基準画像伝送手段１１は、図３に示すように、撮像装置２により順次取得される連続した複数フレームの画像２０ａ，２０ｂ，・・・，２０ｃ，２０ｄ，２０ｅ，２０ｆ，２０ｇ，２０ｈ，２０ｉ，２０ｊ，２０ｋ，・・・から所定のタイミングごとに基準となるフレーム（基準フレーム）の画像２０ａ，２０ｄ，２０ｊのデータ（基準画像データ）を集約サーバ４に伝送する。基準フレームは、予め設定された時間（例えば、３０秒間隔や１分間隔など）や、予め設定されたフレーム数等のタイミングごとに決定される。
抽出領域算出手段１２は、撮像装置２により順次取得される連続した複数フレームの画像から背景とする画像（背景画像）を得て、撮像装置２により順次取得される連続した複数フレームの基準フレームの後の各フレームについて、順次、各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出する。第３領域が、抽出画像伝送手段１３により抽出する領域（抽出領域）である。
ここで、背景画像は、各フレームの直前の複数フレームの画像を平均化したものを用いる。例えば、フレーム２０ｄについて背景画像との差が発生している領域を算出する場合、抽出領域算出手段１２は、このフレーム２０ｄの直前の１００フレームの画像を平均したものを背景画像とする。そして、この背景画像とフレーム２０ｄとの差分を取る。図４（ａ）〜（ｃ）は各フレーム２０ｄ，２０ｅ，２０ｆの画像の例を、図５（ａ）〜（ｃ）は図４（ａ）〜（ｃ）の各フレーム２０ｄ，２０ｅ，２０ｆの画像とそれぞれの背景画像との差分を取った画像の例を、それぞれ示している。
抽出領域算出手段１２は、このような差分処理を基準フレーム２０ｄの後の各フレーム２０ｅ〜２０ｉについて順次行い、各フレーム２０ｅ〜２０ｉの画像と背景画像との間で差が発生している第１領域と、各フレーム２０ｅ〜２０ｉの直前のフレーム２０ｄ〜２０ｈの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域（抽出領域）を算出する。図６（ａ）はフレーム２０ｄの差分発生領域３１とこれを取り囲む第１領域４１を示している。図６（ｂ）はフレーム２０ｅの差分発生領域３２ａ，３２ｂとこれらを取り囲む第２領域４２を示している。図６（ｃ）はフレーム２０ｄの差分発生領域３１とフレーム２０ｅの差分発生領域３２ａ，３２ｂとの両方を取り囲む第３領域（抽出領域）４３を示している。
なお、本実施形態において、抽出領域算出手段１２は、演算処理を簡単にするため、２本の水平線および２本の垂直線により構成される矩形により取り囲まれた領域を算出するが、本発明はこれに限られるものではない。要するに、差分が発生している画素領域を一纏めにして１つの領域により全て取り囲む領域を算出するものであれば良い。
また、抽出領域算出手段１２は、各フレームに対する第３領域（抽出領域）の位置および大きさを特定する第３領域情報（以下、「抽出領域情報」と称す。）を算出する。図６（ｃ）の例では、抽出領域算出手段１２は、抽出領域情報として、第３領域４３の左上角の位置の座標（Ｘ，Ｙ）と、第３領域４３の大きさ（幅Ｗおよび高さＨ）を算出する。
抽出画像伝送手段１３は、各フレームの画像から抽出領域算出手段１２により算出された各フレームの第３領域の画像データを順次抽出して集約サーバ４に伝送する。図４の例では、抽出画像伝送手段１３は、図７に示すようにフレーム２０ｅの画像から図６（ｃ）に示す第３領域４３の画像データを抽出して集約サーバ４に伝送する。また、抽出画像伝送手段１３は、この第３領域４３の画像データに加えて抽出領域情報（座標（Ｘ，Ｙ）、幅Ｗおよび高さＨ）を集約サーバ４に伝送する。
一方、集約サーバ４は、図２に示すように、拠点サーバ３から伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成する画像合成手段１４と、画像合成手段１４により合成された動画像を記憶する記憶手段１５と、電気通信回線Ｎを介して接続するコンピュータ５（図１参照。）に対して記憶手段１５に記憶した動画像を提供する動画像提供手段１６とを有する。集約サーバ４は、前述のような様々なコンピュータ上で、このコンピュータを上記各手段１４〜１６として機能させるためのプログラムを実行することにより実現される。
画像合成手段１４は、拠点サーバ３から伝送された基準画像データおよび各フレームの第３領域の画像データから動画像を合成し、合成された動画像を記憶手段１５に記憶する。本実施形態においては、画像合成手段１４は、各フレームの抽出領域情報に基づいて基準画像データの一部を、順次、各フレームの第３領域の画像データに置き換えることにより動画像を合成する。
図４の例では、画像合成手段１４は、図８に示す基準フレーム２０ｄの画像に対し、フレーム２０ｅの抽出領域情報に基づき、座標（Ｘ，Ｙ）から幅Ｗおよび高さＨの一部の画像データを、図７に示すフレーム２０ｅの第３領域４３の画像データに置き換え、基準フレーム２０ｄの次のフレームの画像データとする。そして、画像合成手段１４は、次のフレーム２０ｆについても、順次、直前のフレーム２０ｅの画像に対し、フレーム２０ｆの抽出領域情報に基づいてフレーム２０ｆの第３領域の画像データに置き換えていくことにより、動画像を合成する。
動画像提供手段１６は、電気通信回線Ｎを介して接続するコンピュータ５の要求に応じて記憶手段１５に記憶した動画像を提供する。動画像提供手段１６は、コンピュータ５から撮像拠点ごとに撮像装置２を指定して動画像が要求されると、要求された動画像を記憶手段１５から取得し、電気通信回線Ｎを介してコンピュータ５に提供する。
上記構成の画像伝送装置１では、各撮像拠点に設置された拠点サーバ３が、１または複数の撮像装置２により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準フレームの画像データを基準画像伝送手段１１により集約サーバ４に伝送し、この基準フレームの後の各フレームの画像については、順次、抽出領域算出手段１２により算出した各フレームの第３領域の画像データを抽出画像伝送手段１３により抽出して集約サーバ４に伝送する。
一方、集約サーバ４は、拠点サーバ３から伝送された基準画像データと、順次伝送された各フレームの第３領域の画像データとから動画像を合成し、記憶手段１５に記憶する。そして、集約サーバ４は、電気通信回線Ｎを介して接続するコンピュータ５の要求に応じて記憶手段１５に記憶した動画像を提供する。
このように、本実施形態における画像伝送装置１では、連続した複数フレームの画像の前後で変化のある領域をそれぞれ抽出して集約サーバ４に伝送して合成するのではなく、連続した複数フレームの各フレームの画像と背景画像との間で差が発生している第１領域と、各フレームの直前のフレームの画像と背景画像との間で差が発生している第２領域との両方を取り囲む第３領域（抽出領域）の画像データを抽出し、集約サーバ４に伝送して合成するので、連続した複数フレームの画像の前後で変化のある領域のそれぞれの光の揺らぎなどによる影響が少なくなり、動画像のぶれや残像の発生を防止しつつ伝送量を抑えることができる。
なお、本実施形態においては、基準フレームを、予め設定された時間やフレーム数等のタイミングで変えているが、他のタイミングで変える構成とすることも可能である。例えば、一定量以上の差分が発生したタイミング（例えば全体の８０％の画素が変化していたタイミング）で変えることも可能である。
また、本実施形態においては、背景画像として各フレームの直前の複数フレームの画像を平均化したものを用いているが、背景画像として基準フレームの画像を用いたり、基準フレームの直前の複数フレームの画像を平均化したものを用いたりすることも可能である。なお、背景画像として基準フレームの画像を用いると、あらゆる部分に差分が発生してしまうため、伝送量が増えてしまうが、本実施形態のように背景画像として各フレームの直前の複数フレームの画像を平均化したものを用いることで、差分の発生を抑制することができる。
本発明の画像伝送装置、画像伝送方法および画像伝送プログラムは、監視場所などの撮像拠点において撮像された画像を、ぶれや残像の発生を防止しつつ伝送量を抑えて伝送し、動画像を合成する装置、方法およびプログラムとして有用である。
１ 画像伝送装置
２ 撮像装置
３ 拠点サーバ
４ 集約サーバ
５ コンピュータ
１０，１５ 記憶手段
１１ 基準画像伝送手段
１２ 抽出領域算出手段
１３ 抽出画像伝送手段
１４ 画像合成手段
１６ 動画像提供手段

Claims (7)

  1. 撮像拠点に設置され、撮像装置が接続される拠点サーバと、
    前記拠点サーバと電気通信回線により接続される集約サーバと
    を含み、
    前記拠点サーバは、
    前記撮像装置により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（以下、「基準フレーム」と称す。）の画像のデータ（以下、「基準画像データ」と称す。）を前記集約サーバに伝送する基準画像伝送手段と、
    前記撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（以下、「背景画像」と称す。）を得て、前記撮像装置により順次取得される連続した複数フレームの前記基準フレームの後の各フレームについて、順次、前記各フレームの画像と前記背景画像との間で差が発生している第１領域と、前記各フレームの直前のフレームの画像と前記背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出する抽出領域算出手段と、
    前記各フレームの画像から前記各フレームの第３領域の画像データを順次抽出して前記集約サーバに伝送する抽出画像伝送手段と
    を含み、
    前記集約サーバは、
    前記拠点サーバから伝送された前記基準画像データおよび前記各フレームの第３領域の画像データから動画像を合成する画像合成手段
    を含む
    画像伝送装置。
  2. 前記背景画像は、前記各フレームの直前の複数フレームの画像を平均化したものである請求項１記載の画像伝送装置。
  3. 前記背景画像は、前記基準フレームの画像である請求項１記載の画像伝送装置。
  4. 前記背景画像は、前記基準フレームの直前の複数フレームの画像を平均化したものである請求項１記載の画像伝送装置。
  5. 前記抽出領域算出手段は、前記各フレームの第３領域の位置および大きさを特定する情報（以下、「第３領域情報」と称す。）を算出するものであり、
    前記抽出画像伝送手段は、前記各フレームの第３領域の画像データに加えて前記各フレームの第３領域情報を伝送するものであり、
    前記画像合成手段は、前記各フレームの第３領域情報に基づいて前記基準画像データの一部を、順次、前記各フレームの第３領域の画像データに置き換えることにより前記動画像を合成するものである
    請求項１から４のいずれか１項に記載の画像伝送装置。
  6. 撮像拠点に設置され、撮像装置が接続される拠点サーバと、
    前記拠点サーバと電気通信回線により接続される集約サーバと
    による画像伝送方法であって、
    前記拠点サーバが、前記撮像装置により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（以下、「基準フレーム」と称す。）の画像のデータ（以下、「基準画像データ」と称す。）を前記集約サーバに伝送すること、
    前記拠点サーバが、前記撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（以下、「背景画像」と称す。）を得て、前記撮像装置により順次取得される連続した複数フレームの前記基準フレームの後の各フレームについて、順次、前記各フレームの画像と前記背景画像との間で差が発生している第１領域と、前記各フレームの直前のフレームの画像と前記背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出すること、
    前記拠点サーバが、前記各フレームの画像から前記各フレームの第３領域の画像データを順次抽出して前記集約サーバに伝送すること、
    前記集約サーバが、前記拠点サーバから伝送された前記基準画像データおよび前記各フレームの第３領域の画像データから動画像を合成すること
    を含む画像伝送方法。
  7. 撮像拠点に設置され、撮像装置が接続される第１コンピュータを拠点サーバとして、前記拠点サーバと電気通信回線により接続される第２コンピュータを集約サーバとしてそれぞれ機能させるための画像伝送プログラムであって、
    前記第１コンピュータを、
    前記撮像装置により順次取得される連続した複数フレームの画像から所定のタイミングごとに基準となるフレーム（以下、「基準フレーム」と称す。）の画像のデータ（以下、「基準画像データ」と称す。）を前記集約サーバに伝送する基準画像伝送手段と、
    前記撮像装置により順次取得される連続した複数フレームの画像から背景とする画像（以下、「背景画像」と称す。）を得て、前記撮像装置により順次取得される連続した複数フレームの前記基準フレームの後の各フレームについて、順次、前記各フレームの画像と前記背景画像との間で差が発生している第１領域と、前記各フレームの直前のフレームの画像と前記背景画像との間で差が発生している第２領域との両方を取り囲む第３領域を算出する抽出領域算出手段と、
    前記各フレームの画像から前記各フレームの第３領域の画像データを順次抽出して前記集約サーバに伝送する抽出画像伝送手段と
    して機能させるためのプログラムと、
    前記第２コンピュータを、
    前記拠点サーバから伝送された前記基準画像データおよび前記各フレームの第３領域の画像データから動画像を合成する画像合成手段
    として機能させるためのプログラムと
    を含む画像伝送プログラム。
JP2014163821A 2014-08-11 2014-08-11 画像伝送装置、画像伝送方法および画像伝送プログラム Active JP6049024B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2014163821A JP6049024B2 (ja) 2014-08-11 2014-08-11 画像伝送装置、画像伝送方法および画像伝送プログラム
KR1020177006511A KR101860106B1 (ko) 2014-08-11 2015-08-07 화상 전송 장치, 화상 전송 방법 및 화상 전송 프로그램
PCT/JP2015/072532 WO2016024547A1 (ja) 2014-08-11 2015-08-07 ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
PCT/JP2015/072531 WO2016024546A1 (ja) 2014-08-11 2015-08-07 画像伝送装置、画像伝送方法および画像伝送プログラム
EA201790310A EA038312B1 (ru) 2014-08-11 2015-08-07 Устройство и способ предиктивного кодирования движущихся изображений
CN201580051770.1A CN107079175B (zh) 2014-08-11 2015-08-07 图像传送装置和图像传送方法
EP15831554.9A EP3182711B1 (en) 2014-08-11 2015-08-07 Image transmission device, image transmission method, and image transmission program
US15/430,383 US10171822B2 (en) 2014-08-11 2017-02-10 Image transmission device, image transmission method, and image transmission program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014163821A JP6049024B2 (ja) 2014-08-11 2014-08-11 画像伝送装置、画像伝送方法および画像伝送プログラム

Publications (2)

Publication Number Publication Date
JP2016039606A true JP2016039606A (ja) 2016-03-22
JP6049024B2 JP6049024B2 (ja) 2016-12-21

Family

ID=55304174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014163821A Active JP6049024B2 (ja) 2014-08-11 2014-08-11 画像伝送装置、画像伝送方法および画像伝送プログラム

Country Status (7)

Country Link
US (1) US10171822B2 (ja)
EP (1) EP3182711B1 (ja)
JP (1) JP6049024B2 (ja)
KR (1) KR101860106B1 (ja)
CN (1) CN107079175B (ja)
EA (1) EA038312B1 (ja)
WO (1) WO2016024546A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017804A (ja) * 2018-07-23 2020-01-30 株式会社チャオ 画像伝送装置、画像伝送方法および画像伝送プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6732826B2 (ja) 2018-03-19 2020-07-29 株式会社チャオ カメラシステム
JP7093908B2 (ja) 2018-05-22 2022-07-01 株式会社チャオ カメラシステム
KR20210086812A (ko) * 2019-12-30 2021-07-09 삼성전자주식회사 동영상 처리 방법 및 이를 지원하는 전자 장치
EP3910961A1 (en) * 2020-05-12 2021-11-17 Axis AB Video compression stream

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06133303A (ja) * 1992-10-21 1994-05-13 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化装置
JPH10240947A (ja) * 1996-12-26 1998-09-11 Mitsubishi Electric Corp 監視用画像処理装置
JPH10336670A (ja) * 1997-04-04 1998-12-18 Sony Corp 画像伝送装置および画像伝送方法、提供媒体
US20060039584A1 (en) * 2004-08-23 2006-02-23 Denso Corporation Motion detection method and device, program and vehicle surveillance system
KR20060100257A (ko) * 2005-03-16 2006-09-20 소니 가부시끼 가이샤 이동 물체 검출 장치 및 방법과 프로그램
JP2010062792A (ja) * 2008-09-03 2010-03-18 Weigang Xu 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム
JP2010288230A (ja) * 2009-06-15 2010-12-24 Tokai Paudekkusu:Kk 動画情報中継システム、及び動画情報中継プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53116025A (en) * 1977-03-18 1978-10-11 Matsushita Electric Ind Co Ltd Picture transmission system
WO1998029834A1 (en) * 1996-12-30 1998-07-09 Sharp Kabushiki Kaisha Sprite-based video coding system
WO1998044739A1 (en) * 1997-03-31 1998-10-08 Sharp Kabushiki Kaisha Mosaic generation and sprite-based image coding with automatic foreground and background separation
US6157675A (en) 1997-04-04 2000-12-05 Sony Corporation Image transmission device and image transmission method
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
JP2006013754A (ja) 2004-06-24 2006-01-12 Victor Co Of Japan Ltd 動画像符号化装置及び動画像復号化装置
AU2007330109A1 (en) * 2006-11-30 2008-06-12 Ntt Docomo, Inc. Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program
US20090217315A1 (en) * 2008-02-26 2009-08-27 Cognovision Solutions Inc. Method and system for audience measurement and targeting media
US9138942B2 (en) * 2009-11-14 2015-09-22 Expandable Structures, Llc Composite structure manufacturing method and apparatus
US9049447B2 (en) * 2010-12-30 2015-06-02 Pelco, Inc. Video coding
JP5333522B2 (ja) * 2011-06-06 2013-11-06 カシオ計算機株式会社 動画生成装置、動画生成方法、および、プログラム
US20130007004A1 (en) * 2011-06-30 2013-01-03 Landon Ip, Inc. Method and apparatus for creating a search index for a composite document and searching same
US20130019879A1 (en) * 2011-07-21 2013-01-24 Sun Spark Enterprise Co., Ltd. Mask with chin support
WO2013019517A1 (en) * 2011-08-02 2013-02-07 Ciinow, Inc. A method and mechanism for efficiently delivering visual data across a network
US8970666B2 (en) * 2011-09-16 2015-03-03 Disney Enterprises, Inc. Low scale production system and method
GB2504068B (en) * 2012-07-11 2015-03-11 Canon Kk Methods and devices for controlling spatial access granularity in compressed video streams
US9791184B2 (en) * 2014-07-07 2017-10-17 Santa Clara University Mobile thermoelectric vaccine cooler with a planar heat pipe
US9704201B2 (en) * 2014-07-30 2017-07-11 Conduent Business Services, Llc Method and system for detecting uninsured motor vehicles

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06133303A (ja) * 1992-10-21 1994-05-13 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化装置
JPH10240947A (ja) * 1996-12-26 1998-09-11 Mitsubishi Electric Corp 監視用画像処理装置
JPH10336670A (ja) * 1997-04-04 1998-12-18 Sony Corp 画像伝送装置および画像伝送方法、提供媒体
US20060039584A1 (en) * 2004-08-23 2006-02-23 Denso Corporation Motion detection method and device, program and vehicle surveillance system
JP2006059252A (ja) * 2004-08-23 2006-03-02 Denso Corp 動き検出方法及び装置，プログラム，車両用監視システム
DE102005029866A1 (de) * 2004-08-23 2006-03-02 Denso Corp., Kariya Bewegungsermittlungsverfahren und -vorrichtung, Programm und Fahrzeugüberwachungssystem
KR20060100257A (ko) * 2005-03-16 2006-09-20 소니 가부시끼 가이샤 이동 물체 검출 장치 및 방법과 프로그램
EP1703466A2 (en) * 2005-03-16 2006-09-20 Sony Corporation Moving object detection apparatus, method and program
JP2006260049A (ja) * 2005-03-16 2006-09-28 Sony Corp 移動物体検出装置及び方法並びにプログラム
CN1856098A (zh) * 2005-03-16 2006-11-01 索尼株式会社 移动目标检测设备、方法和程序
US20060244866A1 (en) * 2005-03-16 2006-11-02 Sony Corporation Moving object detection apparatus, method and program
JP2010062792A (ja) * 2008-09-03 2010-03-18 Weigang Xu 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム
JP2010288230A (ja) * 2009-06-15 2010-12-24 Tokai Paudekkusu:Kk 動画情報中継システム、及び動画情報中継プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020017804A (ja) * 2018-07-23 2020-01-30 株式会社チャオ 画像伝送装置、画像伝送方法および画像伝送プログラム

Also Published As

Publication number Publication date
EP3182711A1 (en) 2017-06-21
JP6049024B2 (ja) 2016-12-21
WO2016024546A1 (ja) 2016-02-18
CN107079175B (zh) 2019-11-22
CN107079175A (zh) 2017-08-18
EA038312B1 (ru) 2021-08-09
KR20170041251A (ko) 2017-04-14
US10171822B2 (en) 2019-01-01
EA201790310A1 (ru) 2017-07-31
US20170155915A1 (en) 2017-06-01
KR101860106B1 (ko) 2018-05-21
EP3182711A4 (en) 2018-03-07
EP3182711B1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
JP6049024B2 (ja) 画像伝送装置、画像伝送方法および画像伝送プログラム
US10693938B2 (en) Method and system for interactive transmission of panoramic video
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
CN107682714B (zh) 一种获取在线视频截图的方法及装置
CN109429037B (zh) 一种图像处理方法、装置、设备及系统
JP2019502275A (ja) 映像安定化
EP3065413B1 (en) Media streaming system and control method thereof
WO2019092161A1 (en) Obtaining image data of an object in a scene
KR101989842B1 (ko) 단말기 및 그것의 영상 처리 방법
US20150097976A1 (en) Image processing device and image processing method
JP5675902B2 (ja) 動画生成方法及び装置
JP6222703B2 (ja) ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
US9495727B2 (en) Video channel display method and apparatus
JP2014050018A (ja) 情報処理装置、ビデオ会議システム及びプログラム
CN106919376B (zh) 动态画面传输方法、伺服器装置及用户装置
US10887573B1 (en) System for processing 2D content for 3D viewing
KR102223339B1 (ko) 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템
KR102168110B1 (ko) 카메라 시스템
JP2020017804A (ja) 画像伝送装置、画像伝送方法および画像伝送プログラム
CN111918125B (zh) 一种视频播放方法、装置及系统
JP6251651B2 (ja) 電子透かし情報埋め込みシステム、電子透かし情報埋め込み方法及び電子透かし情報埋め込みプログラム
WO2016024547A1 (ja) ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
CN115299033B (zh) 拍摄装置和拍摄处理方法
JP2014207519A (ja) 画像処理装置、画像処理方法、プログラム、および電子機器
JP7370769B2 (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161116

R150 Certificate of patent or registration of utility model

Ref document number: 6049024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250