JP2019012869A - 画像送受信システム、サーバおよび撮像装置 - Google Patents

画像送受信システム、サーバおよび撮像装置 Download PDF

Info

Publication number
JP2019012869A
JP2019012869A JP2017126843A JP2017126843A JP2019012869A JP 2019012869 A JP2019012869 A JP 2019012869A JP 2017126843 A JP2017126843 A JP 2017126843A JP 2017126843 A JP2017126843 A JP 2017126843A JP 2019012869 A JP2019012869 A JP 2019012869A
Authority
JP
Japan
Prior art keywords
image
server
sampling matrix
compressed
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017126843A
Other languages
English (en)
Inventor
昭寿 一色
Akitoshi Isshiki
昭寿 一色
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2017126843A priority Critical patent/JP2019012869A/ja
Priority to US16/615,161 priority patent/US20200177879A1/en
Priority to PCT/JP2018/014996 priority patent/WO2019003562A1/ja
Publication of JP2019012869A publication Critical patent/JP2019012869A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6005—Decoder aspects
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H03M7/3062—Compressive sampling or sensing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6047—Power optimization with respect to the encoder, decoder, storage or transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】圧縮センシングによるサンプリング信号の復元処理の負荷を軽減させる。
【解決手段】画像送受信システムは、撮像装置とサーバとがネットワークを介して接続されている。撮像装置は、被写体からの光に対応する複数の画素からランダムに選択し、その選択した一部の画素について光電変換して、圧縮画像信号として時系列に送信する。サーバは、撮像装置からネットワークを介して圧縮画像信号を受信して、撮像装置における選択を規定するサンプリング行列に基づいて圧縮画像信号を復元する。
【選択図】図３

Description

本技術は、画像送受信システムに関する。詳しくは、圧縮センシングを利用した画像の送受信を行うための画像送受信システム、そのサーバおよび撮像装置に関する。
従来、圧縮センシング（ＣＳ：Compressive Sensing）を利用したイメージセンサが知られている。この圧縮センシングは、観測信号からランダムに少数のデータをサンプリングし、そのサンプリング信号とランダムなサンプリング行列とから、元の観測信号を復元する技術である。ここで、サンプリング行列は、何れの画素をサンプリングしたかを示すサンプリングパターン情報を有する。観測信号がスパース性を持つ信号であれば、特性として零要素が多く、冗長な次元数となるため、少ないサンプル数であっても復元することが可能である。この圧縮センシングを利用した技術としては、例えば、各色がランダムに配列されたカラーフィルタを前面に有するイメージセンサから出力された画像信号を処理する画像処理装置が提案されている（例えば、特許文献１参照。）。
特開２０１６−０３４０５５号公報
上述の従来技術では、圧縮センシングを利用することにより、少数のサンプリングデータから元の観測信号を復元することができる。しかしながら、このような圧縮センシングの復元処理を各ユーザの端末において行うものとすると、端末毎に復元処理のためのプログラムを用意する必要があり、また、その復元処理に伴う負荷が重くなるという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、圧縮センシングによるサンプリング信号の復元処理の負荷を軽減させることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、被写体からの光に対応する複数の画素からランダムに選択した一部の画素について光電変換して圧縮画像信号として時系列に送信する撮像装置と、ネットワークを介して上記圧縮画像信号を受信して、上記選択を規定するサンプリング行列に基づいて上記圧縮画像信号を復元するサーバとを具備する画像送受信システムである。これにより、圧縮センシングによる圧縮画像信号を、サーバにおいて元の画像に復元するという作用をもたらす。
また、この第１の側面において、上記サーバは、上記サンプリング行列を記憶するサンプリング行列メモリを備えてもよい。これにより、サンプリング行列メモリに記憶されたサンプリング行列に基づいて画像の復元を行うという作用をもたらす。
また、この第１の側面において、上記サーバは、上記復元に先立って上記ネットワークを介して上記撮像装置から上記サンプリング行列を受信して上記サンプリング行列メモリに記憶するようにしてもよい。これにより、ネットワークを介して受信したサンプリング行列に基づいて画像の復元を行うという作用をもたらす。
また、この第１の側面において、上記撮像装置は、上記圧縮画像信号について時間の経過に従って輝度が変化した領域を検出して、上記圧縮画像信号の上記変化が検出された領域を領域信号として上記サーバに送信するようにしてもよい。これにより、輝度変化が検出された領域の圧縮画像信号をサーバに復元させるという作用をもたらす。
また、この第１の側面において、上記サーバは、上記領域信号の画像の背景となる基準画像を記憶する基準画像メモリと、上記撮像装置から送信された上記領域信号の画像と上記基準画像とを結合して結合画像を生成する画像結合部と、上記結合画像においてイベントの発生を検知するイベント検知処理部と、上記イベントの検知結果に応じて上記結合画像の上記復元後の画像を記憶する復元画像メモリとを備えてもよい。これにより、イベントの検知結果に応じて復元後の画像を保存するという作用をもたらす。この場合、上記イベント検知処理部は、上記結合画像の上記復元後の画像を参照して上記イベントの発生を検知してもよく、また、上記結合画像の上記復元前の画像を参照して上記イベントの発生を検知してもよい。
また、この第１の側面において、上記サーバは、所定の識別子に関連付けて上記サンプリング行列を上記サンプリング行列メモリに記憶し、上記ネットワークを介して端末から上記識別子とともに画像要求を受信すると、上記受信した識別子に関連付けて上記サンプリング行列メモリに記憶される上記サンプリング行列に基づいて上記圧縮画像信号を復元して上記端末に送信するようにしてもよい。これにより、画像要求とともに受信した識別子に関連付けられたサンプリング行列に基づいて画像の復元を行うという作用をもたらす。この場合、上記サーバは、上記復元が成功した場合にのみ上記端末への送信を行うことができる。
また、本技術の第２の側面は、被写体からの光に対応する複数の画素から所定のサンプリング行列に従って選択された一部の画素について光電変換された圧縮画像信号をネットワークを介して受信する受信部と、上記サンプリング行列に基づいて上記圧縮画像信号を復元する復元部とを具備するサーバである。これにより、ネットワークを介して受信した圧縮画像信号を復元するという作用をもたらす。
また、本技術の第３の側面は、被写体からの光に対応する複数の画素からランダムに選択した一部の画素について光電変換して圧縮画像信号として時系列に出力する撮像部と、上記圧縮画像信号について時間の経過に従って輝度が変化した領域を検出する変化検出部と、上記圧縮画像信号の上記変化が検出された領域をサーバに送信する送信部とを備える撮像装置である。これにより、輝度変化が検出された領域の圧縮画像信号の復元をサーバに依頼するという作用をもたらす。
本技術によれば、圧縮センシングによるサンプリング信号の復元処理の負荷を軽減させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における画像送受信システムの全体構成例を示す図である。 本技術の第１の実施の形態における撮像装置１００の機能構成の一例を示す図である。 本技術の第１の実施の形態におけるサーバ２００の機能構成の一例を示す図である。 本技術の実施の形態における圧縮センシングの態様例を示す図である。 本技術の実施の形態における基準画像と変化領域画像との関係例を示す図である。 本技術の実施の形態における撮像装置１００の処理手順例を示す流れ図である。 本技術の実施の形態におけるサーバ２００の基準画像更新処理の処理手順例を示す流れ図である。 本技術の第１の実施の形態におけるサーバ２００の画像保存処理の処理手順例を示す流れ図である。 本技術の第１の実施の形態の変形例におけるサーバ２００の機能構成の一例を示す図である。 本技術の第１の実施の形態の変形例におけるサーバ２００の画像保存処理の処理手順例を示す流れ図である。 本技術の第２の実施の形態における画像送受信システムの全体構成例を示す図である。 本技術の第２の実施の形態におけるサーバ２００の機能構成の一例を示す図である。 本技術の第２の実施の形態におけるサーバ２００の画像結合処理の処理手順例を示す流れ図である。 本技術の第２の実施の形態におけるサーバ２００の画像要求処理の処理手順例を示す流れ図である。 本技術の第３の実施の形態におけるサーバ２００の機能構成の一例を示す図である。 本技術の第３の実施の形態におけるサーバ２００の画像受信時の処理手順例を示す流れ図である。 本開示に係る技術が適用され得るＩｏＴシステム９０００の概略的な構成の一例を示す図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（輝度が変化した画像領域をサーバに送信する例）
２．第２の実施の形態（識別子に関連付けられたサンプリング行列を用いてサーバが復元する例）
３．第３の実施の形態（結合前にサーバが各画像を復元する例）
４．応用例
＜１．第１の実施の形態＞
［画像送受信システム］
図１は、本技術の第１の実施の形態における画像送受信システムの全体構成例を示す図である。この画像送受信システムは、撮像装置１００と、サーバ２００と、端末３００と、ネットワーク４００とを備える。撮像装置１００、サーバ２００および端末３００は、ネットワーク４００を介して相互に接続されている。
撮像装置１００は、被写体を撮像するカメラである。この撮像装置１００は、圧縮センシングによりランダムに選択した画素を光電変換して圧縮画像信号として生成する。この圧縮画像信号は、時系列に並ぶフレームを構成する。すなわち、この撮像装置１００は、圧縮センシングにより圧縮された動画データを出力する。この動画データは、ネットワーク４００を介してサーバ２００に送信される。
サーバ２００は、撮像装置１００からネットワーク４００を介して受信した動画データについて、その圧縮画像信号を復元するものである。このサーバ２００は、復元前の圧縮画像信号または復元後の画像信号を保存し、端末３００からの要求に応じて復元後の画像信号を送信する。また、このサーバ２００は、端末３００に対してネットワーク４００を介したサービスを提供するために、コンソールに対するインターフェースや、アプリケーション間のインターフェース（ＡＰＩ：Application Programming Interface）などを有する。
端末３００は、ユーザが使用する端末である。ユーザは、この端末３００からネットワーク４００を介してサーバ２００に画像信号の送信を要求する。これにより、ユーザは、サーバ２００において復元された画像信号を受信することができる。
図２は、本技術の第１の実施の形態における撮像装置１００の機能構成の一例を示す図である。この第１の実施の形態では、撮像装置１００として、例えば、定点観測用途を想定し、変化が発生した領域の画像をサーバ２００に送信するものとする。この撮像装置１００は、撮像部１１０と、変化検出部１３０と、送信部１４０と、フレームメモリ１７０と、タイマ１８０とを備える。
撮像部１１０は、被写体からの光に対応する複数の画素からランダムに選択した一部の画素について光電変換して圧縮画像信号として生成するイメージセンサである。この撮像部１１０は、圧縮センシングの機能を有する。すなわち、被写体からの光に対応する複数の画素を想定して、その全ての画素ではなく、ランダムに選択した一部の画素についてのみ光電変換を行う。この場合の選択において、何れの画素をサンプリングしたかを示すサンプリングパターン情報をサンプリング行列とする。このサンプリング行列は、サーバ２００における復元に用いられる。そのため、このサンプリング行列は、復元に先立って予めサーバ２００に保存されるか、または、任意のタイミングで撮像装置１００からネットワーク４００を介してサーバ２００に送信される必要がある。
フレームメモリ１７０は、撮像部１１０によって生成された圧縮画像信号を、時系列に並ぶフレームとして記憶するメモリである。このフレームメモリ１７０に記憶されるフレームは、圧縮センシングにより圧縮された画像信号であり、被写体からの光に対応する全ての画素ではない。したがって、記憶されるフレームは、全体の画像信号よりも容量を小さく抑えることができる。
変化検出部１３０は、フレームメモリ１７０に記憶されたフレームと撮像部１１０によって生成された圧縮画像信号とを比較して、時間の経過に従って輝度が変化した領域を検出するものである。この変化検出部１３０は、変化を検出すると、その変化が検出された領域に関する情報を送信部１４０に供給する。
送信部１４０は、撮像部１１０によって生成された圧縮画像信号を、ネットワーク４００を介してサーバ２００に送信するものである。この送信部１４０は、一定の時間が経過する度に、撮像部１１０によって生成された圧縮画像信号の全体を基準画像としてサーバ２００に送信する。その際の一定時間の経過を計時するためにタイマ１８０が用いられる。また、この送信部１４０は、変化検出部１３０によって変化が検出されると、その変化が検出された領域の圧縮画像信号およびその座標をサーバ２００に送信する。これにより、サーバ２００は、その領域の圧縮画像信号を基準画像に埋め込んで、基準画像を更新する。すなわち、この基準画像は、変化が検出された領域の圧縮画像信号の画像の背景となる。
タイマ１８０は、送信部１４０が圧縮画像信号を送信するための一定時間の経過を計時するためのタイマである。
図３は、本技術の第１の実施の形態におけるサーバ２００の機能構成の一例を示す図である。このサーバ２００は、受信部２０１と、基準画像更新部２１０と、基準画像メモリ２２０と、画像結合部２３０と、結合画像メモリ２４０と、サンプリング行列メモリ２６０と、圧縮センシング復元部２７０と、イベント検知部２８０とを備える。また、このサーバ２００は、画像要求処理部２５０と、復元画像メモリ２９０と、送信部２０２とを備える。
受信部２０１は、撮像装置１００から送信された圧縮画像信号を受信するものである。送信部２０２は、復元された画像信号を端末３００に送信するものである。
基準画像メモリ２２０は、撮像装置１００から送信された圧縮画像信号の全体を基準画像として記憶するメモリである。
基準画像更新部２１０は、受信部２０１によって受信された圧縮画像信号が画像全体である場合に、その圧縮画像信号を新たな基準画像として基準画像メモリ２２０を更新するものである。
画像結合部２３０は、受信部２０１によって受信された圧縮画像信号が基準画像メモリ２２０に記憶される基準画像の一部の領域に該当する場合に、基準画像メモリ２２０に記憶される基準画像と結合して、画像全体を表す結合画像として生成するものである。
結合画像メモリ２４０は、画像結合部２３０によって結合された結合画像を記憶するメモリである。
サンプリング行列メモリ２６０は、圧縮センシングの復元に用いられるサンプリング行列を記憶するメモリである。サンプリング行列は、復元までに用意されていればよく、予めサンプリング行列メモリ２６０に記憶されてもよく、また、任意のタイミングで撮像装置１００からサーバ２００に送信されたものが記憶されてもよい。
圧縮センシング復元部２７０は、圧縮センシングされて結合画像メモリ２４０に記憶された結合画像を、サンプリング行列メモリ２６０に記憶されたサンプリング行列を用いて、元の画像信号に復元するものである。なお、圧縮センシング復元部２７０は、特許請求の範囲に記載の復元部の一例である。
イベント検知部２８０は、圧縮センシング復元部２７０によって復元された画像信号において、イベントの発生を検知するイベント検知処理を行うものである。ここで、イベント検知処理とは、例えば、画像信号を監視して人物や自動車などの物体を検知する処理である。このイベント検知処理では、例えば、特徴量に基づいた画像解析技術が用いられる。このイベント検知処理の結果、イベントの発生が検知されると、圧縮センシング復元部２７０によって復元された画像信号が復元画像メモリ２９０に記憶される。
復元画像メモリ２９０は、圧縮センシング復元部２７０によって復元された画像信号を復元画像として記憶するメモリである。この復元画像メモリ２９０は、イベント検知部２８０によってイベントの発生が検知されると、圧縮センシング復元部２７０によって復元された画像信号を記憶する。したがって、イベント検知処理の結果に基づいて必要な場合にのみ復元画像が保存されるため、余計な画像信号を保存することがなく、復元画像メモリ２９０の記憶容量を節減することができる。
画像要求処理部２５０は、端末３００から画像信号の要求があった場合に、その画像要求を処理するものである。受信部２０１が端末３００から画像要求を受信すると、画像要求処理部２５０は復元画像メモリ２９０に記憶された復元画像を、送信部２０２から端末３００に送信させる。これにより、端末３００は、要求した復元済の画像をサーバ２００から受信することができる。
［圧縮センシング］
図４は、本技術の実施の形態における圧縮センシングの態様例を示す図である。ここでは、一例として、被写体からの光に対応する複数の画素を、例えば、それぞれが縦３２画素×横３２画素からなる複数の非圧縮画像ブロック６０１に分割することを想定する。そして、それぞれの非圧縮画像ブロック６０１において、圧縮センシングにより圧縮する。例えば、縦３２画素×横３２画素の中から縦８画素×横８画素をランダムに選択したものが、圧縮画像ブロック６０２となる。この例においては、圧縮率は１６倍となる。
また、サンプリング行列６０３は、何れの画素をサンプリングしたかを示すサンプリングパターン情報を有する。このサンプリング行列６０３は、例えば、圧縮画像ブロック６０２の各画素に対応して、元の非圧縮画像ブロック６０１における座標位置を保持する。このサンプリング行列６０３を参照することにより、圧縮画像ブロック６０２の各画素の値が元の非圧縮画像ブロック６０１における何れの画素の値であるのかを再現することができる。
ここで、被写体からの光に対応する画像信号をベクトルｘ、圧縮センシングによる圧縮画像信号をベクトルｙ、サンプリング行列をＡとすると、これらの関係は次式のようになる。
ｙ＝Ａｘ
上式を連立方程式として解くことにより、圧縮画像信号ｙおよびサンプリング行列Ａから元の画像信号ｘを求めることができる。
なお、圧縮画像信号ｙの画素数（上述の例では８×８）は、画像信号ｘの画素数（上述の例では３２×３２）よりも低次元となるため、一般に解を一意に定めることはできない。ただし、ここでは、画像信号ｘがｋ−スパースであって、非零要素の個数がｋ個とされることを利用する。つまり、自然画像の特性として、零要素が多いことが知られており、例えば、圧縮画像信号ｙの次元よりも、画像信号ｘの非零要素の数が小さいときに、ランダム性を有するサンプリング行列Ａを用いてＬ１復元法（Ｌ１再構成法）を適用することにより、ある確率で画像信号ｘが復元されることになる。すなわち、自然画像は空間周波数方向に対して冗長であるため、サンプリング量を間引いたとしても復元することが可能である。このような復元のために、例えば、多層構造のディープニューラルネット（Deep Neural Network：ＤＮＮ）を用いることが想定される。
図５は、本技術の実施の形態における基準画像と変化領域画像との関係例を示す図である。
撮像装置１００において撮像された撮像画像６１１は、一定の時間が経過する度に、サーバ２００に送信される。サーバ２００は、受信した撮像画像６１１を、基準画像６２１として基準画像メモリ２２０に記憶する。
その後、撮像装置１００において撮像画像６１１の輝度の変化が検知されると、その変化した領域の変化領域画像６１２がその座標とともにサーバ２００に送信される。サーバ２００は、それらを受信すると、変化領域画像６２２を基準画像６２１に埋め込んで結合画像６２３を生成する。
イベント検知処理の結果に応じて、結合画像６２３は、圧縮センシング復元部２７０によって復元画像６２４に復元される。復元画像６２４は、端末３００からの画像要求に応答してその端末３００に送信される。
［動作］
図６は、本技術の実施の形態における撮像装置１００の処理手順例を示す流れ図である。
撮像装置１００は、撮像部１１０によって、被写体からの光に対応する複数の画素からランダムに選択した一部の画素について光電変換して、圧縮サンプリングによる圧縮画像信号を取得する（ステップＳ９１１）。
タイマ１８０によって一定時間の経過が計時されると（ステップＳ９１２：Ｙｅｓ）、送信部１４０は圧縮画像信号を送信する（ステップＳ９１４）。また、一定時間の経過前であっても（ステップＳ９１２：Ｎｏ）、画像全体が変化した場合には（ステップＳ９１３：Ｙｅｓ）、送信部１４０は圧縮画像信号を送信する（ステップＳ９１４）。なお、圧縮画像信号の全体を送信した際には、タイマ１８０はリセットされる。これにより、新たに一定時間の計時が開始する。
撮像された圧縮画像信号については、変化検出部１３０において領域毎に輝度変化が計算される（ステップＳ９１５）。すなわち、フレームメモリ１７０に記憶されたフレームと撮像部１１０によって生成された圧縮画像信号とが比較される。これにより、その変化量が所定の閾値を超えると（ステップＳ９１６：Ｙｅｓ）、その対象領域の圧縮画像信号およびその座標が送信部１４０からサーバ２００に送信される（ステップＳ９１７）。その後、これらの処理は繰り返し実行される。
図７は、本技術の実施の形態におけるサーバ２００の基準画像更新処理の処理手順例を示す流れ図である。
サーバ２００において受信部２０１が圧縮画像信号を受信した際、それが圧縮画像信号の全体を示すものであれば（ステップＳ９２１：Ｙｅｓ）、基準画像更新部２１０はその圧縮画像信号を基準画像として基準画像メモリ２２０を更新する（ステップＳ９２２）。これにより、基準画像メモリ２２０には最新の基準画像が記憶される。その後、これらの処理は繰り返し実行される。
図８は、本技術の第１の実施の形態におけるサーバ２００の画像保存処理の処理手順例を示す流れ図である。
サーバ２００において受信部２０１が圧縮画像信号を受信した際、それが変化領域画像であれば（ステップＳ９３１：Ｙｅｓ）、以下の処理を実行する。まず、その変化領域画像を基準画像メモリ２２０に記憶される基準画像と結合して結合画像を生成する（ステップＳ９３２）。そして、圧縮センシング復元部２７０がその結合画像を元の画像信号である復元画像に復元する（ステップＳ９３３）。
そして、イベント検知部２８０が復元画像についてイベント検知処理を行う（ステップＳ９３４）。そのイベント検知処理の結果、その復元画像を保存すべきと判断された場合には（ステップＳ９３５：Ｙｅｓ）、その復元画像は復元画像メモリ２９０に記憶される（ステップＳ９３７）。その後、これらの処理は繰り返し実行される。
このように、本技術の第１の実施の形態では、圧縮センシングを行う撮像装置１００において輝度の変化が検知された際に、変化領域画像がサーバ２００に送信される。これにより、サーバ２００において結合画像が生成され、その結合画像について圧縮センシングの復元が行われる。圧縮センシングを行う撮像装置１００の用途が監視やＩｏＴ等の定点観測用途である場合、撮影期間中には変化のないフレームおよびエリアが多いため、この第１の実施の形態により処理を軽減することができる。
すなわち、撮像装置１００からサーバ２００に送信されるデータが、基準画像と変化領域画像およびその座標のみになるため、送信データ容量が低減される。また、サーバ２００側で保存すべきデータが、基準画像と、変化領域画像およびその座標と、必要に応じた復元画像のみになるため、サーバ２００におけるストレージ容量を低減することができる。さらに、撮像装置１００側の処理量が削減され、消費電力を抑制することができる。
［変形例］
上述の第１の実施の形態では、サーバ２００において圧縮センシングの復元後にイベント検知処理を行っていた。これに対し、この変形例では、圧縮センシングの復元前にイベント検知処理を行う。
図９は、本技術の第１の実施の形態の変形例におけるサーバ２００の機能構成の一例を示す図である。この変形例におけるサーバ２００は、第１の実施の形態と比べて、圧縮センシング復元部２７０とイベント検知部２８０とが入れ替わっており、圧縮センシングの復元前にイベント検知処理を行うように構成されている。
圧縮センシングの復元前にイベント検知処理を行うために、上述のディープニューラルネットを用いることが想定される。圧縮センシングの復元のためのディープニューラルネットと、復元された画像を識別するディープニューラルネットとを作成し、学習させて結合することにより、復元と認識をまとめた処理として実行することも可能である。
図１０は、本技術の第１の実施の形態の変形例におけるサーバ２００の画像保存処理の処理手順例を示す流れ図である。
サーバ２００において受信部２０１が圧縮画像信号を受信した際、それが変化領域画像であれば（ステップＳ９３１：Ｙｅｓ）、以下の処理を実行する。まず、上述の第１の実施の形態と同様に、その変化領域画像を基準画像メモリ２２０に記憶される基準画像と結合して結合画像を生成する（ステップＳ９３２）。そして、イベント検知部２８０が結合画像についてイベント検知処理を行う（ステップＳ９３４）。
そのイベント検知処理の結果、その結合画像を復元して保存すべきと判断された場合には（ステップＳ９３５：Ｙｅｓ）、圧縮センシング復元部２７０がその結合画像を元の画像信号である復元画像に復元する（ステップＳ９３６）。そして、その復元画像は復元画像メモリ２９０に記憶される（ステップＳ９３７）。その後、これらの処理は繰り返し実行される。
このように、本技術の第１の実施の形態の変形例によれば、イベント検知処理の結果に応じて必要な画像だけを復元するため、復元にかかる処理コストを低減することができる。
＜２．第２の実施の形態＞
［画像送受信システム］
図１１は、本技術の第２の実施の形態における画像送受信システムの全体構成例を示す図である。この画像送受信システムは、複数の撮像装置１０１乃至１０３と、サーバ２００と、複数の端末３０１乃至３０３と、ネットワーク４００とを備えており、それぞれがネットワーク４００を介して相互に接続されている。すなわち、撮像装置および端末を複数備えることを前提とする点において、上述の第１の実施の形態と異なる。この第２の実施の形態では、複数のユーザによりサーバ２００が共同利用されることを想定し、ユーザ間のセキュリティ向上を図るものである。なお、撮像装置１０１乃至１０３の基本的構成については、上述の第１の実施の形態における撮像装置１００と同様であるため、詳細な説明は省略する。
図１２は、本技術の第２の実施の形態におけるサーバ２００の機能構成の一例を示す図である。このサーバ２００は、受信部２０１と、基準画像更新部２１０と、基準画像メモリ２２０と、画像結合部２３０と、結合画像メモリ２４０と、サンプリング行列メモリ２６０と、圧縮センシング復元部２７０とを備える。また、このサーバ２００は、画像要求処理部２５０と、復元画像メモリ２９０と、送信部２０２とを備える。すなわち、イベント検知部２８０を有さない点において、上述の第１の実施の形態と異なる。上述の第１の実施の形態においてはイベント検知の結果をトリガとして復元画像を復元画像メモリ２９０に保存していたが、この第２の実施の形態では、端末３０１乃至３０３からの画像要求をトリガとして復元を行う。
この第２の実施の形態における画像送受信システムでは、ユーザ毎に異なるサンプリング行列に基づいて圧縮センシングを行うことを想定する。そのため、サンプリング行列メモリ２６０には、ユーザ毎の識別子に関連付けてサンプリング行列が記憶される。これらユーザ毎に異なるサンプリング行列は、復元に先立って予めサーバ２００のサンプリング行列メモリ２６０に記憶されてもよく、また、任意のタイミングで撮像装置１０１乃至１０３からサーバ２００に送信されたものが記憶されてもよい。
端末３０１乃至３０３からの画像要求には、ユーザ毎の識別子が含まれる。サーバ２００は、画像要求に含まれるユーザ毎の識別子を使用してサンプリング行列メモリ２６０を索引し、その識別子に関連付けられるサンプリング行列を用いて圧縮センシング復元部２７０における復元を行う。したがって、想定されるサンプリング行列以外のサンプリング行列を用いた場合には、正しく復元することはできず、画像は送信されない。
例えば、ユーザＡが撮像装置１０１および端末３０１を所有し、ユーザＢが撮像装置１０２および端末３０２を所有し、ユーザＣが撮像装置１０３および端末３０３を所有する場合を想定する。
撮像装置１０１において圧縮センシングに用いられたサンプリング行列は、ユーザＡの識別子に関連付けられてサンプリング行列メモリ２６０に記憶される。ユーザＡが端末３０１からサーバ２００に、ユーザＡの画像要求を送信する際には、ユーザＡの識別子を併せて送信する。これにより、サーバ２００は、ユーザＡの識別子に関連付けられて記憶されるサンプリング行列をサンプリング行列メモリ２６０から取得して正しく復元を行うことができる。
一方、ユーザＢがユーザＡの画像要求をしようとしても、その画像要求にはユーザＢの識別子が含まれてしまうため、サーバ２００は、ユーザＢの識別子に関連付けられるサンプリング行列を使用して復元を試みる。この場合、サンプリング行列が適切ではないため、圧縮センシングの復元は失敗する。このように、サーバ２００に管理されるユーザＡの画像は、他のユーザから閲覧されることがない。
なお、この例では、ユーザ毎に撮像装置および端末が１台ずつ割り当てられる態様について説明したが、ユーザが複数の撮像装置または端末を所有してもよい。例えば、ユーザＡが撮像装置１０１および１０２を所有して、両者において同じサンプリング行列により圧縮センシングを行ってもよい。この場合、ユーザＡは端末３０１からユーザＡの識別子を含む画像要求を送信することにより、撮像装置１０１および１０２の何れかで撮像された画像を閲覧することができる。
また、この例では、ユーザ毎に識別子を付与する例について説明したが、識別子の付与基準は様々な態様が考えられる。例えば、監視カメラの設置場所毎に異なる識別子を付与して、設置場所毎に権限があるユーザのみが画像を閲覧できるようにしてもよい。
［動作］
図１３は、本技術の第２の実施の形態におけるサーバ２００の画像結合処理の処理手順例を示す流れ図である。
サーバ２００において受信部２０１が圧縮画像信号を受信した際、それが変化領域画像であれば（ステップＳ９３１：Ｙｅｓ）、その変化領域画像を基準画像メモリ２２０に記憶される基準画像と結合して結合画像を生成する（ステップＳ９３２）。その後、これらの処理は繰り返し実行される。
図１４は、本技術の第２の実施の形態におけるサーバ２００の画像要求処理の処理手順例を示す流れ図である。これらの処理は、画像要求処理部２５０による制御に従って実行される。
サーバ２００において受信部２０１が端末３０１乃至３０３からの画像要求を受信すると（ステップＳ９４１：Ｙｅｓ）、画像要求に含まれる識別子に関連付けられるサンプリング行列を用いて、圧縮センシングの復元を行う（ステップＳ９４２）。
圧縮センシング復元部２７０が圧縮センシングの復元に成功すると（ステップＳ９４３：Ｙｅｓ）、送信部２０２から要求元の端末３０１乃至３０３に対して復元画像が送信される（ステップＳ９４４）。一方、圧縮センシング復元部２７０が圧縮センシングの復元に失敗すると（ステップＳ９４３：Ｎｏ）、復元画像は送信されない。
このように、本技術の第２の実施の形態によれば、識別子毎に異なるサンプリング行列を設定することにより、権限のない画像要求に対する画像の送信を防止して、セキュリティを向上させることができる。
すなわち、撮像装置１０１乃至１０３の販売先や設置場所毎にサンプリング行列を変えることにより、他の画像データを閲覧や傍受することを防止することができる。また、撮像装置１０１乃至１０３においては、ランダムに選択した一部の画素について圧縮センシングが行われるため、撮像装置１０１乃至１０３内に画像全体を残すことを回避することができる。なお、サーバ２００に識別子に関連付けてサンプリング行列を記憶しておくことにより、撮像装置１０１乃至１０３からサーバ２００に送信されるデータを増加させることなく、復元処理を行うことができる。
＜３．第３の実施の形態＞
上述の第１および第２の実施の形態では、基準画像と変化領域画像とを結合した後の結合画像について圧縮センシング復元を行うことを想定したが、基準画像および変化領域画像を個別に復元するようにしてもよい。この第３の実施の形態では、サーバ２００が画像を受信する度に圧縮センシング復元を行う。なお、画像送受信システムとしての全体構成および撮像装置１００の機能構成については、上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
図１５は、本技術の第３の実施の形態におけるサーバ２００の機能構成の一例を示す図である。このサーバ２００は、受信部２０１と、基準画像更新部２１０と、基準画像メモリ２２０と、画像結合部２３０と、サンプリング行列メモリ２６０と、圧縮センシング復元部２７０と、画像要求処理部２５０と、復元画像メモリ２９０と、送信部２０２とを備える。各部の基本動作は、上述の第１および第２の実施の形態と同様である。ただし、圧縮センシング復元部２７０が撮像装置１００から受信した基準画像および変化領域画像の各画像について圧縮センシング復元を行う点が、上述の第１および第２の実施の形態と異なる。
すなわち、圧縮センシング復元部２７０は、受信部２０１が基準画像を受信すると、その基準画像について圧縮センシング復元を行う。そして、復元された基準画像は、基準画像更新部２１０によって基準画像メモリ２２０に記憶される。また、圧縮センシング復元部２７０は、受信部２０１が変化領域画像を受信すると、その変化領域画像について圧縮センシング復元を行う。そして、復元された変化領域画像は、画像結合部２３０によって基準画像と結合され、復元画像として復元画像メモリ２９０に保存される。
復元画像メモリ２９０に保存された復元画像は、受信部２０１が画像要求を受信した際に、画像要求処理部２５０によって送信部２０２から送信される。また、受信部２０１が変化領域画像を受信する度に、送信されるようにしてもよい。
図１６は、本技術の第３の実施の形態におけるサーバ２００の画像受信時の処理手順例を示す流れ図である。
サーバ２００において受信部２０１が圧縮画像信号を受信した際、それが圧縮画像信号の全体を示すものであれば（ステップＳ９５１：Ｎｏ、Ｓ９５２：Ｙｅｓ）、その圧縮画像信号を基準画像として圧縮センシング復元を行う（ステップＳ９５３）。そして、その復元された基準画像により基準画像メモリ２２０を更新する（ステップＳ９５４）。
一方、受信部２０１が圧縮画像信号を受信した際、それが変化領域画像であれば（ステップＳ９５１：Ｙｅｓ）、その変化領域画像について圧縮センシング復元を行う（ステップＳ９５５）。そして、その復元された変化領域画像と基準画像メモリ２２０に保存されている基準画像とを画像結合部２３０が結合する（ステップＳ９５６）。その結合された画像は復元画像として復元画像メモリ２９０に保存される（ステップＳ９５７）。
このように、本技術の第３の実施の形態によれば、基準画像と変化領域画像の結合を待つことなく、圧縮センシング復元を行うことができる。
＜４．応用例＞
本開示に係る技術は、いわゆる「物のインターネット」であるＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）と呼ばれる技術へ応用可能である。ＩｏＴとは、「物」であるＩｏＴデバイス９００１が、他のＩｏＴデバイス９００３、インターネット、クラウド９００５などに接続され、情報交換することにより相互に制御する仕組みである。ＩｏＴは、農業、家、自動車、製造、流通、エネルギー、など様々な産業に利用できる。
図１７は、本開示に係る技術が適用され得るＩｏＴシステム９０００の概略的な構成の一例を示す図である。
ＩｏＴデバイス９００１には、温度センサー、湿度センサー、照度センサー、加速度センサー、距離センサー、画像センサー、ガスセンサー、人感センサーなどの各種センサーなどが含まれる。また、ＩｏＴデバイス９００１には、スマートフォン、携帯電話、ウェアラブル端末、ゲーム機器などの端末を含めてもよい。ＩｏＴデバイス９００１は、ＡＣ電源、ＤＣ電源、電池、非接触給電、いわゆるエナジーハーベストなどにより給電される。ＩｏＴデバイス９００１は、有線、無線、近接無線通信などにより通信することができる。通信方式は３Ｇ／ＬＴＥ（登録商標）、Ｗｉ-Ｆｉ（登録商標）、ＩＥＥＥ８０２．１５．４、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、Ｚ−Ｗａｖｅなどが好適に用いられる。ＩｏＴデバイス９００１は、これらの通信手段の複数を切り替えて通信してもよい。
ＩｏＴデバイス９００１は、１対１、星状、ツリー状、メッシュ状のネットワークを形成してもよい。ＩｏＴデバイス９００１は、直接に、またはゲートウエイ９００２を通して、外部のクラウド９００５に接続してもよい。ＩｏＴデバイス９００１には、ＩＰｖ４、ＩＰｖ６、６ＬｏＷＰＡＮなどによって、アドレスが付与される。ＩｏＴデバイス９００１から収集されたデータは、他のＩｏＴデバイス９００３、サーバ９００４、クラウド９００５などに送信される。ＩｏＴデバイス９００１からデータを送信するタイミングや頻度は好適に調整され、データを圧縮して送信してもよい。このようなデータはそのまま利用してもよく、統計解析、機械学習、データマイニング、クラスタ分析、判別分析、組み合わせ分析、時系列分析など様々な手段でデータをコンピュータ９００８で分析してもよい。このようなデータを利用することにより、コントロール、警告、監視、可視化、自動化、最適化、など様々なサービスを提供することができる。
本開示に係る技術は、家に関するデバイス、サービスにも応用可能である。家におけるＩｏＴデバイス９００１には、洗濯機、乾燥機、ドライヤ、電子レンジ、食洗機、冷蔵庫、オーブン、炊飯器、調理器具、ガス器具、火災報知器、サーモスタット、エアコン、テレビ、レコーダ、オーディオ、照明機器、温水器、給湯器、掃除機、扇風機、空気清浄器、セキュリティカメラ、錠、扉・シャッター開閉装置、スプリンクラー、トイレ、温度計、体重計、血圧計などが含まれる。さらにＩｏＴデバイス９００１には、太陽電池、燃料電池、蓄電池、ガスメータ、電力メータ、分電盤を含んでもよい。
家におけるＩｏＴデバイス９００１の通信方式は、低消費電力タイプの通信方式が望ましい。また、ＩｏＴデバイス９００１は屋内ではＷｉ-Ｆｉ、屋外では３Ｇ/ＬＴＥ（登録商標）により通信するようにしてもよい。クラウド９００５上にＩｏＴデバイス制御用の外部サーバ９００６を設置し、ＩｏＴデバイス９００１を制御してもよい。ＩｏＴデバイス９００１は、家庭機器の状況、温度、湿度、電力使用量、家屋内外の人・動物の存否などのデータを送信する。家庭機器から送信されたデータは、クラウド９００５を通じて、外部サーバ９００６に蓄積される。このようなデータに基づき、新たなサービスが提供される。このようなＩｏＴデバイス９００１は、音声認識技術を利用することにより、音声によりコントロールすることができる。
また、各種家庭機器からテレビに情報を直接送付することにより、各種家庭機器の状態を可視化することができる。さらには、各種センサーが居住者の有無を判断し、データを空調機、照明などに送付することで、それらの電源をオン・オフすることができる。さらには、各種家庭機器に供えられたディスプレイにインターネットを通じて広告を表示することができる。
以上、本開示に係る技術が適用され得るＩｏＴシステム９０００の一例について説明した。本開示に係る技術は、以上説明した構成のうち、画像センサーに好適に適用され得る。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）被写体からの光に対応する複数の画素からランダムに選択した一部の画素について光電変換して圧縮画像信号として時系列に送信する撮像装置と、
ネットワークを介して前記圧縮画像信号を受信して、前記選択を規定するサンプリング行列に基づいて前記圧縮画像信号を復元するサーバと
を具備する画像送受信システム。
（２）前記サーバは、前記サンプリング行列を記憶するサンプリング行列メモリを備える
前記（１）に記載の画像送受信システム。
（３）前記サーバは、前記復元に先立って前記ネットワークを介して前記撮像装置から前記サンプリング行列を受信して前記サンプリング行列メモリに記憶する
前記（２）に記載の画像送受信システム。
（４）前記撮像装置は、前記圧縮画像信号について時間の経過に従って輝度が変化した領域を検出して、前記圧縮画像信号の前記変化が検出された領域を領域信号として前記サーバに送信する
前記（１）から（３）のいずれかに記載の画像送受信システム。
（５）前記サーバは、
前記領域信号の画像の背景となる基準画像を記憶する基準画像メモリと、
前記撮像装置から送信された前記領域信号の画像と前記基準画像とを結合して結合画像を生成する画像結合部と、
前記結合画像においてイベントの発生を検知するイベント検知処理部と、
前記イベントの検知結果に応じて前記結合画像の前記復元後の画像を記憶する復元画像メモリとを備える
前記（４）に記載の画像送受信システム。
（６）前記イベント検知処理部は、前記結合画像の前記復元後の画像を参照して前記イベントの発生を検知する
前記（５）に記載の画像送受信システム。
（７）前記イベント検知処理部は、前記結合画像の前記復元前の画像を参照して前記イベントの発生を検知する
前記（５）に記載の画像送受信システム。
（８）前記サーバは、所定の識別子に関連付けて前記サンプリング行列を前記サンプリング行列メモリに記憶し、前記ネットワークを介して端末から前記識別子とともに画像要求を受信すると、前記受信した識別子に関連付けて前記サンプリング行列メモリに記憶される前記サンプリング行列に基づいて前記圧縮画像信号を復元して前記端末に送信する
前記（２）に記載の画像送受信システム。
（９）前記サーバは、前記復元が成功した場合にのみ前記端末への送信を行う
前記（８）に記載の画像送受信システム。
（１０）被写体からの光に対応する複数の画素から所定のサンプリング行列に従って選択された一部の画素について光電変換された圧縮画像信号をネットワークを介して受信する受信部と、
前記サンプリング行列に基づいて前記圧縮画像信号を復元する復元部と
を具備するサーバ。
（１１）被写体からの光に対応する複数の画素からランダムに選択した一部の画素について光電変換して圧縮画像信号として時系列に出力する撮像部と、
前記圧縮画像信号について時間の経過に従って輝度が変化した領域を検出する変化検出部と、
前記圧縮画像信号の前記変化が検出された領域をサーバに送信する送信部と
を備える撮像装置。
１００〜１０３ 撮像装置
１１０ 撮像部
１３０ 変化検出部
１４０ 送信部
１７０ フレームメモリ
１８０ タイマ
２００ サーバ
２０１ 受信部
２０２ 送信部
２１０ 基準画像更新部
２２０ 基準画像メモリ
２３０ 画像結合部
２４０ 結合画像メモリ
２５０ 画像要求処理部
２６０ サンプリング行列メモリ
２７０ 圧縮センシング復元部
２８０ イベント検知部
２９０ 復元画像メモリ
３００〜３０３ 端末
４００ ネットワーク
９００１ ＩｏＴデバイス

Claims (11)

  1. 被写体からの光に対応する複数の画素からランダムに選択した一部の画素について光電変換して圧縮画像信号として時系列に送信する撮像装置と、
    ネットワークを介して前記圧縮画像信号を受信して、前記選択を規定するサンプリング行列に基づいて前記圧縮画像信号を復元するサーバと
    を具備する画像送受信システム。
  2. 前記サーバは、前記サンプリング行列を記憶するサンプリング行列メモリを備える
    請求項１記載の画像送受信システム。
  3. 前記サーバは、前記復元に先立って前記ネットワークを介して前記撮像装置から前記サンプリング行列を受信して前記サンプリング行列メモリに記憶する
    請求項２記載の画像送受信システム。
  4. 前記撮像装置は、前記圧縮画像信号について時間の経過に従って輝度が変化した領域を検出して、前記圧縮画像信号の前記変化が検出された領域を領域信号として前記サーバに送信する
    請求項１記載の画像送受信システム。
  5. 前記サーバは、
    前記領域信号の画像の背景となる基準画像を記憶する基準画像メモリと、
    前記撮像装置から送信された前記領域信号の画像と前記基準画像とを結合して結合画像を生成する画像結合部と、
    前記結合画像においてイベントの発生を検知するイベント検知処理部と、
    前記イベントの検知結果に応じて前記結合画像の前記復元後の画像を記憶する復元画像メモリとを備える
    請求項４記載の画像送受信システム。
  6. 前記イベント検知処理部は、前記結合画像の前記復元後の画像を参照して前記イベントの発生を検知する
    請求項５記載の画像送受信システム。
  7. 前記イベント検知処理部は、前記結合画像の前記復元前の画像を参照して前記イベントの発生を検知する
    請求項５記載の画像送受信システム。
  8. 前記サーバは、所定の識別子に関連付けて前記サンプリング行列を前記サンプリング行列メモリに記憶し、前記ネットワークを介して端末から前記識別子とともに画像要求を受信すると、前記受信した識別子に関連付けて前記サンプリング行列メモリに記憶される前記サンプリング行列に基づいて前記圧縮画像信号を復元して前記端末に送信する
    請求項２記載の画像送受信システム。
  9. 前記サーバは、前記復元が成功した場合にのみ前記端末への送信を行う
    請求項８記載の画像送受信システム。
  10. 被写体からの光に対応する複数の画素から所定のサンプリング行列に従って選択された一部の画素について光電変換された圧縮画像信号をネットワークを介して受信する受信部と、
    前記サンプリング行列に基づいて前記圧縮画像信号を復元する復元部と
    を具備するサーバ。
  11. 被写体からの光に対応する複数の画素からランダムに選択した一部の画素について光電変換して圧縮画像信号として時系列に出力する撮像部と、
    前記圧縮画像信号について時間の経過に従って輝度が変化した領域を検出する変化検出部と、
    前記圧縮画像信号の前記変化が検出された領域をサーバに送信する送信部と
    を備える撮像装置。
JP2017126843A 2017-06-29 2017-06-29 画像送受信システム、サーバおよび撮像装置 Pending JP2019012869A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017126843A JP2019012869A (ja) 2017-06-29 2017-06-29 画像送受信システム、サーバおよび撮像装置
US16/615,161 US20200177879A1 (en) 2017-06-29 2018-04-10 Image transmission and reception system, server, and imaging apparatus
PCT/JP2018/014996 WO2019003562A1 (ja) 2017-06-29 2018-04-10 画像送受信システム、サーバおよび撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017126843A JP2019012869A (ja) 2017-06-29 2017-06-29 画像送受信システム、サーバおよび撮像装置

Publications (1)

Publication Number Publication Date
JP2019012869A true JP2019012869A (ja) 2019-01-24

Family

ID=64741986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017126843A Pending JP2019012869A (ja) 2017-06-29 2017-06-29 画像送受信システム、サーバおよび撮像装置

Country Status (3)

Country Link
US (1) US20200177879A1 (ja)
JP (1) JP2019012869A (ja)
WO (1) WO2019003562A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022168594A1 (ja) * 2021-02-03 2022-08-11 パナソニックＩｐマネジメント株式会社 スペクトルデータキューブを改変する方法および装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078558A (ja) * 1998-08-31 2000-03-14 Canon Inc 映像情報配信システム、映像情報配信方法及び記録媒体
JP2001238198A (ja) * 2000-02-23 2001-08-31 Victor Co Of Japan Ltd 差分カメラ端末
CN102449660B (zh) * 2009-04-01 2015-05-06 I-切塔纳私人有限公司 用于数据检测的系统和方法
US9894324B2 (en) * 2014-07-15 2018-02-13 Alcatel-Lucent Usa Inc. Method and system for modifying compressive sensing block sizes for video monitoring using distance information
JP6531986B2 (ja) * 2015-01-09 2019-06-19 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、復元装置、撮像方法およびコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022168594A1 (ja) * 2021-02-03 2022-08-11 パナソニックＩｐマネジメント株式会社 スペクトルデータキューブを改変する方法および装置

Also Published As

Publication number Publication date
US20200177879A1 (en) 2020-06-04
WO2019003562A1 (ja) 2019-01-03

Similar Documents

Publication Publication Date Title
US11721107B2 (en) Systems and methods for locating image data for selected regions of interest
KR102277752B1 (ko) 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
US20180330169A1 (en) Methods and Systems for Presenting Image Data for Detected Regions of Interest
US20180349708A1 (en) Methods and Systems for Presenting Image Data for Detected Regions of Interest
CN105763597B (zh) 用于处理传感器信息的方法和设备
US9811748B2 (en) Adaptive camera setting modification based on analytics data
US9965835B2 (en) Defogging images and video
CN106157520B (zh) 主动防护系统
US11514581B2 (en) Image capturing device, image capturing method, and image capturing system
US11516041B2 (en) Method and device for event notification in home network system
US11399147B2 (en) Imaging apparatus, and imaging apparatus control method
US20160148493A1 (en) Monitoring system
CN107959812B (zh) 监控数据的存储方法、装置、系统与路由设备
KR20170104953A (ko) 시스템을 관리하는 방법 및 장치
EP3622724A1 (en) Methods and systems for presenting image data for detected regions of interest
US9485111B2 (en) Monitoring system
JP2019012869A (ja) 画像送受信システム、サーバおよび撮像装置
US20180131533A1 (en) Automation rule selection method and wireless communication device
KR102007778B1 (ko) 홈 네트워크 시스템 및 그 서비스 제공 방법
US11133952B2 (en) Notification control apparatus, detection apparatus, notification control system, notification control method, and detection method
CN110959271A (zh) 用于从电力监控器通过无线系统提供波形的系统和方法
KR20190028016A (ko) 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램
KR101411636B1 (ko) 스마트 티비 기반의 상황 인지를 통한 엔스크린 서비스 제공 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR102024436B1 (ko) Multi to one 가시광 통신을 이용한 IoT 시스템
WO2018116863A1 (ja) 情報送信装置、情報送信方法、および情報送信システム