JP2018182568A - 画像処理装置、画像処理システム、情報処理システム及び画像処理方法 - Google Patents

画像処理装置、画像処理システム、情報処理システム及び画像処理方法 Download PDF

Info

Publication number
JP2018182568A
JP2018182568A JP2017080744A JP2017080744A JP2018182568A JP 2018182568 A JP2018182568 A JP 2018182568A JP 2017080744 A JP2017080744 A JP 2017080744A JP 2017080744 A JP2017080744 A JP 2017080744A JP 2018182568 A JP2018182568 A JP 2018182568A
Authority
JP
Japan
Prior art keywords
data
image
unit
image processing
subband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017080744A
Other languages
English (en)
Inventor
水野　雄介
Yusuke Mizuno
雄介 水野
孝雄 尾上
Takao Onoe
孝雄 尾上
載勲 劉
Jaehoon Yu
載勲 劉
浩一 光成
Koichi Mitsunari
浩一 光成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Osaka University NUC
Original Assignee
MegaChips Corp
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp, Osaka University NUC filed Critical MegaChips Corp
Priority to JP2017080744A priority Critical patent/JP2018182568A/ja
Priority to PCT/JP2018/014281 priority patent/WO2018190198A1/ja
Publication of JP2018182568A publication Critical patent/JP2018182568A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】画像処理装置の低消費電力化を図ることが可能な技術を提供する。【解決手段】画像処理装置は、生成部、決定部、第１符号化部及び第１送信部を備える。決定部は、第１画像を示す階層化されたデータを生成する。決定部は、階層化されたデータから、所定の基準に基づいて、送信対象データを決定する。第１符号化部は、決定部で決定された送信対象データを圧縮符号化して第１符号化データを生成する。第１送信部は、第１符号化データを送信する。【選択図】図３

Description

本発明は、画像処理に関する。
特許文献１及び２には、画像処理に関する技術が開示されている。
特開２０１５−１９２３２１号公報 特開２００３−２１９３８６号公報
画像処理装置については、その消費電力の低減が望まれている。
そこで、本発明は上述の点に鑑みて成されたものであり、画像処理装置の低消費電力化を図ることが可能な技術を提供することを目的とする。
画像処理装置の一態様は、第１画像を示す階層化されたデータを生成する生成部と、前記階層化されたデータから、所定の基準に基づいて、送信対象データを決定する第１決定部と、前記第１決定部で決定された前記送信対象データを圧縮符号化して第１符号化データを生成する第１符号化部と、前記第１符号化データを送信する第１送信部とを備える。
また、画像処理装置の一態様は、上記の画像処理装置である第１装置と通信する第２装置である画像処理装置であって、前記第１装置から送信される前記第１符号化データを受信する受信部と、前記第１符号化データに基づいて第２処理を行う第２処理部とを備える。
また、画像処理システムの一態様は、上記の第１装置と、上記の第２装置とを備える。
また、情報処理システムの一態様は、上記の画像処理システムと、前記画像処理システムの前記第２装置から前記第２処理の結果を受け取る第３装置と備える。
また、画像処理方法の一態様は、画像処理装置での画像処理方法であって、画像を示す階層化されたデータを生成する工程と、前記階層化されたデータから、所定の基準に基づいて、送信対象データを決定する工程と、前記送信対象データを圧縮符号化して符号化データを生成する工程と、前記符号化データを送信する工程とを備える。
画像処理装置の低消費電力化が可能となる。
情報処理システムの構成の一例を示す図である。 情報処理システムの適用例の一例を示す図である。 ＩｏＴ端末の構成の一例を示す図である。 ゲートウェイの構成の一例を示す図である。 画像符号化部の構成の一例を示す図である。 ウェーブレット平面の一例を示す図である。 ウェーブレット平面の一例を示す図である。 ウェーブレット平面の一例を示す図である。 主画像の一例を示す図である。 ウェーブレット平面の一例を示す図である。 ウェーブレット平面とコードブロックの対応関係の一例を示す図である。 係数ビットモデリング部の動作の一例を説明するための図である。 係数ビットモデリング部の動作の一例を説明するための図である。 マスク生成部の構成の一例を示す図である。 原マスクの一例を示す図である。 展開マスクの一例を示す図である。 展開マスクの一例を示す図である。 展開マスクの一例を示す図である。 マスク生成部の動作の一例を示すフローチャートである。 マスク生成部の動作の一例を説明するための図である。 マスク生成部の動作の一例を説明するための図である。 最大展開マスクとコードブロックの対応関係の一例を示す図である。 画像復号化部の構成の一例を示す図である。 データ処理部の構成の一例を示す図である。 認識用データ生成部の構成の一例を示す図である。 画像認識部の構成の一例を示す図である。 画像認識部の動作の一例を説明するための図である。 トランスコーダの構成の一例を示す図である。 ゲートウェイの動作の一例を示すフローチャートである。 ＩｏＴ端末の一例を示すフローチャートである。 ラベリング処理された最大展開マスクの一例を示す図である。 ラベリング処理されたＬＬ３サブバンドマスクの一例を示す図である。 ゲートウェイの動作の一例を示すフローチャートである。 ライベ領域に対応するコードブロックの一例を示す図である。 ＩｏＴ端末の構成の一例を示す図である。 ＩｏＴ端末の構成の一例を示す図である。 認識用データ生成部の構成の一例を示す図である。 ゲートウェイの動作の一例を示すフローチャートである。 複数のサブバンドの間でのコードブロックの対応関係の一例を示す図である。 ＩｏＴ端末の構成の一例を示す図である。 縮小画像符号化部の構成の一例を示す図である。 ゲートウェイの構成の一例を示す図である。 縮小画像復号化部の構成の一例を示す図である。 ゲートウェイの動作の一例を示すフローチャートである。 ＩｏＴ端末の構成の一例を示す図である。 ＩｏＴ端末の構成の一例を示す図である。 ゲートウェイの構成の一例を示す図である。 データ処理部の構成の一例を示す図である。 ＩｏＴ端末の動作の一例を説明するための図である。 ＩｏＴ端末の動作の一例を説明するための図である。 画像処理システムの動作の一例を説明するための図である。 画像処理システムの動作の一例を説明するための図である。 画像符号化部の構成の一例を示す図である。 画像復号化部の構成の一例を示す図である。 レイヤー分割処理部の構成の一例を示す図である。 各サブバンドに設定された優先度の一例を示す図である。 係数を構成する複数のビットがビットシフトされる様子の一例を示す図である。 レイヤー合成処理部の構成の一例を示す図である。
＜システム概要＞
図１は情報処理システム１の構成の一例を示す図である。図１に示されるように、情報処理システム１は、画像処理装置２，３を含む画像処理システム４と、情報処理装置５とを備える。画像処理装置２は、画像を示す圧縮符号化された符号化データを生成して画像処理装置３に送信する。画像処理装置３は、画像処理装置２からの符号化データに基づいて処理を行い、その処理の結果を情報処理装置５に送信する。情報処理装置５は、画像処理装置３からの情報を保存するとともに、保存した情報を使用して各種処理を行う。
このような情報処理システム１は様々な場面で使用することができる。図２は、情報処理システム１の適用例を示す図である。図２の例では、情報処理システム１はＩｏＴ（Internet of Things）システム１として使用される。画像処理装置２、画像処理装置３及び情報処理装置５は、例えば、ＩｏＴ端末２、ゲートウェイ３及びクラウドサーバ５としてそれぞれ使用される。ゲートウェイ３は、エッジゲートウェイとも呼ばれる。ＩｏＴ端末２、ゲートウェイ３及びクラウドサーバ５のそれぞれは、例えば一種のコンピュータ装置である。
図２に示されるように、ＩｏＴシステム１は、複数のＩｏＴ端末２及びゲートウェイ３を有する画像処理システム４と、クラウドサーバ５とを備える。複数のＩｏＴ端末２はゲートウェイ３に対してローカルネットワークで接続されている。ゲートウェイ３とクラウドサーバ５とはインターネットで接続されている。ＩｏＴ端末２とゲートウェイ３とは無線で接続されてもよいし、有線で接続されてもよい。ＩｏＴ端末２が、ゲートウェイ３と無線通信する場合には、ＩｏＴ端末２とゲートウェイ３との間の通信規格としては、例えば、ＺｉｇＢｅｅ（登録商標）が採用される。ＩｏＴ端末２とゲートウェイ３との間の通信規格はこれに限られない。
ＩｏＴ端末２の処理能力は、例えば、ゲートウェイ３の処理能力よりも低くなっている。また、ＩｏＴ端末２とゲートウェイ３との間のデータ伝送レートは、例えば、ゲートウェイ３とクラウドサーバ５との間のデータ伝送レートよりも低くなっている。ＩｏＴ端末２とゲートウェイ３との間のデータ伝送レートは、ゲートウェイ３とクラウドサーバ５との間のデータ伝送レートの例えば数十分の一となっている。
各ＩｏＴ端末２は例えばカメラを有する。各ＩｏＴ端末２は、カメラで撮影された画像の少なくとも一部を示す、圧縮符号化された符号化データを生成し、それをゲートウェイ３に送信する。ＩｏＴ端末２は、例えば、スマートフォン等の携帯電話機、スマートグラス等のウェアラブル機器、ネットワークカメラ、あるいはテレビ電話機などである。複数のＩｏＴ端末２は、同じ種類の機器であってもよいし、互いに異なる種類の機器であってもよい。
ゲートウェイ３は、例えば、ＩｏＴ端末２からの符号化データに基づく画像に対する画像認識処理を行う。そして、ゲートウェイ３は、画像認識処理の結果を示す情報を、インターネットを通じてクラウドサーバ５に送信する。クラウドサーバ５は、ゲートウェイ３からの情報を記憶し、記憶した情報に基づいて、各種処理を実行する。ゲートウェイ３は、ＩｏＴ端末２で撮影された画像の少なくとも一部を示すストリーミングデータをクラウドサーバ５に送信してもよい。この場合、クラウドサーバ５は、ゲートウェイ３からのストリーミングデータを表示してもよい。あるいは、クラウドサーバ５は、画像認識処理の結果を示す情報あるいはストリーミングデータを、別のゲートウェイ３あるいはＩｏＴ端末２に対してインターネットを通じて送信してもよい。この場合、別のゲートウェイ３あるいはＩｏＴ端末２は、クラウドサーバ５から受け取った情報あるいはストリーミングデータを表示してもよい。
ＩｏＴシステム１は、例えば、スマートホームシステムで使用することができる。この場合、複数のＩｏＴ端末２及びゲートウェイ３は家の中に設けられ、クラウドサーバ５は当該家から離れた場所に設けられる。各ＩｏＴ端末２は、カメラで家の中の様子を撮影して、その様子が写る画像を示す符号化データをゲートウェイ３に送信する。ゲートウェイ３は、ＩｏＴ端末２からの符号化データに基づく画像に対して画像認識処理を行って、例えば家の中の人を検出する。そして、ゲートウェイ３は、その検出結果をクラウドサーバ５に送信する。これにより、例えば、家の中の子供あるいは高齢者の見守り及び管理が可能となる。
またＩｏＴ端末１は、例えば、スマート工場で使用することができる。この場合、複数のＩｏＴ端末２及びゲートウェイ３は工場内に設けられ、クラウドサーバ５は当該工場から離れた場所に設けられる。各ＩｏＴ端末２は、工場内の様子を撮影して、その様子が写る画像を示す符号化データをゲートウェイ３に送信する。ゲートウェイ３は、ＩｏＴ端末２からの符号化データに基づく画像に対して画像認識処理を行って、例えば、荷物を配置することが可能な空きスペースを検出する。そして、ゲートウェイ３は、その検出結果をクラウドサーバ５に送信する。これにより、例えば、工場内での荷物の運搬管理が可能となる。
なお、ＩｏＴシステム１が使用される場面は上記の限りではない。またＩｏＴ端末２は、それとは別体のカメラから画像データを受け取ってもよい。またＩｏＴ端末２で扱われる画像は、カメラで撮影された画像だけではなく、アニメーション画像であってもよい。
以下では、情報処理システム１がＩｏＴシステム１である場合を例に挙げて、情報処理システム１について詳細に説明する。
＜ＩｏＴ端末の構成＞
図３はＩｏＴ端末２の構成の一例を示す図である。図３に示されるように、ＩｏＴ端末２は、カメラ２０、縮小部２１、画像メモリ２２、マスク生成部２３、符号化装置２４、通信部２５及び決定部２６等で構成される回路構成を備える。ＩｏＴ端末２は、例えば電池駆動型の端末であって、当該ＩｏＴ端末２の電源を出力する電池を備えている。
カメラ２０は、画像を撮影し、撮影した画像を示す画像データ５００を出力する。画像データ５００は複数の画素値で構成されている。カメラ２０は、動画を撮影することも、静止画を撮影することも可能である。以後、カメラ２０で撮影される画像を主画像と呼ぶことがある。また、カメラ２０が出力する画像データ５００を主画像データ５００と呼ぶことがある。主画像は、静止画であってもよいし、動画のフレーム画像であってもよい。カメラ２０が動画を撮影する場合には、フレーム画像を示す主画像データ５００がカメラ２０から順次出力される。
縮小部２１は、主画像を縮小して縮小画像を生成する。縮小画像は「小画像」とも呼ばれる。縮小部２１は、例えば、縮小画像のサイズが主画像のサイズの１／２ｒ倍（ｒは１以上の整数）となるように、主画像を縮小する。縮小部２１は、主画像データ５００に基づいて、縮小画像を示す縮小画像データ５０１を生成して出力する。縮小部２１の少なくとも一部は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてよい。また、縮小部２１の少なくとも一部は、コンピュータがプログラム（ソフトウェア）を実行することによって実現される機能ブロックであってもよい。
画像メモリ２２は、縮小画像メモリ２２ａ及び主画像メモリ２２ｂを備える。画像メモリ２２はメモリ回路とも言える。縮小画像メモリ２２ａは、縮小部２１から出力される縮小画像データ５０１を記憶する。縮小画像メモリ２２ａは縮小画像を記憶するとも言える。主画像メモリ２２ｂは、カメラ２０から出力される主画像データ５００を記憶する。主画像メモリ２２ｂは主画像を記憶するとも言える。縮小画像メモリ２２ａ及び主画像メモリ２２ｂは、互いに独立した別々のメモリであってもよいし、一つのメモリの記憶領域の一部が縮小画像メモリ２２ａとして使用され、当該記憶領域の他の部分が主画像メモリ２２ｂとして使用されてもよい。
マスク生成部２３は、縮小画像メモリ２２ａ内の縮小画像データ５０１に基づいて、主画像における関心領域を特定するためのマスクデータ５０２を生成して出力する。関心領域はＲＯＩとも呼ばれる。マスクデータ５０２の生成は、主画像に関する処理であるとも言える。マスク生成部２３の少なくとも一部は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてよい。また、マスク生成部２３の少なくとも一部は、コンピュータがプログラムを実行することによって実現される機能ブロックであってもよい。
符号化装置２４は、マスク符号化部２４ａ及び画像符号化部２４ｂを備える。符号化装置２４の少なくとも一部は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてよい。また、符号化装置２４の少なくとも一部は、コンピュータがプログラムを実行することによって実現される機能ブロックであってもよい。
マスク符号化部２４ａは、マスク生成部２３が出力するマスクデータ５０２を圧縮符号化してマスク符号化データ５０３を生成する。マスク符号化部２４ａは、マスクデータ５０２を、ＪＰＥＧに準拠して圧縮符号化してもよいし、ＪＰＥＧ２０００に準拠して圧縮符号化してもよいし、他の規格に基づいて圧縮符号化してもよい。
画像符号化部２４ｂは、主画像メモリ２２ｂ内の主画像データ５００の少なくとも一部が階層符号化されたデータを画像符号化データ５０４として生成する。画像符号化部２４ｂは、主画像データ５００を階層化し、主画像を示す階層化されたデータ（以後、階層化データと呼ぶことがある」）を生成する。そして画像符号化部２４ｂは、階層化データの少なくとも一部を圧縮符号化し、それによって得られたデータを画像符号化データ５０４とする。画像符号化部２４ｂは、生成した画像符号化データ５０４を含むビットストリーム５０５を生成して出力する。
画像符号化部２４ｂでは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）２０００に準拠した圧縮符号化方法が使用される。本例では、画像符号化部２４ｂは、主画像データ５００に対してウェーブレット変換（詳細には離散ウェーブレット変換）を実行して、主画像データ５００を階層化する。以後、ウェーブレットをＷＴと表すことがある。
通信部２５は、ゲートウェイ３と通信を行う通信回路である。通信部２５は、例えばＺｉｇＢｅｅに準拠してゲートウェイ３と無線通信を行う。通信部２５の通信方式はこれに限られない。通信部２５は、ゲートウェイ３からの信号を受信する受信部２５ｂと、ゲートウェイ３に信号を送信する送信部２５ａとを備える。送信部２５ａは、マスク符号化部２４ａで生成されるマスク符号化データ５０３をゲートウェイ３に送信する。また送信部２５ａは、画像符号化部２４ｂで生成されるビットストリーム５０５をゲートウェイ３に送信する。受信部２５ｂは、ゲートウェイ３が送信する後述の指示情報５１８を受信し、受信した指示情報５１８を決定部２６に出力する。
決定部２６は、画像符号化部２４ｂで得られる階層化データから、所定の基準に基づいて、送信対象データを決定する。本例では、所定の基準としては、ＩｏＴ端末２での処理の結果と、ゲートウェイ３からの指示情報５１８とが使用される。ＩｏＴ端末２での処理の結果として、例えば、マスク生成部２３での処理の結果であるマスクデータ５０２が使用される。送信対象データの決定で使用される、ＩｏＴ端末２での処理の結果は、マスクデータ５０２以外であってもよい。
決定部２６は、マスクデータ５０２と、受信部２５ｂで受信される指示情報５１８とに基づいて、階層化データから、送信対象データを決定する。決定部２６は、ゲートウェイ３からの新たな指示情報を受信部２５ｂが受信すると、その新たな指示情報に基づいて送信対象データを決定する。決定部２６は、決定した送信対象データを特定するための特定情報５０６を画像符号化部２４ｂに出力する。画像符号化部２４ｂは、特定情報５０６で特定される送信対象データを圧縮符号化し、それによって得られた符号化データを画像符号化データ５０４として出力する。この画像符号化データ５０４は送信部２５ａからゲートウェイ３に送信される。決定部２６は、階層化データのうち、圧縮符号化する対象のデータを決定する処理を行うとも言える。決定部２６の少なくとも一部は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてよい。また、決定部２６の少なくとも一部は、コンピュータがプログラムを実行することによって実現される機能ブロックであってもよい。
なお縮小部２１には、実写画像を示す画像データではなく、アニメーション画像を示す画像データが入力されてもよい。またＩｏＴ端末２は、カメラ２０を備えていなくてもよい。この場合、縮小部２１には、ＩｏＴ端末２とは別体のカメラから出力される画像データ（実写画像を示す画像データ）が入力されてよいし、アニメーション画像が入力されてよい。
＜ゲートウェイの構成＞
図４はゲートウェイ３の構成の一例を示す図である。図４に示されるように、ゲートウェイ３は、通信部３０、復号化装置３１、データ処理部３２、画像認識部３３、トランスコーダ３４及び通信部３５等で構成される回路構成を備える。ゲートウェイ３は、例えば商用電源を電源として動作を行う。ゲートウェイ３では、復号化装置３１、データ処理部３２、画像認識部３３及びトランスコーダ３４によって、ＩｏＴ端末２からの画像符号化データ５０４に基づいて所定の処理を行う処理部が構成される。
通信部３０は、ＩｏＴ端末２と通信を行う通信回路である。通信部３０は、ＩｏＴ端末２からの信号を受信する受信部３０ａと、ＩｏＴ端末２に信号を送信する送信部３０ｂとを備える。受信部３０ａは、ＩｏＴ端末２から送信されるマスク符号化データ５０３及びビットストリーム５０５を受信する。送信部３０ｂは、ＩｏＴ端末２が送信すべきデータを当該ＩｏＴ端末２に指示するための指示情報５１８を、ＩｏＴ端末２に送信する。指示情報５１８はデータ処理部３２で生成される。
復号化装置３１は、マスク復号化部３１ａ及び画像復号化部３１ｂを備えている。マスク復号化部３１ａは、受信部３０ａが受信するマスク符号化データ５０３を伸張復号化してマスク復号化データ５１０を生成する。この伸張復号化は、上述の図３に示されるマスク符号化部２４ａでの圧縮符号化と逆の処理である。マスク復号化データ５１０は、ＩｏＴ端末２のマスク生成部２３で生成されるマスクデータ５０２を復元したものである。
画像復号化部３１ｂは、受信部３０ａが受信するビットストリーム５０５から画像符号化データ５０４を抽出する。画像復号化部３１ｂは、抽出した画像符号化データ５０４をデータ処理部３２に出力する。また画像復号化部３１ｂは、抽出した画像符号化データ５０４を伸張復号化して画像復号化データ５１１を生成する。この画像復号化データ５１１は、ウェーブレット逆変換（詳細には離散ウェーブレット逆変換）されていないデータである。つまり、画像復号化データ５１１は、ＩｏＴ端末２の画像符号化部２４ｂで生成される階層化データ（ＷＴ変換されたデータ）の少なくとも一部を復元したものである。画像復号化部３１ｂは、受信部３０ａが新たなビットストリーム５０５を受信すると、その新たなビットストリーム５０５に含まれる画像符号化データ５０４を伸張復号化して画像復号化データ５１１を生成する。復号化装置３１の少なくとも一部は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてよい。また、復号化装置３１の少なくとも一部は、コンピュータがプログラムを実行することによって実現される機能ブロックであってもよい。以後、画像復号化データ５１１をＷＴ復号化データ５１１と呼ぶことがある。
データ処理部３２は、画像復号化部３１ｂで生成されるＷＴ復号化データ５１１を後述の第１メモリに記憶する。またデータ処理部３２は、画像復号化部３１ｂからの画像符号化データ５０４を後述する第２メモリに記憶する。
画像認識部３３は、データ処理部３２が生成する認識用データ５１２が示す認識対象画像に対して画像認識処理を行う。画像認識部３３は、画像認識処理において、認識対象画像から、人全体あるいは人の顔等の検出対象物を検出する。なお、検出対象物はこの限りではない。画像認識部３３は、データ処理部３２で使用される、画像認識処理の結果を示す認識結果情報５１３を生成する。また画像認識部３３は、ゲートウェイ３からクラウドサーバ５に送信される、画像認識処理の結果を示す認識結果情報５１４を、通信部３５に出力する。
データ処理部３２は、第１メモリ内のデータに基づいて、画像認識部３３で使用される認識用データ５１２を生成する。データ処理部３２は、画像認識部３３で生成される認識結果情報５１３に基づいて、トランスコーダ３４で使用されるマスクデータ５１５を生成する。マスクデータ５１５は、第１メモリ内のデータに基づく画像におけるＲＯＩ（関心領域）を特定するためのマスクデータである。言い換えれば、マスクデータ５１５は、ＩｏＴ端末２から送信される画像符号化データ５０４に基づく画像におけるＲＯＩを特定するためのマスクデータである。データ処理部３２は、認識結果情報５１３等に基づいて指示情報５１８を生成する。
またデータ処理部３２は、第１メモリ内のデータに基づいて、トランスコーダ３４で使用されるトランスコーダ用復号化データ５１６を生成して出力する。またデータ処理部３２は、第２メモリ内のデータに基づいて、トランスコーダ３４で使用されるトランスコーダ用符号化データ５１７を生成して出力する。
トランスコーダ３４は、データ処理部３２で生成されるマスクデータ５１５に基づいて、トランスコーダ用復号化データ５１６が示す画像からＲＯＩを特定し、特定したＲＯＩを示す、圧縮符号化されたデータをＲＯＩ符号化データとして生成する。ゲートウェイ３は、マスクデータ５１５を変更することによって、様々な形状のＲＯＩを示すＲＯＩ符号化データを生成することができる。トランスコーダ３４は、生成したＲＯＩ符号化データを含むビットストリーム５１９を生成して出力する。またトランスコーダ３４は、トランスコーダ用符号化データ５１７を含むビットストリーム５１９を生成して出力する。
通信部３５は、クラウドサーバ５と通信を行う通信回路である。通信部３５は、トランスコーダ３４から出力されるビットストリーム５１９をクラウドサーバ５に送信する。また通信部３５は、画像認識部３３から出力される認識結果情報５１４をメタデータとしてクラウドサーバ５に送信する。なお、ゲートウェイ３は、認識結果情報５１４を圧縮符号化し、それによって得られた符号化データをクラウドサーバ５に送信してもよい。
クラウドサーバ５は、ゲートウェイ３から受け取ったビットストリーム５１９に含まれる符号化データを伸張復号化し、それによって得られた復号化データ（画像データ）を記憶する。また、クラウドサーバ５は、ゲートウェイ３からのメタデータを記憶する。そして、クラウドサーバ５は、記憶している復号化データ及びメタデータに基づいて、画像検索あるいは画像解析等を行う。
以上のように、本例に係るＩｏＴシステム１では、ＩｏＴ端末２が、主画像を示す階層化データを生成し、生成した階層化データから、所定の基準に基づいて送信対象データを決定する。そして、ＩｏＴ端末２は、決定した送信対象データを圧縮符号化し、それによって得られた符号化データをゲートウェイ３に送信する。これにより、主画像データを示す階層化データのすべてが圧縮符号化され、それによって得られた符号化データがＩｏＴ端末２から送信される場合と比較して、ＩｏＴ端末２の消費電力を低減することができる。また、ＩｏＴ端末２とゲートウェイ３との間のデータ伝送レートが低い場合であっても、ＩｏＴ端末２から送信される符号化データの送信遅延を低減することができる。
＜ＩｏＴ端末の詳細説明＞
＜画像符号化部の詳細説明＞
図５はＩｏＴ端末２の画像符号化部２４ｂの構成の一例を示す図である。図５に示されるように、画像符号化部２４ｂは、階層化部２４０、符号化部２４６及びビットストリーム生成部２４９を備える。階層化部２４０は、主画像データ５００から階層化データを生成する。階層化部２４０は階層化データを生成する生成部であるとも言える。符号化部２４６は、階層化データのうち、決定部２６からの特定情報５０６によって特定される送信対象データを圧縮符号化して画像符号化データ５０４を生成する。ビットストリーム生成部２４９は、画像符号化データ５０４を含むビットストリーム５０５を生成して送信部２５ａに送信する。送信部２５ａは、ビットストリーム５０５をゲートウェイ３に送信する。
＜階層化部＞
階層化部２４０は、ＤＣレベルシフト部２４１、色空間変換部２４２、タイリング部２４３、ウェーブレット変換部２４４（ＷＴ変換部２４４）及び量子化部２４５を備えている。ＤＣレベルシフト部２４１は、主画像データ５００のＤＣレベルを必要に応じて変換する。色空間変換部２４２は、ＤＣレベル変換後の主画像データ５００の色空間を変換する。例えば、ＲＧＢ成分がＹＣｂＣｒ成分（輝度成分Ｙと色差成分Ｃｂ，Ｃｒとから成る）に変換される。タイリング部２４３は、色空間変換後の主画像データ５００を、タイルと呼ばれる矩形状の複数の領域成分に分割する。そして、タイリング部２４３は、主画像データ５００をタイルごとにウェーブレット変換部２４４に入力する。なお、必ずしも主画像データ５００をタイルに分割する必要はなく、色空間変換部２４２から出力された主画像データ５００を、そのままウェーブレット変換部２４４に入力してもよい。
ウェーブレット変換部２４４は、タイリング部２４３で処理された主画像データ５００に対してウェーブレット変換を行って階層化データを生成する。そして、量子化部２４５は、階層化データを量子化して出力する。
＜ウェーブレット変換部＞
ウェーブレット変換部２４４は、タイリング部２４３で処理された主画像データ５００に対して、整数型または実数型の離散ウェーブレット変換（ＤＷＴ）を行い、その結果得られた複数の変換係数を出力する。以下では、変換係数をウェーブレット係数と呼ぶことがある。また、主画像データ５００に対してウェーブレット変換を行うことによって生成されるデータ（ウェーブレット係数の群）を、第１ウェーブレット係数データと呼ぶことがある。ウェーブレット変換部２４４は、生成した第１ウェーブレット係数データを、主画像を示す階層化データとして出力する。
ウェーブレット変換では、２次元画像データが高域成分（換言すれば高周波成分）と低域成分（換言すれば低周波成分）とに分解される。この周波数分解は例えば帯域分割とも呼ばれる。また、周波数分解によって得られた各帯域成分（すなわち低域成分と高域成分のそれぞれ）はサブバンドとも呼ばれる。ここでは、ＪＰＥＧ２０００の基本方式に倣い、垂直方向と水平方向の両方について低域側に分割されたサブバンドのみを再帰的に帯域分割していく、オクターブ分割方式を採用するものとする。再帰的な帯域分割を行った回数は、分解レベルと呼ばれる。分解レベルの情報は、第１ウェーブレット係数データに付随している。
ウェーブレット変換部２４４では、所定の分解レベルまで主画像データ５００が分解される。一般的には分解レベルが３〜５程度の場合に、良好な符号化効率が得られる。なお、ウェーブレット変換部２４４における上記所定の分解レベルを、最大分解レベルと呼ぶ場合もある。本例では、最大分解レベルは３に設定されている。
図６〜８に、２次元でのウェーブレット変換について、Ｍａｌｌａｔ型のウェーブレット平面５５１〜５５３を示す。図６〜８の例によれば、入力画像（２次元画像）は、分解レベル１において（図６参照）、垂直方向と水平方向のそれぞれについて周波数分解が行われる。これにより、図６のウェーブレット平面５５１に示すように、４つのサブバンドＨＨ１，ＨＬ１，ＬＨ１，ＬＬ１に分解される。分解レベル１で得られたサブバンドＬＬ１は、分解レベル２において（図７のウェーブレット平面５５２を参照）、さらに４つのサブバンドＨＨ２，ＨＬ２，ＬＨ２，ＬＬ２に分解される。分解レベル２で得られたサブバンドＬＬ２は、分解レベル３において（図８のウェーブレット平面５５３を参照）、さらに４つのサブバンドＨＨ３，ＨＬ３，ＬＨ３，ＬＬ３に分解される。
２次元のウェーブレット変換に関する表記について、例えばＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなるサブバンドである。その表記法はＸＹｍと一般化される（ＸおよびＹはそれぞれＨ，Ｌのいずれか。ｍは１以上の整数）。すなわち、分解レベルｍにおける水平方向のサブバンドＸと垂直方向のサブバンドＹとからなるサブバンドはＸＹｍと表記される。また、分解レベルを特定しない場合には、水平方向のサブバンドＸと垂直方向のサブバンドＹとからなるサブバンドはＸＹと表記される。
なお以下では、サブバンドＬＬ１，ＬＬ２，・・・のそれぞれをＬＬサブバンドまたはＬＬ成分と略称する場合がある。また、サブバンドＬＬ１をＬＬ１サブバンドまたはＬＬ１成分と呼ぶ場合がある。他のサブバンドについても同様である。
ここで、ウェーブレット平面（図６〜８参照）は、ウェーブレット変換の演算結果データを、原画像（ウェーブレット変換が行われていない状態の画像）中の画素の並びに対応付けて２次元配列したデータ群である。例えばウェーブレット平面においてサブバンドＬＬ１として示されている領域内には、原画像中のある画素を注目画素として得られた演算結果データ（ＬＬ成分）が、原画像中での当該注目画素の位置に対応して並べられている。ウェーブレット係数は画素に対応する値であると言える。
なおウェーブレット平面は、ウェーブレット空間またはウェーブレット領域と呼ばれる場合もある。また、２次元配列された係数を画素値に見立てて、ウェーブレット平面をウェーブレット画像と呼び、サブバンドをサブバンド画像と呼び、ＸＹｍサブバンドをＸＹｍサブバンド画像と呼び、ＸＹサブバンドをＸＹサブバンド画像と呼ぶ場合もある。
分解レベル１において、サブバンドＬＬ１は画像の本質的な情報に対応する。サブバンドＬＬ１によれば、分解前の画像の１／４のサイズの画像（換言すれば、分解前の画像に対する縮小比が１／２の画像）を提供可能である。サブバンドＨＬ１は垂直方向に伸びるエッジの情報に対応し、サブバンドＬＨ１は水平方向に伸びるエッジの情報に対応する。サブバンドＨＨは斜め方向に伸びるエッジの情報に対応する。これらの点は他の分解レベルについても同様である。例えば、分解レベル２のサブバンドＬＬ２，ＨＬ２，ＬＨ２，ＨＨ２は、分解前のサブバンドＬＬ１を原画像と見なした場合におけるサブバンドＬＬ１，ＨＬ１，ＬＨ１，ＨＨ１とそれぞれ同様の関係にある。
以下では、ウェーブレット変換が行われていない状態の原画像を分解レベル０に対応させることにより、当該原画像を分解レベル０のウェーブレット画像または分解レベル０のウェーブレット平面と表現する場合もある。また、分解回数が同じサブバンドにおいて、サブバンドＬＬを最低域のサブバンドと呼ぶことにする。
図９は主画像５００Ａ（原画像）の一例を示す図である。図１０は、図９に示される主画像５００Ａを示す主画像データ５００をウェーブレット変換して得られる、分解レベル３のウェーブレット平面５５３を模式的な画像として示す図である。図９に示される主画像５００Ａには、移動中の人が写る画像５００ａと、木が写る画像５００ｂとが含まれている。図１０に示されるように、ウェーブレット平面上の各サブバンドは、画像５００ａを示す部分５５３ａと、画像５００ｂを示す部分５５３ｂとを含んでいる。
ウェーブレット平面５５３上の各サブバンドは、主画像５００Ａを示すデータであると言える。サブバンド分割回数が３回のサブバンドＬＬ３，ＨＬ３，ＬＨ３，ＨＨ３が示す主画像５００Ａの解像度は、サブバンド分割回数が２回のサブバンドＨＬ２，ＬＨ２，ＨＨ２が示す主画像の解像度よりも低いと言える。また、サブバンド分割回数が２回のサブバンドＨＬ２，ＬＨ２，ＨＨ２が示す主画像５００Ａの解像度は、サブバンド分割回数が１回のサブバンドＨＬ１，ＬＨ１，ＨＨ１が示す主画像５００Ａの解像度よりも低いと言える。そして、サブバンド分割回数が１回のサブバンドＨＬ１，ＬＨ１，ＨＨ１が示す主画像５００Ａの解像度は、サブバンド分割されていない主画像５００Ａの解像度よりも低いと言える。
このように、第１ウェーブレット係数データは、解像度が互いに異なる主画像を示す複数階層データで構成されていると言える。
なおＭａｌｌａｔ型では、上記のように、ＬＬ成分を水平方向と垂直方向のそれぞれについて同じ回数で、再帰的に分解する。また後述のように、Ｍａｌｌａｔ型では分解とは逆の手順でサブバンドが合成される。ただし、水平方向と垂直方向のそれぞれのＬ成分とＨ成分を同じ回数で、分解および合成する必要はない。すなわち、Ｍａｌｌａｔ型とは異なる型式のウェーブレット変換を用いてもよい。また、分解回数が同じサブバンドのウェーブレット平面上の大きさは同じでなくもよい。
また、原画像及びウェーブレット画像において左上端を座標系の原点に採り、原点を０として扱い、ウェーブレット変換のＬ成分出力を偶数として扱い、Ｈ成分出力を奇数として扱う例を挙げる。ただし、Ｌ成分出力を奇数として扱い、Ｈ成分出力を偶数として扱うことも可能である。なお、ウェーブレット平面（図６〜８参照）は、ウェーブレット変換の偶数番目および奇数番目の出力を、サブバンドごとに再配置した概念的な平面である。
＜量子化部＞
量子化部２４５は、ウェーブレット変換部２４４から出力される第１ウェーブレット係数データに対して、量子化ステップサイズに基づいて、スカラー量子化を行い、それにより第１量子化ウェーブレット係数データを生成する。第１量子化ウェーブレット係数データは、量子化された階層化データである。量子化ステップサイズは、例えば目標画質に応じて設定される。量子化ステップサイズを変更することによって、第１量子化ウェーブレット係数データが示す画像の解像度を調整することができる。
第１量子化ウェーブレット係数データは、第１ウェーブレット係数データと同様のデータ構造を有している。このため、第１量子化ウェーブレット係数データによれば、第１ウェーブレット係数データと同様に、ウェーブレット画像が提供される。第１量子化ウェーブレット係数データによって提供されるウェーブレット画像を、量子化ウェーブレット画像と呼ぶ場合もある。
＜符号化部＞
符号化部２４６は、量子化部２４５によって生成された第１量子化ウェーブレット係数データ（階層化データ）のうち、特定情報５０６によって特定される送信対象データの圧縮符号化を行って画像符号化データ５０４を生成する。符号化部２４６では、例えば、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）に従ってエントロピー符号化が行われる。本例では、符号化部２４６は、係数ビットモデリング部２４７及びエントロピー符号化部２４８を備える。
係数ビットモデリング部２４７は、第１量子化ウェーブレット係数データに対してビットモデリング処理を行う。具体的には、係数ビットモデリング部２４７は、第１量子化ウェーブレット係数データに含まれる各サブバンドを、３２×３２あるいは６４×６４程度の「コードブロック」と呼ばれる領域に分割する。図１１は、量子化ウェーブレット画像５６３の各サブバンドが複数のコードブロック５７０に分割されている様子の一例を示す図である。図１１に示されるように、サブバンドは、その左上端を基準にして、複数のコードブロック５７０に分割される。
係数ビットモデリング部２４７は、各サブバンドを複数のコードブロックに分割すると、決定部２６からの特定情報５０６から送信対象のコードブロックを特定する。そして係数ビットモデリング部２４７は、特定したコードブロックを、各ビットの２次元配列で構成される複数のビットプレーンに分解する。以後、特定情報５０６によって特定される送信対象のコードブロックを送信対象コードブロックと呼ぶことがある。
図１２は、コードブロック５７０を構成するｎ枚のビットプレーン５７１０〜５７１ｎ−１（ｎ：自然数）の一例を示す図である。係数ビットモデリング部２４７は、送信対象コードブロック５７０中の各量子化ウェーブレット係数の二進値を構成する各ビットを別々のビットプレーンに割り当てる。図１２に示されるように、コードブロック５７０中の１点の量子化ウェーブレット係数の２進値５７２が“０１１・・・０”である場合、この２進値５７２を構成する複数のビットは、それぞれ、ビットプレーン５７１ｎ−１，５７１ｎ−２，５７１ｎ−３，・・・，５７１０に属するように分解される。図中のビットプレーン５７１ｎ−１は、量子化ウェーブレット係数の最上位ビット（ＭＳＢ）のみからなる最上位ビットプレーンを表し、ビットプレーン５７１０は、その最下位ビット（ＬＳＢ）のみからなる最下位ビットプレーンを表している。
さらに、係数ビットモデリング部２４７は、各ビットプレーン５７１ｋ（ｋ＝０〜ｎ−１）内の各ビットのコンテクスト（context）判定を行い、図１３に示すように、各ビットの有意性（判定結果）に応じて、ビットプレーン５７１ｋを３種類の符号化パス、すなわち、ＣＬパス（CLeanup pass）、ＭＲパス（Magnitude Refinement pass）及びＳＩＧパス（SIGnificance propagation pass）に分解する。各符号化パスに関するコンテクスト判定のアルゴリズムは、ＪＰＥＧ２０００の規格で定められている。それによれば、「有意である」とは、これまでの符号化処理において注目係数がゼロでないとわかっている状態のことを意味する。また「有意で無い」とは、係数がゼロであるか、あるいはゼロである可能性がある状態のことを意味する。
係数ビットモデリング部２４７は、ＳＩＧパス（有意な係数が周囲にある有意でない係数の符号化パス）、ＭＲパス（有意な係数の符号化パス）及びＣＬパス（ＳＩＧパス及びＭＲパスに該当しない残りの係数の符号化パス）の３種類の符号化パスでビットプレーン符号化を実行する。ビットプレーン符号化は、最上位ビットプレーンから最下位ビットプレーンにかけて、各ビットプレーンのビットを４ビット単位で走査し、有意な係数が存在するか否かを判定することで行われる。有意で無い係数（０ビット）のみで構成されるビットプレーンの数は零ビットプレーン情報として、ビットストリーム生成部２４９が生成する後述のパケットヘッダに含められる。ビットプレーン符号化では、有意な係数が最初に出現したビットプレーンから実際の符号化が開始される。その符号化開始のビットプレーンはＣＬパスのみで符号化され、当該ビットプレーンよりも下位のビットプレーンは、上記３種類の符号化パスで順次符号化される。
エントロピー符号化部２４８は、係数ビットモデリング部２４７で生成されたデータに対してエントロピー符号化を行って、画像符号化データ５０４を生成する。画像符号化データ５０４は、圧縮符号化された送信対象コードブロックで構成されている。エントロピー符号化としては、例えば算術符号化が利用される。
なお符号化部２４６では、エントロピー符号化部２４８によって生成された画像符号化データ５０４に対してレート制御を行って、符号量を制御してもよい。以後、画像符号化データ５０４に含まれるコードブロックを符号化ブロックと呼ぶことがある。
本例では、画像符号化データ５０４に含まれる各符号化ブロックには、その符号化ブロックについての量子化ウェーブレット画像での位置を示すブロック位置情報が付随している。符号化ブロックに付随するブロック位置情報は、当該符号化ブロックについてのウェーブレット画像での位置を示しているとも言える。
＜ビットストリーム生成部＞
ビットストリーム生成部２４９は、画像符号化データ５０４を含むビットストリーム５０５を生成する。具体的には、ビットストリーム生成部２４９は、画像符号化データ５０４をパケット化し、それによって生成されたパケットデータと付加情報を含むビットストリーム５０５を生成する。付加情報には、パケットヘッダ、レイヤー構成情報、スケーラビリティ情報及び量子化テーブルなどが含まれる。パケットヘッダには、零長パケット情報、コードブロックの包含情報、零ビットプレーン情報、符号化パス数情報及びコードブロックの符号量情報（コードブロックの圧縮データ長）が含まれている。パケットヘッダは符号化されてビットストリーム５０５に含められる。
＜マスク生成部の詳細説明＞
図１４はＩｏＴ端末２のマスク生成部２３の構成の一例を示す図である。図１４に示されるように、マスク生成部２３は、原マスク生成部２３０及びマスク展開部２３１を備えている。
原マスク生成部２３０は、縮小画像メモリ２２ａ内の縮小画像データ５０１に基づいて、主画像においてＲＯＩと非ＲＯＩとを判別するための原マスクのデータである原マスクデータを生成する。
原マスク生成部２３０は、各種のマスク生成技術によって構成可能である。例えば動画中の動体を検出する技術が知られており、この動体検出技術を利用すれば、主画像中の、動体が写る部分をＲＯＩに設定したマスクを生成できる。また、デジタルカメラによって撮影された静止画を対象として、グラフカットによって、画像全体から前景画像と背景画像とを分離する技術が知られている。この画像分離技術を利用すれば、原マスク生成部２３０は、主画像に含まれる前景画像をＲＯＩに設定したマスクを生成できる。
図１５は原マスク５８０の一例を示す図である。図１５に示される原マスク５８０は、上述の図９に示される主画像５００Ａにおいて、移動中の人が写る画像５００ａをＲＯＩに設定し、それ以外の部分を非ＲＯＩに設定した場合の原マスクである。
原マスク５８０は、主画像５００Ａ中の各画素がＲＯＩと非ＲＯＩのどちらに属するのかを示す画像として理解できる。原マスク５８０は、主画像５００Ａ中のＲＯＩ及び非ＲＯＩにそれぞれ対応するＲＯＩ対応部分５８０ａ及び非ＲＯＩ対応部分５８０ｂを有している。図１５において、白抜き部分がＲＯＩ対応部分５８０ａであり、黒塗り部分が非ＲＯＩ対応部分５８０ｂである。
マスク展開部２３１はマスク展開処理を行う。具体的には、マスク展開部２３１は、原マスク５８０のＲＯＩ対応部分５８０ａおよび非ＲＯＩ対応部分５８０ｂを、ウェーブレット変換部２４４で生成される第１ウェーブレット係数データに含まれる各サブバンド用に（換言すれば、第１ウェーブレット係数データに対応するウェーブレット画像に含まれる各サブバンド用に）展開する。このようなマスク展開処理によって、第１ウェーブレット係数データ用のマスクである展開マスクが生成される。展開マスクは、第１ウェーブレット係数データについて、ＲＯＩに関与する係数（以後、ＲＯＩ係数と呼ぶ）と、非ＲＯＩに関与する係数（以後、非ＲＯＩ係数と呼ぶ）とを判別するためのマスクである。
図１６〜１８に、図１５の原マスク５８０を分解レベル１，２，３のウェーブレット平面５５１〜５５３（図６〜８参照）に展開した展開マスク５８１，５８２，５８３をそれぞれ示す。展開マスク５８１，５８２，５８３において、ＲＯＩ対応部分５８１ａ，５８２ａ，５８３ａが白抜きで図示され、非ＲＯＩ対応部分５８１ｂ，５８２ｂ，５８３ｂが黒塗りで図示されている。
ここで、展開マスクは、ウェーブレット画像に含まれる各サブバンド用のマスクの集合体として把握できる。すなわち、サブバンドごとのマスクをサブバンドマスクと呼ぶことにすると、展開マスクはサブバンドマスクの集合体として把握できる。例えば、展開マスクのうちでＬＬサブバンド用の部分をＬＬサブバンドマスクと呼ぶことにする。他のサブバンドに対応する部分についても同様とする。展開マスクの分解レベルは、当該展開マスクのデータに付随するものとする。
図１９はマスク展開処理を示すフローチャートである。図１９に示されるように、マスク展開処理では、マスクの分解レベルを１段階上げる処理（以下、レベル増加単位処理とも呼ぶ）が行われる（ステップｓ２参照）。第１ウェーブレット係数データの分解レベルが２以上である場合、その分解レベルのマスクが得られるまで、レベル増加単位処理が繰り返される（ステップｓ１参照）。なお、図１９中のステップｓ１において、第１ウェーブレット係数データの分解レベルをｇ１と表記している。
レベル増加単位処理では、処理対象とする現在のマスクを、現在のマスクが適用される現在のウェーブレット平面よりも分解レベルが１段階高い新ウェーブレット平面用の新マスクに変換する。なお、現在のマスクが原マスクである場合、現在のウェーブレット平面はウェーブレット変換前の原画像が対応する。上記のように原画像を分解レベル０のウェーブレット平面と表現することによって、現在のウェーブレット平面には原画像も含まれることが理解できる。
レベル増加単位処理の繰り返しは、再帰的に行われる。すなわち、新マスクを次の現在のマスクに設定することによって、レベル増加単位処理が再度行われる。また、レベル増加単位処理の繰り返しは、ウェーブレット変換の方式に従って行われる。例えば上記のＭａｌｌａｔ型の方式が採用されている場合（図６〜図８参照）、ウェーブレット平面は最低域のサブバンドＬＬのみを再帰的に分解していく。このため、マスクの展開もサブバンドＬＬに対応する部分に対してのみ再帰的に行う。
レベル増加単位処理は所定のマスク展開条件に基づいて行われ、マスク展開条件はウェーブレット変換のフィルタのタップ数に依存する。
例えばウェーブレット変換の演算処理において５×３フィルタが使用される場合、マスク展開条件は、図２０に基づいた２つの条件（第１展開条件と第２展開条件と呼ぶことにする）を含む。５×３フィルタでは、分解側のローパスフィルタが５タップであり、分解側のハイパスフィルタが３タップである。
第１展開条件：現在のウェーブレット平面上の偶数番目（ｐを整数として、２ｐ番目と表記できる）のデータが現在のマスクによってＲＯＩに対応付けられている場合、新ウェーブレット平面において低域成分（ローパスフィルタの側の出力データに対応する）のｐ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。それと共に、新ウェーブレット平面において高域成分（ハイパスフィルタの側の出力データに対応する）の｛ｐ−１｝番目およびｐ番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。
第２展開条件：現在のウェーブレット平面上の｛２ｐ＋１｝番目のデータが現在のマスクによってＲＯＩに対応付けられているとき、新ウェーブレット平面において低域成分のｐ番目および｛ｐ＋１｝番目ならびに高域成分の｛ｐ−１｝番目から｛ｐ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。
また、ウェーブレット変換の演算処理においてDaubechies９×７フィルタが用いられる場合、マスク展開条件は、図２１に基づいた２つの条件（第３展開条件と第４展開条件と呼ぶことにする）を含む。Daubechies９×７フィルタでは、分解側のローパスフィルタが９タップであり、分解側のハイパスフィルタが７タップである。
第３展開条件：現在のウェーブレット平面上の２ｐ番目のデータが現在のマスクによってＲＯＩに対応付けられているとき、新ウェーブレット平面において低域成分の｛ｐ−１｝番目から｛ｐ＋１｝番目および高域成分の｛ｐ−２｝番目から｛ｐ＋１｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。
第４展開条件：現在のウェーブレット平面上の｛２ｐ＋１｝番目のデータが現在のマスクによってＲＯＩに対応付けられているとき、新ウェーブレット平面において低域成分の｛ｐ−１｝番目から｛ｐ＋２｝番目および高域成分の｛ｐ−２｝番目から｛ｐ＋２｝番目のデータがＲＯＩに対応付けられるように、新マスクを形成する。
マスク展開部２３１は、分解レベルが最も高いウェーブレット平面に対応する展開マスク（以後、最大展開マスクと呼ぶことがある）のデータをマスクデータ５０２として出力する。第１ウェーブレット係数データの分解レベルが３の場合、マスク展開部２３１は、分解レベル３の展開マスク５８３（図１８参照）を生成し、当該展開マスク５８３のデータ（最大展開マスクのデータ）をマスクデータ５０２として出力する。最大展開マスクのデータは、量子化部２４５で生成される第１量子化ウェーブレット係数データについてＲＯＩ係数と非ＲＯＩ係数とを判別するためのマスクであると言える。量子化ウェーブレット画像において、最大展開マスクのＲＯＩ対応部分と同じ位置にある値（係数）がＲＯＩ係数となり、最大展開マスクの非ＲＯＩ対応部分と同じ位置にある値（係数）が非ＲＯＩ係数となる。
なおマスク生成部２３は、主画像データ５００に基づいてマスクデータ５０２を生成してもよい。上記のように、縮小画像データ５０１に基づいてマスクデータ５０２が生成される場合には、ＩｏＴ端末２の処理を簡素化することができ、その結果、ＩｏＴ端末２の消費電力を低減することができる。
＜決定部の詳細説明＞
ＩｏＴ端末２の決定部２６は、ゲートウェイ３からの指示情報５１８と、マスク生成部２３で生成されるマスクデータ５０２とに基づいて、送信対象コードブロックを決定する。そして、決定部２６は、決定した送信対象コードブロックを特定するための特定情報５０６を画像符号化部２４ｂに出力する。これにより、ＩｏＴ端末２からは、送信対象コードブロックを圧縮符号化して得られる画像符号化データ５０４が、ゲートウェイ３に送信される。
ここで、ゲートウェイ３は、指示情報５１８を用いて、決定部２６が送信対象コードブロックを決定する際にマスクデータ５０２を使用するか否かを指示することもできる。ゲートウェイ３は、送信対象コードブロックの決定にマスクデータ５０２を使用することを指示する場合には、マスクデータ５０２の使用を指示するための使用可情報を指示情報５１８に含める。一方で、ゲートウェイ３は、送信対象コードブロックの決定にマスクデータ５０２を使用しないことを指示する場合には、マスクデータ５０２の不使用を指示するための使用不可情報を指示情報５１８に含める。
またゲートウェイ３は、指示情報５１８を用いて、ＩｏＴ端末２が送信すべきデータを自由に指定することができる。例えば、ゲートウェイ３は、ＩｏＴ端末２が送信すべきデータをコードブロック単位で指定することができる。またゲートウェイ３は、ＩｏＴ端末２が送信すべきデータをサブバンド単位で指定することができる。例えば、ゲートウェイ３は、ＩｏＴ端末２が送信すべきデータとして、量子化ウェーブレット係数に含まれるサブバンドＬＬ３のデータを指定することができる。またゲートウェイ３は、ＩｏＴ端末２が送信すべきデータとして、例えば、量子化ウェーブレット係数に含まれるサブバンドＨＨ３，ＨＬ３のデータを指定することができる。またゲートウェイ３は、ＩｏＴ端末２が送信すべきデータを分解レベル単位で指定することもできる。例えば、ゲートウェイ３は、ＩｏＴ端末２が送信すべきデータとして、量子化ウェーブレット係数に含まれる分解レベル２のデータを指定することができる。この場合には、量子化ウェーブレット係数に含まれるサブバンドＨＨ２，ＬＨ２，ＨＬ２のデータが指定される。またゲートウェイ３は、ＩｏＴ端末２が送信すべきデータとして、例えば、量子化ウェーブレット係数に含まれる分解レベル１，２のデータを指定することができる。この場合には、量子化ウェーブレット係数に含まれるサブバンドＨＨ１，ＬＨ１，ＨＬ１，ＨＨ２，ＬＨ２，ＨＬ２のデータが指定される。以後、ゲートウェイ３が指示情報５１８で指定するデータを指定データと呼ぶことがある。指定データは、指示情報５１８によってＩｏＴ端末２に指示される、ＩｏＴ端末２が送信すべきデータであると言える。
決定部２６は、ゲートウェイ３からの指示情報５１８に使用可情報が含まれている場合には、当該指示情報５１８で指定される指定データのうち、マスクデータ５０２が示す最大展開マスクのＲＯＩ対応部分に対応するコードブロック５７０を送信対象データとする。一方で、決定部２６は、ゲートウェイ３からの指示情報５１８に使用不可情報が含まれている場合には、当該指示情報５１８で指定される指定データをそのまま送信対象データとする。
図２２は、上述の図１８に示される最大展開マスク５８３とコードブロック５７０との対応関係を示す図である。例えば、指示情報５１８が使用不可情報を含み、当該指示情報５１８によって指定される指定データがサブバンドＬＬ３のデータである場合、決定部２６は、サブバンドＬＬ３のすべてのコードブロック５７０ａ〜５７０ｉを送信対象コードブロックとして決定する。これにより、コードブロック５７０ａ〜５７０ｉが圧縮符号化されてゲートウェイ３に送信される。
一方で、指示情報５１８が使用可情報を含み、当該指示情報５１８によって指定される指定データがサブバンドＬＬ３のデータである場合、決定部２６は、サブバンドＬＬ３のコードブロック５７０ａ〜５７０ｉのうち、最大展開マスク５８３のＬＬ３サブバンドマスク５８３ＬＬ３に含まれるＲＯＩ対応部分５８３ａに対応する４つのコードブロック５７０ｄ，５７０ｅ，５７０ｇ，５７０ｈを送信対象コードブロックに決定する。これにより、コードブロック５７０ｄ，５７０ｅ，５７０ｇ，５７０ｈが圧縮符号化されてゲートウェイ３に送信される。決定部２６は、図２２のように、最大展開マスク５８３に対して各コードブロック５７０を重ねた場合に、ＬＬ３サブバンドマスク５８３ＬＬ３のＲＯＩ対応部分５８３ａの少なくとも一部を含むコードブロック５７０を、当該ＲＯＩ対応部分５８３ａに対応するコードブロック５７０とする。
＜ゲートウェイの詳細説明＞
＜画像復号化部の詳細説明＞
図２３はゲートウェイ３の画像復号化部３１ｂの構成の一例を示す図である。図２３に示されるように、画像復号化部３１ｂは、ビットストリーム解析部３１０、復号化部３１１及び逆量子化部３１４を備えている。
ビットストリーム解析部３１０は、ＩｏＴ端末２からのビットストリーム５０５を解析して、当該ビットストリーム５０５から画像符号化データ５０４及び付加情報を抽出する。ビットストリーム解析部３１０は、抽出した画像符号化データ５０４を復号化部３１１及びデータ処理部３２に出力する。またビットストリーム解析部３１０は、抽出した付加情報に含まれる符号化されたパケットヘッダを復号化する。付加情報は、復号化部３１１及び逆量子化部３１４等で使用される。
復号化部３１１は画像符号化データ５０４に対して所定の伸張復号化を行う。所定の伸張復号化は、符号量制御を除いて、基本的には、図５の符号化部２４６における圧縮符号化とは逆の処理にあたる。所定の伸張復号化によって、画像符号化データ５０４から、量子化ウェーブレット係数が生成される。本例では、復号化部３１１は、エントロピー復号化部３１２及び係数ビットモデリング部３１３を備えている。
エントロピー復号化部３１２は、画像符号化データ５０４に対してエントロピー復号化を行って、ビットデータを生成する。エントロピー復号化は、図５のエントロピー符号化部２４８におけるエントロピー符号化とは逆の処理にあたる。
係数ビットモデリング部３１３は、エントロピー復号化部３１２で生成されたビットデータに対してビットモデリング処理を行って、量子化ウェーブレット係数を復元する。ここでのビットモデリング処理は、図５の係数ビットモデリング部２４７におけるそれとは逆の処理にあたる。係数ビットモデリング部３１３は、生成した量子化ウェーブレット係数を逆量子化部３１４に入力する。以後、係数ビットモデリング部３１３で生成されるデータ（量子化ウェーブレット係数の群）を、第２量子化ウェーブレット係数データと呼ぶことがある。第２量子化ウェーブレット係数データは、ＩｏＴ端末２で決定された送信対象コードブロックで構成されている。
逆量子化部３１４は、入力される第２量子化ウェーブレット係数データに対して逆量子化を行う。ここでの逆量子化は、図５の量子化部２４５における量子化とは逆の処理にあたる。逆量子化によって、第２量子化ウェーブレット係数データは、第２ウェーブレット係数データに変換される。逆量子化部３１４は、生成した第２ウェーブレット係数データをＷＴ復号化データ５１１として出力する。ＷＴ復号化データ５１１は、逆量子化された送信対象コードブロックで構成されている。以後、ＷＴ復号化データ５１１に含まれるコードブロックをＷＴ復号化ブロックと呼ぶことがある。本例では、画像符号化データ５０４と同様に、ＷＴ復号化データ５１１に含まれる各ＷＴ復号化ブロックには、当該ＷＴ復号化ブロックについてのウェーブレット画像での位置を示すブロック位置情報が付随している。
＜データ処理部の詳細説明＞
図２４はデータ処理部３２の構成の一例を示す図である。図２４に示されるように、データ処理部３２は、認識用データ生成部３２０、第１処理部３２１、第２処理部３２２、第１メモリ３２３及び第２メモリ３２４を備えている。第１メモリ３２３は、第１処理部３２１によってデータの読み出し及び書き込みが行われる。第２メモリ３２４は、画像復号化部３１ｂから出力される画像符号化データ５０４を記憶する。第２メモリ３２４内のデータは第２処理部３２２によって読み出される。
＜認識用データ生成部＞
図２５は認識用データ生成部３２０の構成の一例を示す図である。図２５に示されるように、認識用データ生成部３２０は、逆ウェーブレット変換部３２０１、色空間変換部３２０２及びＤＣレベルシフト部３２０３を備えている。
逆ウェーブレット変換部３２０１は、ウェーブレット係数から成る入力データに対して逆ウェーブレット変換（詳細には逆離散ウェーブレット変換）を行う。
ここで、認識用データ生成部３２０には、第１処理部３２１で生成される逆変換非対象データ５２１及び逆変換対象データ５２２が入力される。逆変換非対象データ５２１は、逆ウェーブレット変換部３２０１で逆ウェーブレット変換されないデータである。逆変換非対象データ５２１は、例えば、１つのサブバンドのウェーブレット係数だけで構成される。逆変換非対象データ５２１は、例えば、ＬＬ３サブバンドのウェーブレット係数だけで構成される。また逆変換非対象データ５２１は、例えば、ＨＨ３サブバンドのウェーブレット係数で構成される。また逆変換非対象データ５２１は、例えば、ＨＬ１サブバンドのウェーブレット係数で構成される。逆変換非対象データ５２１は、逆ウェーブレット変換できないデータであると言える。
一方で、逆変換対象データ５２２は、逆ウェーブレット変換可能なデータであって、逆ウェーブレット変換部３２０１で逆ウェーブレット変換される。逆変換対象データ５２２は、例えば、同じ分解レベルのＬＬサブバンド、ＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドのウェーブレット係数だけで構成される。また逆変換対象データ５２２は、例えば、同じ分解レベルのＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドのウェーブレット係数と、それと同じ分解レベルのＬＬバンドを復元可能な、それよりも下の分解レベルの複数のサブバンドのウェーブレット係数とだけで構成される。
逆ウェーブレット変換部３２０１は、逆変換対象データ５２２に含まれるウェーブレット係数の分解レベルのうちの最も低い分解レベルが１でない場合には、その最も低い分解レベルよりも一つ下の分解レベルのＬＬサブバンドのウェーブレット係数が得られるように、逆変換対象データ５２２に対して逆ウェーブレット変換を行う。一方で、逆ウェーブレット変換部３２０１は、逆変換対象データ５２２に含まれるウェーブレット係数の分解レベルのうちの最も低い分解レベルが１である場合には、原画の画素値が得られるように、逆変換対象データ５２２に対して逆ウェーブレット変換を行う。
例えば、逆変換対象データ５２２が、分解レベル３のＬＬ３サブバンド、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドのウェーブレット係数で構成されている場合を考える。この場合には、逆ウェーブレット変換部３２０１では、分解レベル２のＬＬ２サブバンドのウェーブレット係数が得られる。
また、逆変換対象データ５２２が、分解レベル２のＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブバンドのウェーブレット係数と、分解レベル３のＬＬ３サブバンド、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドのウェーブレット係数とで構成されている場合を考える。この場合には、逆ウェーブレット変換部３２０１では、分解レベル１のＬＬ１サブバンドのウェーブレット係数が得られる。分解レベル３のＬＬ３サブバンド、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドは、分解レベル２のＬＬ２サブバンドを復元可能なサブバンドである。
また、逆変換対象データ５２２が、分解レベル１のＬＨ１サブバンド、ＨＬ１サブバンド及びＨＨ１サブバンドのウェーブレット係数と、分解レベル２のＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブバンドと分解レベル３のＬＬ３サブバンド、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドのウェーブレット係数とで構成されている場合を考える。この場合には、逆ウェーブレット変換部３２０１では、原画（主画像）の画素値が得られる。分解レベル２のＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブバンドと分解レベル３のＬＬ３サブバンド、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドは、分解レベル１のＬＬ１サブバンドを復元可能なサブバンドである。
逆ウェーブレット変換部３２０１で生成されるＬＬサブバンドのウェーブレット係数は、ＬＬデータ５２０として第１処理部３２１に出力される。つまり、逆ウェーブレット変換部３２０１で生成されるＬＬ３サブバンドのウェーブレット係数、ＬＬ２サブバンドのウェーブレット係数及びＬＬ１サブバンドのウェーブレット係数は、それぞれＬＬデータ５２０として第１処理部３２１に入力される。
ここで、ゲートウェイ３では、逆ウェーブレット変換部３２０１から出力されるウェーブレット係数が画素値として取り扱われる。したがって、逆ウェーブレット変換部３２０１からは、複数の画素値を含む画像データが出力されると言える。また、逆変換非対象データ５２１に含まれるウェーブレット係数も画素値として取り扱われる。したがって、逆変換非対象データ５２１は一種の画像データであると言える。
色空間変換部３２０２は、逆ウェーブレット変換部３２０１から出力される画像データに対して、図５の色空間変換部２４２での処理と逆の処理を行う。また色空間変換部３２０２は、認識用データ生成部３２０に入力される逆変換非対象データ５２１（画像データ）に対して、色空間変換部２４２での処理と逆の処理を行う。ＤＣレベルシフト部３２０３は、色空間変換部３２０２から出力される画像データのＤＣレベルを必要に応じて変換する。ＤＣレベルシフト部３２０３から出力される画像データが認識用データ５１２となる。
以上の説明から理解できるように、認識用データ５１２は、復元された、主画像データ５００の少なくとも一部、あるいは復元された、サブバンドの少なくとも一部となる。よって、認識用データ５１２が示す認識対象画像は、主画像（サブバンド分割されていない主画像）の少なくとも一部、あるいはサブバンド画像の少なくとも一部を示す。
＜第１処理部＞
第１処理部３２１は、データ書き込み処理、マスク生成処理、入力データ生成処理及び指示情報生成処理を行う。
＜データ書き込み処理＞
第１処理部３２１は、画像復号化部３１ｂから出力されるＷＴ復号化データ５１１（ＷＴ復号化ブロック）を第１メモリ３２３に記憶する。このとき、ＷＴ復号化データ５１１に含まれる各ＷＴ復号化ブロックに付随するブロック位置情報も第１メモリ３２３に記憶される。また第１処理部３２１は、認識用データ生成部３２０から出力されるＬＬデータ５２０を第１メモリ３２３に記憶する。
＜マスク生成処理＞
第１処理部３２１は、画像認識部３３から出力される認識結果情報５１３に基づいてマスクデータ５１５を生成する。
ここで、画像認識部３３は、認識用データ５１２が示す認識対象画像から検出対象物を検出すると、検出対象物が検出されたことを示す検出情報を含む認識結果情報５１３を出力する。一方、画像認識部３３は、認識対象画像から検出対象物が検出できなかったときには、検出対象物が検出されなかったことを示す未検出情報を含む認識結果情報５１３を出力する。
第１処理部３２１は、検出情報を含む認識結果情報５１３を受け取ると、主画像において、画像認識部３３で検出された検出対象物が写る検出対象物画像を特定する。第１処理部３２１は、第１メモリ３２３内のブロック位置情報に基づいて検出対象物画像を特定することができる。第１処理部３２１は、主画像において、特定した検出対象物画像をＲＯＩとし、それ以外の領域を非ＲＯＩとする。画像認識部３３が、主画像から複数の検出対象物を検出した場合には、主画像において、当該複数の検出対象物がそれぞれ映る複数の検出対象物画像がＲＯＩとされる。以後、第１処理部３２１で設定されるＲＯＩ及び非ＲＯＩを「ゲートウェイ側ＲＯＩ」及び「ゲートウェイ側非ＲＯＩ」と呼ぶことがある。
第１処理部３２１は、主画像においてゲートウェイ側ＲＯＩとゲートウェイ側非ＲＯＩとを判別するための原マスクを生成する。第１処理部３２１は、生成した原マスクから、ＩｏＴ端末２で生成される上述の最大展開マスクと同様の、最大分解レベルのウェーブレット平面に対応する使用マスク（最大展開マスク）を生成する。使用マスクは、ＩｏＴ端末２のマスク生成部２３で実行されるマスク展開処理を使用することによって生成することができる。また第１処理部３２１は、マスク展開処理を行わずに、マスク復号化データ５１０が示すマスクを使用して使用マスクを生成することができる。第１処理部３２１は、使用マスクのデータをマスクデータ５１５としてトランスコーダ３４に入力する。マスクデータ５１５が示す使用マスクは、主画像全体をウェーブレット変換して得られるウェーブレット平面においてＲＯＩ係数と非ＲＯＩ係数とを判別するためのマスクであると言える。なお、使用マスクは、主画像の一部だけをウェーブレット変換して得られるウェーブレット平面においてＲＯＩ係数と非ＲＯＩ係数とを判別するためのマスクであってもよい。
上記の例では、第１処理部３２１は、画像認識処理で検出された検出対象物の画像をＲＯＩとしたが、主画像のうちの他の部分をＲＯＩとすることもできる。第１処理部３２１は、主画像においてＲＯＩを自由に設定することができる。例えば、第１処理部３２１は、主画像において、クラウドサーバ５が指定する部分をＲＯＩとすることもできる。
＜入力データ生成処理＞
第１処理部３２１は、第１メモリ３２３内のデータを使用して、認識用データ生成部３２０に入力される入力データである逆変換非対象データ５２１及び逆変換対象データ５２２を生成する。第１処理部３２１は、認識対象画像をどのような画像にするかを決定し、それに応じて逆変換非対象データ５２１あるいは逆変換対象データ５２２を生成する。第１処理部３２１は、例えば、ＬＬ３サブバンド画像全体を認識対象画像とする場合には、ＬＬ３サブバンドで構成される逆変換非対象データ５２１を生成して認識用データ生成部３２０に入力する。また第１処理部３２１は、ＬＬ２サブバンド画像全体を認識対象画像とする場合には、ＬＬ３サブバンド、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドで構成される逆変換対象データ５２２を生成して認識用データ生成部３２０に入力する。認識対象画像をどのような画像にするかについては、過去の認識結果情報５１３、検出対象物の種類及びＩｏＴ端末２のカメラ２０の撮影範囲等に基づいて決定される。
＜指示情報生成処理＞
第１処理部３２１は、認識結果情報５１３等に基づいてＩｏＴ端末２が送信すべきデータを決定し、決定したデータ（指定データ）を送信することを指示するための指示情報５１８を生成する。このとき、第１処理部３２１は、指示情報５１８に、使用不可情報を含めるか、使用可情報を含めるかを決定する。そして、第１処理部３２１は、生成した指示情報５１８を送信部３０ｂに入力する。
例えば、第１メモリ３２３内にＬＬ３サブバンドが記憶されており、認識対象画像がＬＬ３サブバンド画像である場合を考える。画像認識部３３がＬＬ３サブバンド画像に対して画像認識処理を行った結果、検出対象物が検出されてなかった場合、第１処理部３２１は、非検出情報を含む認識結果情報５１３を受け取る。認識結果情報５１３を受け取った第１処理部３２１は、次の認識対象画像を例えばＬＬ２サブバンド画像にするために、ＩｏＴ端末２が送信すべきデータを、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドとする。そして、第１処理部３２１は、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドを送信することを指示するための指示情報５１８を生成して送信部３０ｂに入力する。これにより、指示情報５１８を受け取ったＩｏＴ端末２は、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドを含む画像符号化データ５０４を送信する。画像符号化データ５０４を受け取ったゲートウェイ３では、第１処理部３２１が、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドを第１メモリ３２３に記憶する。そして、第１処理部３２１は、第１メモリ３２３内のＬＬ３サブバンド、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドで構成される逆変換対象データ５２２を生成して認識用データ生成部３２０に入力する。認識用データ生成部３２０は、入力された逆変換対象データ５２２に対して逆ウェーブレット変換等を行って、ＬＬ２サブバンド画像を示す認識用データ５１２を生成する。これにより、認識対象画像がＬＬ２サブバンド画像となる。よって、画像認識部３３はＬＬ２サブバンド画像に対して画像認識処理を行う。
なお上記の通り、マスク復号化データ５１０は、第１処理部３２１でのマスク生成処理で使用されることが可能であるが、ゲートウェイ３での他の処理で使用されてもよい。
＜第２処理部＞
第２処理部３２２は、第１メモリ３２３から読み出したデータに基づいて、トランスコーダ用復号化データ５１６を生成する。本例では、第１処理部３２１で生成されるマスクデータ５１５が主画像全体をウェーブレット変換して得られる最大分解レベルのウェーブレット平面に対応していることから、第２処理部３２２は、例えば、第１メモリ３２３から、当該最大分解レベルのウェーブレット平面を構成する複数のウェーブレット係数、つまり第１ウェーブレット係数データを読み出す。第１ウェーブレット係数データは主画像全体を示すデータである。そして第２処理部３２２は、読み出した第１ウェーブレット係数データをトランスコーダ用復号化データ５１６としてトランスコーダ３４に出力する。
なおマスクデータ５１５が、主画像の一部に対応するデータである場合には、当該一部を復元するための複数のウェーブレット係数を第１メモリ３２３から読み出して、読み出した複数のウェーブレット係数をトランスコーダ用復号化データ５１６としてもよい。
また第２処理部３２２は、第２メモリ３２４から読み出したデータに基づいて、トランスコーダ用符号化データ５１７を生成する。第２処理部３２２は、例えば、第２メモリ３２４から、最大分解レベルのウェーブレット平面を構成する複数の符号化ブロック、つまり符号化された第１量子化ウェーブレット係数データを読み出す。最大分解レベルのウェーブレット平面を構成する複数の符号化ブロックは、主画像全体を復元するための複数の符号化ブロックであると言える。そして第２処理部３２２は、読み出した複数の符号化ブロックをトランスコーダ用符号化データ５１７としてトランスコーダ３４に出力する。
なお第２処理部３２２は、第２メモリ３２４から、主画像の一部を復元するための複数の符号化ブロックを読み出して、読み出した複数の符号化ブロックをトランスコーダ用符号化データ５１７としてもよい。
＜画像認識部の詳細説明＞
図２６は画像認識部３３の構成の一例を示す図である。図２７は画像認識部３３の動作を示す図である。図２６に示されるように、画像認識部３３は、前処理部３３０及び画像認識エンジン３３４を備える。前処理部３３０は、メモリ３３１、分離部３３２及び正規化部３３３を備える。
メモリ３３１は、データ処理部３２からの認識用データ５１２を記憶する（図２７の＜データ記憶＞を参照）。分離部３３２は、メモリ３３１内の認識用データ５１２が示す認識対象画像６００から複数の部分画像６０１を選択する（図２７の＜選択＞を参照）。図２７の例では、各部分画像６０１は、少なくとも一つの他の部分画像６０１と重なっている。そして分離部３３２は、選択した複数の部分画像６０１を互いに分離する（図２７の＜分離＞を参照）。正規化部３３３は、分離部３３２で分離された複数の部分画像６０１のそれぞれを正規化して、複数の正規化部分画像６０２を生成する（図２７の＜正規化＞を参照）。正規化部３３３で生成された各正規化部分画像６０２を示すデータが画像認識エンジン３３４に入力される。
画像認識エンジン３３４は、前処理部３３０から入力されるデータに基づいて、各正規化部分画像６０２に対して画像認識処理を行う。画像認識エンジン３３４は、例えば、入力された複数の正規化部分画像６０２の少なくとも一つから検出対象物が検出されると、検出情報を含む認識結果情報５１３をデータ処理部３２に入力する。一方で、画像認識エンジン３３４は、入力された複数の正規化部分画像６０２のすべてから検出対象物が検出されないときには、非検出情報を含む認識結果情報５１３をデータ処理部３２に入力する。また画像認識エンジン３３４は、検出した検出対象物に関する対象物情報を含む認識結果情報５１４を生成して通信部３５に入力する。例えば、検出対象物が人である場合、対象物情報には、例えば、検出された人の性別及び年齢等が含まれる。対象物情報に含まれる情報は、画像認識エンジンが画像認識によって特定できる情報に依存する。通信部３５は、認識結果情報５１４を含むメタデータをクラウドサーバ５に送信する。なお、認識結果情報５１４は認識結果情報５１３と同じであってもよい。
画像認識エンジン３３４が正規化部分画像６０２から検出対象物を検出する方法としては、様々な方法が考えられる。例えば、画像認識エンジン３３４は、正規化部分画像６０２から、検出対象物の特徴を示す特徴量を抽出する。この特徴量としては、例えば、エッジ、カラー、Ｈａａｒ−ｌｉｋｅ、ＨＯＧ（Histogram of Oriented Gradients）あるいはＬＢＰ（Local Binary Pattern）などが考えられる。画像認識エンジン３３４は、特徴量を抽出すると、当該画像認識エンジン３３４が備える識別器に対して、抽出した特徴量を入力する。識別器は、入力される特徴量に基づいて、正規化部分画像６０２に検出対象物画像が存在するか否かを判定し、その判定結果を出力する。識別器としては、例えば、ニューラルネットワーク、ＳＶＭ（Support Vector Machine）あるいはＡｄａｂｏｏｓｔが使用される。なお、画像認識エンジン３３４は、正規化部分画像６０２から複数種類の特徴量を抽出し、抽出した複数種類の特徴量に基づいて、正規化部分画像６０２に検出対象物画像が存在するか否かを判定してもよい。
また、画像認識部３３は、正規化部分画像６０２から特徴量を抽出するのではなく、認識用データ５１２が示す認識対象画像６００から特徴量を抽出してもよい。この場合には、例えば、画像認識部３３は、抽出した特徴量に基づいて認識対象画像６００から複数の部分画像６０１を選択し、選択した複数の部分画像６０１のそれぞれを正規化して、複数の正規化部分画像６０２を生成する。そして、画像認識部３３は、認識対象画像６００から抽出した特徴量において、各正規化部分画像６０２に対応する特徴量を特定し、特定した特徴量を識別器に入力する。
また画像認識エンジン３３４は、ディープラーニングのように、特徴量の抽出を行わずに検出対象物を検出することが可能な多層構造のニューラルネットワークを用いてもよい。
＜トランスコーダの詳細説明＞
図２８はトランスコーダ３４の一例を示す図である。図２８に示されるように、トランスコーダ３４は、量子化部３４０、符号化部３４１及びビットストリーム生成部３４４を備える。トランスコーダ３４は、入力されるデータをウェーブレット変換せずにビットストリームに変換して通信部３５に入力する。
量子化部３４０は、データ処理部３２から出力される、複数のウェーブレット係数から成るトランスコーダ用復号化データ５１６に対して、量子化ステップサイズに基づいて、スカラー量子化を行い、それにより第３量子化ウェーブレット係数データを生成する。このとき、量子化部３４０は、データ処理部３２からのマスクデータ５１５に基づいて、トランスコーダ用復号化データ５１６の各ウェーブレット係数について、ＲＯＩ係数と非ＲＯＩ係数とを判別する。そして量子化部３４０は、量子化後の非ＲＯＩ係数が０になるように、トランスコーダ用復号化データ５１６の各ウェーブレット係数の量子化を行う。これにより、第３量子化ウェーブレット係数データはゲートウェイ側ＲＯＩだけを示すようになる。
符号化部３４１は、量子化部３４０によって生成された第３量子化ウェーブレット係数データの圧縮符号化を行って画像符号化データ５９０を生成する。符号化部３４１は、係数ビットモデリング部３４２及びエントロピー符号化部３４３を備える。
係数ビットモデリング部３４２は、第３量子化ウェーブレット係数データに対してビットモデリング処理を行う。このビットモデリング処理は、第３量子化ウェーブレット係数データを構成するすべてのコードブロックが使用される点以外は、ＩｏＴ端末２の係数ビットモデリング部２４７でのビットモデリング処理と同様である。エントロピー符号化部３４３は、係数ビットモデリング部３４２で生成されたデータに対してエントロピー符号化を行って、画像符号化データ５９０を生成する。画像符号化データ５９０は、マスクデータ５１５によって特定されるＲＯＩだけを示すデータである。本例では、画像符号化データ５９０は、検出対象物画像を示すデータである。エントロピー符号化としては、例えば算術符号化が利用される。なお符号化部３４１では、エントロピー符号化部３４３によって生成された画像符号化データ５９０に対してレート制御を行って、符号量を制御してもよい。
ビットストリーム生成部３４４は、画像符号化データ５９０を含むビットストリーム５１９を生成する。具体的には、ビットストリーム生成部３４４は、画像符号化データ５９０をパケット化し、それによって生成されたパケットデータと付加情報を含むビットストリーム５１９を生成する。付加情報には、パケットヘッダ、レイヤー構成情報、スケーラビリティ情報及び量子化テーブルなどが含まれる。パケットヘッダには、零長パケット情報、コードブロックの包含情報、零ビットプレーン情報、符号化パス数情報及びコードブロックの符号量情報が含まれている。
またビットストリーム生成部３４４は、データ処理部３２から出力されるトランスコーダ用符号化データ５１７を含むビットストリーム５１９を生成する。ビットストリーム生成部３４４は、トランスコーダ用符号化データ５１７をパケット化し、それによって生成されたパケットデータと付加情報を含むビットストリーム５１９を生成する。
ビットストリーム生成部３４４で生成されたビットストリーム５１９は、通信部３５からクラウドサーバ５に送信される。ビットストリーム５１９が、ゲートウェイ側ＲＯＩを示す画像符号化データ５９０を含む場合には、ゲートウェイ３は、ゲートウェイ側ＲＯＩを示すデータをクラウドサーバ５に送信することができる。ゲートウェイ３はゲートウェイ側ＲＯＩを自由に設定することができることから、例えばクラウドサーバ５が望むＲＯＩを、当該クラウドサーバ５に送信することができる。
またビットストリーム５１９が、例えば主画像全体を示すトランスコーダ用符号化データ５１７を含む場合には、ゲートウェイ３は、主画像全体を示すデータをクラウドサーバ５に送信ことができる。これにより、ゲートウェイ３は、クラウドサーバ５に対して、ＩｏＴ端末２のカメラ２０で撮影される動画をストリーミング送信することができる。ゲートウェイ３は、例えばクラウドサーバ５の要求に応じて、動画をストリーミング送信することができる。
データ処理部３２の第２処理部３２２は、クラウドサーバ５からの要求等に応じて、トランスコーダ用復号化データ５１６をトランスコーダ３４に入力するか、トランスコーダ用符号化データ５１７をトランスコーダ３４に入力するかを決定する。
通信部３５は、画像認識処理で検出された検出対象物の画像がＲＯＩとされる場合には、画像符号化データ５９０を含むビットストリーム５１９と、検出対象物に関する対象物情報を含む認識結果情報とを、クラウドサーバ５に送信する。
このように、トランスコーダ３４には、ウェーブレット変換後のデータであるトランスコーダ用復号化データ５１６及びトランスコーダ用符号化データ５１７が入力される。したがって、トランスコーダ３４は、ＩｏＴ端末２の画像符号化部２４ｂとは異なり、画像を示す入力データをウェーブレット変換せずにビットストリーム５１９を生成することができる。よって、簡単な処理でビットストリーム５１９を生成することができる。
また、トランスコーダ用符号化データ５１７は圧縮符号化されたデータである。したがって、トランスコーダ３４は、トランスコーダ用符号化データ５１７が入力される場合には、ＩｏＴ端末２の画像符号化部２４ｂとは異なり、入力データを圧縮符号化せずにビットストリーム５１９を生成することができる。よって、より簡単な処理でビットストリーム５１９を生成することができる。
＜画像処理システムの動作例＞
次に画像処理システム４全体での動作例について説明する。以下では、一例として、ゲートウェイ３が、検出対象物が検出されるまで、分解レベルが高いものから順にＬＬサブバンド画像に対して画像認識処理を行う場合の画像処理システム４の動作について説明する。以下の説明では、ゲートウェイ３が生成する指示情報５１８には使用可情報が含まれるものとする。つまり、以下の説明では、ＩｏＴ端末２の決定部２６は、マスクデータ５０２を使用して送信対象コードブロックを決定するものとする。
図２９，３０は、処理対象の主画像（以後、対象主画像と呼ぶ）に対して処理を行う画像処理システム４のゲートウェイ３及びＩｏＴ端末２の動作の一例をそれぞれ示す図である。対象主画像に対する処理が開始すると、図２９に示されるように、ステップｓ１１において、ゲートウェイ３の第１処理部３２１は、最大分解レベルのＬＬサブバンド、本例ではＬＬ３サブバンドを処理対象とする。そして第１処理部３２１は、処理対象のＬＬサブバンドの分解レベルを示す変数ＬＶを３に設定する。以後、処理対象のＬＬサブバンドを対象ＬＬサブバンドと呼ぶ。また、対象ＬＬサブバンドを画像と見立てて対象ＬＬサブバンド画像と呼ぶことがある。また、対象ＬＬサブバンドの分解レベルを対象分解レベルと呼ぶことがある。第１処理部３２１は、対象ＬＬサブバンドを指定データとして決定する。
次にステップｓ１２において、第１処理部３２１は、ステップｓ１１で決定した指定データをＩｏＴ端末２に通知するための指示情報５１８を生成して送信部３０ｂに入力する。送信部３０ｂは、入力された指示情報５１８をＩｏＴ端末２に送信する。
ＩｏＴ端末２では、図３０に示されるように、受信部２５ｂがステップｓ２１において指示情報５１８を受信して決定部２６に入力する。次にステップｓ２２において、決定部２６は、入力された指示情報５１８と、マスクデータ５０２とに基づいて、送信対象コードブロックを決定する。対象主画像に対する処理が開始した後の最初のステップｓ２２においては、決定部２６は、マスクデータ５０２が示す最大展開マスクのＲＯＩ対応部分に対して、膨脹及び縮退を行うグルーピング処理と、ラベリング処理とを順次行う。これにより、ＲＯＩ対応部分に含まれる独立領域（島領域）に固有のラベルが割り当てられる。以後、この独立領域を「ラベル領域」と呼ぶことがある。
図３１は、最大展開マスク５８３に対してグルーピング処理及びラベリング処理を行った様子を示す図である。図３１の例では、各サブバンドマスクのＲＯＩ対応部分（白抜き部分）は、ラベル０のラベル領域Ｌ０と、ラベル１のラベル領域Ｌ２とに分けられている。図３１では、最大展開マスク５８３にコードブロック５７０が重ねられている。
次に決定部２６は、ラベリング処理後の最大展開マスク５８３における、対象ＬＬサブバンドに対応するＬＬサブバンドマスクに対して、対象ＬＬサブバンドの複数のコードブロックを重ねる。以後、対象ＬＬサブバンドに対応するＬＬサブバンドマスクを「対象ＬＬサブバンドマスク」と呼ぶことがある。図３２は、図３１に示されるＬＬ３サブバンドマスク５８３ＬＬ３（対象サブバンドマスク）に対して、ＬＬ３サブバンドを構成する複数のコードブロック５７０ａ〜５７０ｉが重ねられている様子を示す図である。
次に決定部２６は、番号が最も小さいラベルを処理対象のラベル（以後、対象ラベルと呼ぶことがある）とする。そして決定部２６は、対象ＬＬサブバンドの複数のコードブロックのうち、対象ラベルのラベル領域に対応するコードブロックを、送信対象コードブロックとする。具体的には、決定部２６は、対象ＬＬサブバンドの複数のコードブロックのうち、対象ラベルのラベル領域の少なくとも一部を含むコードブロックを、送信対象コードブロックとする。以後、対象ラベルのラベル領域を対象ラベル領域と呼ぶことがある。
図３２の例では、ラベル０が対象ラベルとされる。そして、ラベル領域Ｌ０に対応するコードブロック５７０ｂ，５７０ｃ，５７０ｅ，５７０ｆが送信対象コードブロックとされる。なお後述するように、他のラベルのラベル領域に対応するコードブロックは後で送信対象コードブロックとされる。
送信対象コードブロックが決定されると、ステップｓ２３において、画像符号化部２４ｂは、圧縮符号化された送信対象コードブロックで構成される画像符号化データ５０４を生成する。次にステップｓ２４において、画像符号化部２４ｂは、画像符号化データ５０４を含むビットストリーム５０５を生成する。このビットストリーム５０５は送信部２５ａからゲートウェイ３に送信される。このとき、ＩｏＴ端末２は、ラベリング処理で得られたラベルの番号をゲートウェイ３に通知するとともに、現在の対象ラベルをゲートウェイ３に通知する。図３１，３２の例では、ラベルの番号０及び１がゲートウェイ３に通知されるとともに、現在の対象ラベルがラベル０であることがゲートウェイ３に通知される。
図２９に戻って、ステップｓ１２の後、ゲートウェイ３の受信部３０ａは、ステップｓ１３において、ＩｏＴ端末２からのビットストリーム５０５を受信する。そしてステップｓ１４において、ビットストリーム５０５に含まれる画像符号化データ５０４が第２メモリ３２４に記憶される。また、画像復号化部３１ｂで画像符号化データ５０４が伸張復号化されることによって得られたＷＴ復号化データ５１１が第１メモリ３２３に記憶される。また、ゲートウェイ３は、現在の対象ラベルを示す変数ＬＮを、ＩｏＴ端末２から通知される値、つまり０に設定する。
次にステップｓ１５において、第１処理部３２１は、認識用データ生成部３２０への入力データを生成する。ここでは、第１処理部３２１は、対象ＬＬサブバンドのうち、対象ラベル領域に対応する部分を、認識対象画像とするために、第１メモリ３２３から、対象ラベル領域に対応する、対象ＬＬサブバンドのＷＴ復号化ブロック（復元されたコードブロック）を読み出す。図３１，３２の例では、第１処理部３２１は、第１メモリ３２３から、対象ラベル領域であるラベル領域Ｌ０に対応する、復元されたコードブロック５７０ｂ，５７０ｃ，５７０ｅ，５７０ｆを読み出す。そして第１処理部３２１は、読み出したＷＴ復号化ブロックで構成される逆変換非対象データ５２１を認識用データ生成部３２０に入力する。
次にステップｓ１６において、認識用データ生成部３２０は、逆変換非対象データ５２１に基づいて認識用データ５１２を生成する。逆変換非対象データ５２１は、逆ウェーブレット変換されずに、色空間変換部３２０２に入力される。認識用データ５１２は、対象ＬＬサブバンド画像における、対象ラベル領域に対応する画像を示す。
次にステップｓ１７において、画像認識部３３は、ステップｓ１６で生成された認識用データ５１２が示す画像に対して画像認識処理を行う。この画像認識処理において検出対象物が検出されると、データ処理部３２は、対象ラベルを終了ラベルとする。
次にステップｓ１８において、データ処理部３２は、対象主画像に対する処理を終了するか否かを決定する終了判定を行う。
図３３は終了判定の一例を示すフローチャートである。図３３に示されるように、ステップｓ１８１において、データ処理部３２は、画像認識部３３での過去の画像認識処理の結果に基づいて、ＩｏＴ端末２で定められた全てのラベルに関して、検出対象物が検出されたか否かを特定する。つまり、データ処理部３２は、ＩｏＴ端末２で定められた各ラベルについて、当該ラベルのラベル領域に対応するコードブロックから検出対象物が検出されたか否かを特定する。データ処理部３２は、全てのラベルに関して、検出対象物が検出されたことを特定すると、ステップｓ１８２において、対象主画像に対する処理を終了することを決定する。これにより、終了判定が終了する。
一方で、データ処理部３２は、ステップｓ１８１でＮＯと判定すると、ステップｓ１８３において、対象ラベルを示す変数ＬＮの値が、最大値ｍａｘ１と一致するか否かを判定する。ここで、最大値ｍａｘ１とは、ＩｏＴ端末２が定めたラベルにおいて、終了ラベルを除いたラベルのうち、最も大きいラベルを意味している。ＩｏＴ端末２が定めたラベルにおいて終了ラベルを除いたラベルを処理対象候補のラベルと呼ぶと、最大値ｍａｘ１は、処理対象候補のラベルのうちの最大値を意味している。例えば、図３１，３２の例のように、ＩｏＴ端末２が、ラベル０，１を定め、現在の終了ラベル（検出対象物が検出されたラベル）が０の場合、最大値ｍａｘ１は１となる。また例えば、ＩｏＴ端末２が、ラベル０〜３を定め、現在の終了ラベルが０，３の場合、最大値ｍａｘ１は２となる。なお、終了ラベルが存在しない場合に、最大値ｍａｘ１は、ＩｏＴ端末２が定めたラベルのうちの最大値と一致する。
ステップｓ１８３において、変数ＬＮの値が最大値ｍａｘ１に一致すると判定されると、ステップｓ１８４において、データ処理部３２は、対象ＬＬサブバンドの分解レベルを示す変数ＬＶの値が１であるか否かを判定する。データ処理部３２は、変数ＬＶの値が１であると判定すると、つまり対象ＬＬサブバンドがＬＬ１サブバンドである場合、ステップｓ１８２を実行して、対象主画像に対する処理を終了することを決定する。
ステップｓ１８４において、変数ＬＶの値が１ではないと判定されると、ステップｓ１８５において、データ処理部３２は、変数ＬＶの値を１つだけ減少する。これより、今までの対象ＬＬサブバンドの分解レベルよりも１つだけ小さい分解レベルのＬＬサブバンドが対象ＬＬサブバンドとなる。ステップｓ１８５の後、ステップｓ１８６において、データ処理部３２は、変数ＬＮの値を最小値ｍｉｎ１に設定する。ここで、最小値ｍｉｎ１とは、処理対象候補のラベルのうち、最も小さいラベルを意味している。例えば、図３１，３２の例のように、ＩｏＴ端末２がラベル０，１を定め、現在の終了ラベル領域のラベルが０の場合、最小値ｍｉｎ１は１となる。また例えば、ＩｏＴ端末２がラベル０〜３を定め、現在の終了ラベル領域のラベルが０，３の場合、最小値ｍｉｎ１は１となる。変数ＬＮの値が最小値ｍｉｎ１に設定されることによって、処理対象候補のラベルのうちの最小のラベルが新たな対象ラベルとされる。なお、終了ラベルが存在しない場合に、最小値ｍｉｎ１は、ＩｏＴ端末２が定めたラベルのうちの最小値と一致する。
ステップｓ１８６の後、ステップｓ１８７において、データ処理部３２は、対象主画像に対する処理を継続することを決定する。これにより、終了判定が終了する。
ステップｓ１８３において、変数ＬＮの値が最大値ｍａｘ１でない場合、ステップｓ１８８において、データ処理部３２は、変数ＬＮの値を次の値に変更する。具体的には、データ処理部３２は、変数ＬＮの値を、処理対象候補のラベルのうち、当該変数ＬＮの現在の値よりも次に大きい値のラベルに変更する。その後、ステップｓ１８７が実行されて、対象主画像に対する処理の継続が決定される。
図２９に戻って、ステップｓ１８の終了判定において、データ処理部３２が対象主画像に対する処理を終了すると決定すると、ステップｓ１９において、ゲートウェイ３は、対象主画像に対する処理が終了したことを通知するための終了通知をＩｏＴ端末２に行う。ゲートウェイ３は、対象主画像から検出対象物が検出された場合には、ステップｓ１９の後のステップｓ２０において、検出対象物が写る検出対象物画像（ゲートウェイ側ＲＯＩ）を示す画像符号化データ５９０を含むビットストリーム５１９をトランスコーダ３４で生成する。対象主画像から複数の検出対象物が検出された場合には、当該複数の検出対象物がそれぞれ写る複数の検出対象物画像を示す画像符号化データ５９０を含むビットストリーム５１９が生成される。そして、ゲートウェイ３は、生成したビットストリーム５１９と、画像認識部３３が生成する、対象主画像に関する認識結果情報５１４とを、通信部３５からクラウドサーバ５に送信する。これにより、対象主画像に対する処理が終了する。
なお、対象主画像から検出対象物が検出されなかった場合には、ステップｓ２０が実行されずに対象主画像に対する処理が終了する。あるいは、検出対象物が検出されなかったことを示す情報を含む認識結果情報５１４が通信部３５からクラウドサーバ５に送信された後に、対象主画像に対する処理が終了してもよい。
ステップｓ１８の終了判定において、データ処理部３２が対象主画像に対する処理を継続すると決定すると、ゲートウェイ３はステップｓ１１を再度実行して、指定データを決定する。このステップｓ１１では、変数ＬＮ，ＬＶが現在示す値に基づいて指定データが決定される。
第１処理部３２１は、変数ＬＶが現在示す対象分解レベルが、最大分解レベル、つまり３である場合、ＬＬ３サブバンドのうち、変数ＬＮが現在示す対象ラベルのラベル領域に対応するコードブロックを指定データとする。
また第１処理部３２１は、変数ＬＶが現在示す対象分解レベルが、最大分解レベル以外である場合、つまり３よりも小さい場合、対象分解レベルよりも分解レベルが１つ高いＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドにおける、対象ラベルのラベル領域に対応するコードブロックを指定データとする。
ここで、本例では、上述の説明及び後述の説明から理解できるように、対象分解レベルが３よりも小さい場合には、ゲートウェイ３は、対象分解レベルよりも分解レベルが１つ高いＬＬサブバンドにおける、対象ラベル領域に対応するコードブロックを、第１メモリ３２３に記憶している。
一方で、ゲートウェイ３の認識用データ生成部３２０の逆ウェーブレット変換部３２０１は、ＬＬ３サブバンド、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドのコードブロックを逆ウェーブレット変換することによって、ＬＬ２サブバンドのコードブロックを復元することができる。同様に、逆ウェーブレット変換部３２０１は、ＬＬ２サブバンド、ＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブバンドのコードブロックを逆ウェーブレット変換することによって、ＬＬ１サブバンドのコードブロックを復元する。
したがって、ゲートウェイ３は、対象分解レベルが３よりも小さい場合、上記のように指定データを決定することによって、対象ＬＬサブバンドにおける、対象ラベル領域に対応するコードブロックを復元するために必要なデータを得ることができる。つまり、ゲートウェイ３は、対象分解レベルよりも分解レベルが１つ高いＬＬサブバンド、ＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドにおける、対象ラベル領域に対応するコードブロックを得ることができる。よって、ゲートウェイ３は、上記のように指定データを決定することによって、対象分解レベルのＬＬサブバンドにおける、対象ラベルのラベル領域に対応するコードブロックを復元することができる。
図３１，３２の例において、対象ＬＬサブバンドがＬＬ２サブバンドであって、対象ラベルがラベル１である場合、第１処理部３２１は、分解レベル３のＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドにおける、ラベル１のラベル領域Ｌ１に対応するコードブロックを指定データとする。対象ＬＬサブバンドがＬＬ２サブバンドである場合、ゲートウェイ３は、ＬＬ３サブバンドにおける、ラベル１のラベル領域Ｌ１に対応するコードブロックをすでにＩｏＴ端末２から受け取って第１メモリ３２３に記憶している。したがって、ゲートウェイ３は、このようにして指定データを決定することによって、ＬＬ３サブバンド、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドにおける、ラベル領域Ｌ１に対応するコードブロックを得ることができる。よって、ゲートウェイ３は、ＬＬ２サブバンドにおけるラベル領域Ｌ１に対応するコードブロックを復元することができる。図３４は、図３１に示される図において、各サブバンドにおける、ラベル領域Ｌ０，Ｌ１に対応するコードブロックに対して斜線を示した図である。
ゲートウェイ３は、ステップｓ１１を実行すると、ステップｓ１２において、ステップｓ１１で決定した指定データを通知するための指示情報５１８を生成する。そして、ゲートウェイ３は、生成した指示情報５１８をＩｏＴ端末２に送信する。
ＩｏＴ端末２は、ステップｓ２１において指示情報５１８を受信すると、ステップｓ２２において、受信した指示情報５１８と、マスクデータ５０２とに基づいて、送信対象コードブロックを決定する。ＩｏＴ端末２の決定部２６は、指示情報５１８によって指定されるコードブロックを、マスクデータ５０２に基づいて特定する。そして、決定部２６は、特定したコードブロックのうち、すでにゲートウェイ３に送信したコードブロック以外のコードブロックを、送信対象コードブロックとする。これにより、ＩｏＴ端末２からゲートウェイ３に送信するデータ量を低減することができる。
例えば図３１，３２の例において、指示情報５１８によって指定される指定データが、ＬＬ３サブバンドにおける、ラベル領域Ｌ１に対応するコードブロックであって、ラベル領域Ｌ０に対応する４つのコードブロック５７０ｂ，５７０ｃ，５７０ｅ．５７０ｆがゲートウェイ３にすでに送信されているとする。この場合、決定部２６は、マスクデータ５０２に基づいて、ラベル領域Ｌ１に対応する４つのコードブロック５７０ｄ，５７０ｅ，５７０ｇ，５７０ｈを特定する。そして決定部２６は、特定したコードブロック５７０ｄ，５７０ｅ，５７０ｇ，５７０ｈのうち、既に送信されているコードブロック５７０ｅ以外の３つのコードブロック５７０ｄ，５７０ｇ，５７０ｈを、送信対象コードブロックとする。
同様に、指示情報５１８によって指定される指定データが、ある分解レベルのＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドにおける、あるラベルのラベル領域に対応するコードブロックである場合、決定部２６は、マスクデータ５０２に基づいて、当該コードブロックを特定する。そして決定部２６は、特定したコードブロックのうち、すでにゲートウェイ３に送信しているコードブロックを除くコードブロックを、送信対象コードブロックとする。
ステップｓ２２において送信対象コードブロックが決定されると、ＩｏＴ端末２は、上記と同様にしてステップｓ２３，ｓ２４を実行する。ステップｓ２４の後、ステップｓ２５において、ＩｏＴ端末２は、ゲートウェイ３からの終了通知を受信すると、対象主画像に対する処理を終了する。一方で、ＩｏＴ端末２は、ステップｓ２４の後、ゲートウェイ３から、終了通知を受信せずに指示情報５１８を受信する場合（ステップｓ２１）には、上記同様にしてステップｓ２２を実行し、以後同様に動作する。
図２９に戻って、ゲートウェイ３はステップｓ１３においてビットストリーム５０５をＩｏＴ端末２から受信すると、上述のステップｓ１４を実行する。そして、ゲートウェイ３は、ステップｓ１５において、認識用データ生成部３２０への入力データを生成する。このステップｓ１５では、第１処理部３２１は、現在の対象分解レベルが最大分解レベル、つまり３である場合、上記と同様に、第１メモリ３２３から、ＬＬ３サブバンドにおける、対象ラベル領域に対応するコードブロック（ＷＴ復号化ブロック）を読み出す。そして第１処理部３２１は、読み出したＷＴ復号化ブロックで構成される逆変換非対象データ５２１を認識用データ生成部３２０に入力する。
一方で、第１処理部３２１は、現在の対象分解レベルが３よりも小さい場合、第１メモリ３２３から、対象分解レベルよりも分解レベルが１つ高いＬＬサブバンド、ＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドにおける、対象ラベル領域に対応するコードブロックを読み出す。そして第１処理部３２１は、読み出したコードブロックで構成される逆変換対象データ５２２を認識用データ生成部３２０に入力する。
次にステップｓ１６において、認識用データ生成部３２０は認識用データ５１２を生成する。直前のステップｓ１５において逆変換非対象データ５２１が認識用データ生成部３２０に入力される場合には、上記と同様に、逆変換非対象データ５２１は、逆ウェーブレット変換されずに、色空間変換部３２０２に入力する。一方で、直前のステップｓ１５において逆変換対象データ５２２が認識用データ生成部３２０に入力される場合には、逆ウェーブレット変換部３２０１が、逆変換対象データ５２２に対して逆ウェーブレット変換を行う。これにより、逆ウェーブレット変換部３２０１では、対象分解レベルのＬＬサブバンドにおける、対象ラベル領域に対応する、ウェーブレット係数から成るコードブロックが生成される。このコードブロックはＬＬデータ５２０として第１メモリ３２３に記憶される。これにより、第１メモリ３２３には、対象分解レベルのＬＬサブバンドにおける、対象ラベル領域に対応するコードブロックが記憶される。対象分解レベルが２である場合、ＬＬ２サブバンドにおける、対象ラベル領域に対応するコードブロックが記憶され、対象分解レベルが１である場合、ＬＬ１サブバンドにおける、対象ラベル領域に対応するコードブロックが記憶される。
逆ウェーブレット変換部３２０１で生成されたコードブロックは色空間変換部３２０２に入力される。色空間変換部３２０２から出力されるデータはＤＣレベルシフト部３２０３に入力される。そして、ＤＣレベルシフト部３２０３から出力されるデータが認識用データ５１２となる。
ステップｓ１６において認識用データ５１２が生成されると、ゲートウェイ３は、上述と同様にしてステップｓ１７，ｓ１８を実行する。そして、ゲートウェイ３は以後同様に動作する。
以上の説明から理解できるように、ＩｏＴ端末２において図３１，３２に示されるラベル０，１が定めされる場合、まず、ＬＬ３サブバンドにおける、ラベル０のラベル領域Ｌ０に対応するコードブロックに対して画像認識処理が行われる。次に、ＬＬ３サブバンドにおける、ラベル１のラベル領域Ｌ１に対応するコードブロックに対して画像認識処理が行われる。
ＬＬ３サブバンドにおける、ラベル領域Ｌ０に対応するコードブロックから検出対象物が検出されず、ＬＬ３サブバンドにおける、ラベル領域Ｌ１に対応するコードブロックから検出対象物が検出されない場合には、ＬＬ２サブバンドにおける、ラベル領域Ｌ０に対応するコードブロックに対して画像認識処理が行われ、その後、ＬＬ２サブバンドにおける、ラベル領域Ｌ１に対応するコードブロックに対して画像認識処理が行われる。
ＬＬ２サブバンドにおける、ラベル領域Ｌ０に対応するコードブロックから検出対象物が検出されず、ＬＬ２サブバンドにおける、ラベル領域Ｌ１に対応するコードブロックから検出対象物が検出されない場合には、ＬＬ１サブバンドにおける、ラベル領域Ｌ０に対応するコードブロックに対して画像認識処理が行われ、その後、ＬＬ１サブバンドにおける、ラベル領域Ｌ１に対応するコードブロックに対して画像認識処理が行われる。
以上のような動作を行う画像処理システム４は、対象主画像に対する処理が終了すると、新たな主画像を対象主画像として、上記と同様の処理を行う。カメラ２０で動画が撮影される場合には、画像処理システム４は、あるフレーム画像を対象主画像として当該あるフレーム画像に対する処理が終了すると、当該あるフレーム画像よりも後に撮影されるフレーム画像を新たな対象主画像として処理を開始する。画像処理システム４は、カメラ２０で撮影されるフレーム画像に対して、１フレームごとに処理を行ってもよいし、複数フレームごとに処理を行ってもよい。
以上の説明から理解できるように、図２９，３０の例では、ＬＬサブバンドが、分解レベルが高いものから順に、画像認識処理の対象とされている。言い換えれば、ＬＬサブバンドが、解像度が低いものから順に、画像認識処理の対象とされている。
ここで、主画像において写る範囲が大きい検出対象物については、分解レベルが高いＬＬサブバンド（解像度が低いＬＬサブバンド）からでも、当該検出対象物が検出される可能性が高い。これに対して、主画像において写る範囲が小さい検出対象物については、分解レベルが高いＬＬサブバンドから当該検出対象物を検出することができない可能性がある。本例のように、ＬＬサブバンドが、分解レベルが高いものから順に処理対象とされることによって、データ量の多い、分解レベルが低いＬＬサブバンド（解像度が高いＬＬサブバンド）を使用することなく、主画像において、写る範囲が大きい検出対象物を検出することが可能となる。上記の図３１，３２の例では、ラベル０のラベル領域Ｌ０に対応する検出対象物が、例えばＬＬ３サブバンドから検出可能である場合、当該検出対象物の検出には、ＬＬ３サブバンドの分解レベルよりも高い分解レベルのＬＬ２サブバンド及びＬＬ１サブバンドは使用されない。よって、ＩｏＴ端末２がゲートウェイ３に送信するデータ量を低減することができるとともに、ゲートウェイ３での画像認識処理を簡素化できる。
なお、図２９，３０に示される画像処理システム４の動作はあくまでも一例であって、画像処理システム４は図２９，３０示される処理とは異なる処理を行ってもよい。
またゲートウェイ３は、ＩｏＴ端末２からの画像符号化データ５０４を画像認識処理以外の処理で使用してもよい。
また上記の例では、ＩｏＴ端末２はマスクデータ５０２をゲートウェイ３に送信していたが、マスクデータ５０２を送信しなくてもよい。この場合には、図３５に示されるように、ＩｏＴ端末２ではマスク符号化部２３ａが不要となる。
また、ＩｏＴ端末２の決定部２６は、指示情報５１８を使用せずに送信対象コードブロックを決定してもよい。この場合には、ＩｏＴ端末２の処理が簡素化される。また、ゲートウェイ３は指示情報５１８を生成する必要がなくなることから、ゲートウェイ３の処理が簡素化する。
ＩｏＴ端末２は、指示情報５１８を使用せずに送信対象コードブロックを決定する場合には、対象主画像に対する処理が開始すると、例えば、ＬＬ３サブバンドにおける、マスクデータ５０２が示す最大展開マスクのＲＯＩ対応部分に対応するコードブロック５７０（以後、ＲＯＩ対応ブロックと呼ぶことがある）を送信対象コードブロックとして送信する。ゲートウェイ３は、受け取ったＬＬ３サブバンドのＲＯＩ対応ブロックを認識用データ５１２として画像認識処理を行う。
ゲートウェイ３が検出対象物を検出すると、対象主画像に対する処理が終了する。一方で、ゲートウェイ３が検出対象物を検出しない場合には、ＩｏＴ端末２は、ＬＬ２サブバンドのＲＯＩ対応ブロックの画像が認識対象画像とされるために、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドのＲＯＩ対応ブロックを送信対象コードブロックとして送信する。ゲートウェイ３は、すでに受け取っているＬＬ３サブバンドのＲＯＩ対応ブロックと、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドのＲＯＩ対応ブロックとから成る逆変換対象データ５２２を逆ウェーブレット変換して、ＬＬ２サブバンドのＲＯＩ対応ブロックを生成する。そして、ゲートウェイ３は、ＬＬ２サブバンドのＲＯＩ対応ブロックを認識用データ５１２として画像認識処理を行う。
ゲートウェイ３が検出対象物を検出すると、対象主画像に対する処理が終了する。一方で、ゲートウェイ３が検出対象物を検出しない場合には、ＩｏＴ端末２は、ＬＬ１サブバンドのＲＯＩ対応ブロックの画像が認識対象画像とされるために、ＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブバンドのＲＯＩ対応ブロックを送信対象コードブロックとして送信する。ゲートウェイ３は、すでに生成しているＬＬ２サブバンドのＲＯＩ対応ブロックと、ＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブバンドのＲＯＩ対応ブロックとから成る逆変換対象データ５２２を逆ウェーブレット変換して、ＬＬ１サブバンドのＲＯＩ対応ブロックを生成する。そして、ゲートウェイ３は、ＬＬ１サブバンドのＲＯＩ対応ブロックを認識用データ５１２として画像認識処理を行う。その後、対象主画像に対する処理が終了する。
なお、ＩｏＴ端末２が指示情報５１８を使用せずに送信対象コードブロックを決定する場合の画像処理システム４の動作は上記の例には限られない。
また、ＩｏＴ端末２の決定部２６は、マスクデータ５０２を使用せずに送信対象コードブロックを決定してもよい。この場合には、ＩｏＴ端末２の処理が簡素化される。ＩｏＴ端末２は、マスクデータ５０２を使用せずに送信対象コードブロックを決定する場合には、ゲートウェイ３からの指示情報５１８で指定されるコードブロックをそのまま送信対象コードブロックとして送信する。
ＩｏＴ端末２が、マスクデータ５０２を使用せずに送信対象コードブロックを決定する場合には、ゲートウェイ３は、対象主画像に対する処理が開始すると、例えば、ＬＬ３サブバンドの全コードブロックを指定データとして指示情報５１８を送信する。この指示情報５１８を受け取ったＩｏＴ端末２は、ＬＬ３サブバンドの全コードブロックを送信対象コードブロックとして送信する。ゲートウェイ３は、受け取ったＬＬ３サブバンドの全コードブロックを認識用データ５１２として画像認識処理を行う。
ゲートウェイ３が検出対象物を検出すると、対象主画像に対する処理が終了する。一方で、ゲートウェイ３は、検出対象物を検出しない場合には、ＬＬ２サブバンド画像を認対象画像とするために、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドの全コードブロックを指定データとして指示情報５１８を送信する。この指示情報５１８を受け取ったＩｏＴ端末２は、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドの全コードブロックを送信対象コードブロックとして送信する。ゲートウェイ３は、すでに受け取っているＬＬ３サブバンドの全コードブロックと、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドの全コードブロックとから成る逆変換対象データ５２２を逆ウェーブレット変換してＬＬ２サブバンドの全コードブロックを生成する。そして、ゲートウェイ３は、ＬＬ２サブバンドの全コードブロックを認識用データ５１２として画像認識処理を行う。
ゲートウェイ３が検出対象物を検出すると、対象主画像に対する処理が終了する。一方で、ゲートウェイ３は、検出対象物を検出しない場合には、ＬＬ１サブバンド画像を認対象画像とするために、ＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブバンドの全コードブロックを指定データとして指示情報５１８を送信する。この指示情報５１８を受け取ったＩｏＴ端末２は、ＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブバンドの全コードブロックを送信対象コードブロックとして送信する。ゲートウェイ３は、生成したＬＬ２サブバンドの全コードブロックと、ＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブバンドの全コードブロックとから成る逆変換対象データ５２２を逆ウェーブレット変換してＬＬ１サブバンドの全コードブロックを生成する。そして、ゲートウェイ３は、ＬＬ１サブバンドの全コードブロックを認識用データ５１２として画像認識処理を行う。その後、対象主画像に対する処理が終了する。
このように、ＩｏＴ端末２が、マスクデータ５０２を使用せずに送信対象コードブロックを決定する場合に、ゲートウェイ３が指示情報５１８の生成にマスク復号化データ５１０を使用しない場合には、ＩｏＴ端末２は、マスクデータ５０２を生成しなくてもよい。この場合には、図３６に示されるように、縮小画像メモリ２２ａ、マスク生成部２３及びマスク符号化部２４ａが不要となる。よって、ＩｏＴ端末２の構成が簡素化されて、ＩｏＴ端末２の消費電流が低減する。
また、ＩｏＴ端末２がマスクデータ５０２を使用せずに送信対象コードブロックを決定する場合には、ゲートウェイ３は、上記のように指示情報５１８を生成するとともに、マスク復号化データ５１０を、認識用データ５１２の生成で使用してもよい。図３７は、この場合の認識用データ生成部３２０の構成の一例を示す図である。図３７に示される認識用データ生成部３２０は、上述の図２５に示される認識用データ生成部３２０と比較して、特定部３２０４をさらに備えている。特定部３２０４は、ＤＣレベルシフト部３２０３から出力されるＬＬサブバンドの全コードブロックにおいて、マスク復号化データ５１０が示す最大展開マスクのＲＯＩ対応部分に対応するコードブロック（ＲＯＩ対応ブロック）を特定する。そして特定部３２０４は、特定したＲＯＩ対応ブロックを認識用データ５１２として画像認識部３３に入力する。
また、ＩｏＴ端末２がマスクデータ５０２を使用せずに送信対象コードブロックを決定する場合には、ゲートウェイ３は、ＩｏＴ端末２で生成された最大展開マスクを示すマスク復号化データ５１０に基づいて指定データを決定してもよい。例えば、ゲートウェイ３の第１処理部３２１は、マスク復号化データ５１０が示す最大展開マスクのＲＯＩ対応部分に対して、上述のグルーピング処理及びラベリング処理を順次行う。これにより、ＲＯＩ対応部分に対してラベル領域が設定される。そして、第１処理部３２１は、ステップｓ１１において、対象分解レベルが最大分解レベル、つまり３の場合、ラベリング処理された最大展開マスク（図３１参照）を使用して、ＬＬ３サブバンドにおける、対象ラベルのラベル領域に対応するコードブロックを特定する。そして第１処理部３２１は、特定したコードブロックを指定データとし、当該指定データの各コードブロックの位置を特定するための指示情報５１８を生成する。このとき、第１処理部３２１は、特定したコードブロックのうち、第１メモリ３２３に記憶されているコードブロックを指定データから除外する。
また第１処理部３２１は、ステップｓ１１において、対象分解レベルが３よりも小さい場合、ラベリング処理された最大展開マスクを使用して、対象分解レベルよりも分解レベルが１つ高いＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドにおける、対象ラベルのラベル領域に対応するコードブロックを特定する。そして第１処理部３２１は、特定したコードブロックを指定データとし、当該指定データの各コードブロックの位置を特定するための指示情報５１８を生成する。このとき、第１処理部３２１は、対象分解レベルが３のときと同様に、特定したコードブロックのうち、第１メモリ３２３に記憶されているコードブロックを指定データから除外する。
ゲートウェイ３が、上記のようにして、マスク復号化データ５１０に基づいて指定データを決定する場合には、ＩｏＴ端末２の決定部２６は、マスクデータ５０２を使用せずに、ゲートウェイ３からの指示情報５１８で指定されるコードブロックをそのまま送信対象コードブロックとする。
なお、ＩｏＴ端末２がマスクデータ５０２を使用せずに送信対象コードブロックを決定する場合の画像処理システム４の動作は上記の例には限られない。
また上記の図２９，３０，３３の例では、分解レベル順に画像認識処理が行われていたが、ラベル順に画像認識処理が行われてもよい。図３８のこの場合の終了判定（ステップｓ１８）の一例を示すフローチャートである。
図３８に示されるように、ステップｓ１９１において、データ処理部３２は、対象ラベルに関して、検出対象物が検出されたか否かを特定する。つまり、データ処理部３２は、直前のステップｓ１７の画像認識処理において検出対象物が検出されたか否かを特定する。データ処理部３２は、対象ラベルに関して、検出対象物が検出されたことを特定すると、ステップｓ１９４において、変数ＬＮの値が、最大値ｍａｘ２と一致するか否かを判定する。ここで、最大値ｍａｘ２は、上述の最大値ｍａｘ１とは異なり、ＩｏＴ端末２で定められたラベルのうちの最大値を意味している。図３１，３２の例では、最大値ｍａｘ２＝２となる。
データ処理部３２は、ステップｓ１９４において、変数ＬＮの値が最大値ｍａｘ２と一致すると判定すると、対象主画像に対する処理を終了することを決定する。これにより、終了判定が終了する。
一方で、データ処理部３２は、ステップｓ１９４において、変数ＬＮの値が最大値ｍａｘ２と一致しないと判定すると、ステップｓ１９５において、変数ＬＮの値を１つ増加する。これにより、今までの対象ラベルよりも１つだけ大きいラベルが対象ラベルとなる。そしてデータ処理部３２は、ステップｓ１９６において、変数ＬＶの値を、最大分解レベル、つまり３に設定する。これにより、対象分解レベルが最大分解レベルとなる。そしてステップｓ１９７において、データ処理部３２は、対象主画像に対する処理を継続することを決定する。これにより、終了判定が終了する。
ステップｓ１９１において、対象ラベルに関して、検出対象物が検出されていないと特定されると、データ処理部３２は、ステップｓ１９２において、変数ＬＶの値が１であるか否かを判定する。変数ＬＶの値が１である場合、つまり対象分解レベルが１である場合、データ処理部３２は、上述のステップｓ１９４を実行し、以後同様に動作する。一方で、変数ＬＶの値が１でない場合、つまり対象分解レベルが１よりも大きい場合、データ処理部３２は、ステップｓ１９３において、変数ＬＶの値を１つ減少する。これにより、今までの対象分解レベルよりも１つ小さい分解レベルが対象分解レベルとなる。その後、データ処理部３２は、ステップｓ１９７を実行して、対象主画像に対する処理を継続することを決定する。
図３７に示される終了処理が実行される場合には、図３１，３２の例では、まず、ＬＬ３サブバンドにおける、ラベル領域Ｌ０に対応するコードブロックに対して画像認識処理が行われる。検出対象物が検出されない場合、ＬＬ２サブバンドにおける、ラベル領域Ｌ０に対応するコードブロックに対して画像認識処理が行われる。検出対象物が検出されない場合、ＬＬ１サブバンドにおける、ラベル領域Ｌ０に対応するコードブロックに対して画像認識処理が行われる。
ラベル０に関する画像認識処理で検出対象物が検出されると、ＬＬ３サブバンドにおける、ラベル領域Ｌ１に対応するコードブロックに対して画像認識処理が行われる。検出対象物が検出されない場合、ＬＬ２サブバンドにおける、ラベル領域Ｌ１に対応するコードブロックに対して画像認識処理が行われる。検出対象物が検出されない場合、ＬＬ１サブバンドにおける、ラベル領域Ｌ１に対応するコードブロックに対して画像認識処理が行われる。
また、ゲートウェイ３のデータ処理部３２は、主画像データ５００の高周波成分を認識用データ５１２として画像認識部３３に入力する場合には、ＬＨサブバンド、ＨＬサブバンドあるいはＨＨサブバンドをそのまま認識用データ５１２としてもよいし、同じ分解レベルのＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドを統合して得られる統合サブバンドを認識用データ５１２としてもよい。データ処理部３２は、ＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドを統合する場合には、例えば、ＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドにおいて同じ位置に存在する係数の平均値を求めて、求めた平均値を、統合サブバンドにおける、それと同じ位置の係数とする。また、データ処理部３２は、ＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドにおいて同じ位置に存在する係数のうちの最大値を、統合サブバンドにおける、それと同じ位置の係数としてもよい。なお、ＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドを統合する方法はこの限りではない。
また、ゲートウェイ３は、ＩｏＴ端末２に対して送信すべきデータを指示する場合には、ウェーブレット平面を構成する複数のサブバンド間でのコードブロックの対応関係を示すＣＢ対応関係情報を利用してもよい。図３９は、複数のサブバンド間でのコードブロックの対応関係の一例を示す図である。図３９において斜線が示される部分が、互いに対応するコードブロック５７０である。
ここで、複数のサブバンドの間で互いに対応するコードブロック５７０は、主画像の同じ部分を示している。図３９において、ＬＬ３サブバンドの斜線の１つのコードブロック５７０ＬＬ３と、ＬＨ３サブバンドの斜線の１つのコードブロック５７０ＬＨ３と、ＨＬ３サブバンドの斜線の１つのコードブロック５７０ＨＬ３と、ＨＨ３サブバンドの斜線の１つのコードブロック５７０ＨＨ３とは、主画像の同じ部分を示している。また、ＬＨ２サブバンドの斜線の４つのコードブロック５７０ＬＨ２と、ＨＬ２サブバンドの斜線の４つのコードブロック５７０ＨＬ２と、ＨＨ２サブバンドの斜線の４つのコードブロック５７０ＨＨ２とは、主画像の同じ部分を示している。また、ＬＨ１サブバンドの斜線の１６個のコードブロック５７０ＬＨ１と、ＨＬ１サブバンドの斜線の１６個のコードブロック５７０ＨＬ１と、ＨＨ１サブバンドの斜線の１６個のコードブロック５７０ＨＨ１とは、主画像の同じ部分を示している。また、分解レベル３の各サブバンドの斜線の１つのコードブロック５７０と、分解レベル２の各サブバンドの斜線の４つのコードブロック５７０と、分解レベル１の各サブバンドの斜線の１６個のコードブロック５７０とは、主画像の同じ部分を示している。
ゲートウェイ３は、図３９に示されるような、複数のサブバンド間でのコードブロックの対応関係を示すＣＢ対応関係情報を記憶している。ゲートウェイ３は、ＣＢ対応関係情報を利用して指定データを決定する場合には、対象主画像に対する処理が開始すると、例えば、図３９において斜線で示される、ＬＬ３サブバンドのコードブロック５７０ＬＬ３を指定データとして指示情報５１８を送信する。この指示情報５１８を受け取ったＩｏＴ端末２は、コードブロック５７０ＬＬ３を送信対象コードブロックとして送信する。ゲートウェイ３は、受け取ったコードブロック５７０ＬＬ３を認識用データ５１２として画像認識処理を行う。
ゲートウェイ３が検出対象物を検出すると、対象主画像に対する処理が終了する。一方で、ゲートウェイ３は、検出対象物を検出しない場合には、ＬＬ２サブバンドを処理対象とするために、図３９において斜線で示される、ＬＨ３サブバンドのコードブロック５７０ＬＨ３、ＨＬ３サブバンドのコードブロック５７０ＨＬ３及びＨＨ３サブバンドのコードブロック５７０ＨＨ３を指定データとして指示情報５１８を送信する。この指示情報５１８を受け取ったＩｏＴ端末２は、コードブロック５７０ＬＨ３，５７０ＨＬ３，５７０ＨＨ３を送信対象コードブロックとして送信する。ゲートウェイ３は、すでに受け取っているコードブロック５７０ＬＬ３と、コードブロック５７０ＬＨ３，５７０ＨＬ３，５７０ＨＨ３とから成る逆変換対象データ５２２を逆ウェーブレット変換して、コードブロック５７０ＬＬ３，５７０ＬＨ３，５７０ＨＬ３，５７０ＨＨ３に対応する、ＬＬ２サブバンドの４つのコードブロック５７０を生成する。そして、ゲートウェイ３は、生成した４つのコードブロックを認識用データ５１２として画像認識処理を行う。
ゲートウェイ３が検出対象物を検出すると、対象主画像に対する処理が終了する。一方で、ゲートウェイ３は、検出対象物を検出しない場合には、ＬＬ１サブバンドを処理対象とするために、図３９において斜線で示される、ＬＨ２サブバンドの４つのコードブロック５７０ＬＨ２、ＨＬ２サブバンドの４つのコードブロック５７０ＨＬ２及びＨＨ２サブバンドの４つのコードブロック５７０ＨＨ２を指定データとして指示情報５１８を送信する。この指示情報５１８を受け取ったＩｏＴ端末２は、４つのコードブロック５７０ＬＨ２、４つのコードブロック５７０ＨＬ２及び４つのコードブロック５７０ＨＨ２を、送信対象コードブロックとして送信する。ゲートウェイ３は、生成したＬＬ２サブバンドの４つのコードブロックと、４つのコードブロック５７０ＬＨ２と、４つのコードブロック５７０ＨＬ２と、４つのコードブロック５７０ＨＨ２とから成る逆変換対象データ５２２を逆ウェーブレット変換して、分解レベル２の各サブバンドの４つのコードブロック５７０に対応する、ＬＬ１サブバンドの１６個のコードブロックを生成する。そして、ゲートウェイ３は、生成した１６個のコードブロックを認識用データ５１２として画像認識処理を行う。その後、対象主画像に対する処理が終了する。
なお、ゲートウェイ３がＣＢ対応関係情報を使用して指定データを決定する場合の画像処理システム４の動作は上記の例には限られない。
＜各種変形例＞
以下に画像処理システム４の各種変形例について説明する。
＜第１変形例＞
＜ＩｏＴ端末＞
図４０は、本変形例に係る画像処理システム４のＩｏＴ端末２の構成の一例を示す図である。図４０に示されるように、本変形例に係るＩｏＴ端末２は、上述の図３に示されるＩｏＴ端末２において、マスク生成部２３及びマスク符号化部２４ａの替りに、動き検出部２７及び縮小画像符号化部２４ｃを備えるものである。本変形例では、主画像はカメラ２０で撮影される動画のフレーム画像となっている。以後、主画像をフレーム画像と呼ぶことがある。また、縮小画像を縮小フレーム画像と呼ぶことがある。
符号化装置２４が備える縮小画像符号化部２４ｃは、縮小画像メモリ２２ａから縮小画像データ５０１を読み出す。そして、縮小画像符号化部２４ｃは、読み出した縮小画像データ５０１を階層符号化する。
図４１は縮小画像符号化部２４ｃの構成の一例を示す図である。縮小画像符号化部２４ｃは、画像符号化部２４ｂと同様の構成を有している（図５参照）。図４１に示されるように、縮小画像符号化部２４ｃは、階層化部６５０、符号化部６５６及びビットストリーム生成部６５９を備える。階層化部６５０は、縮小画像データ５０１から階層化データを生成する。符号化部６５６は、階層化データを圧縮符号化して縮小画像符号化データ５０７を生成する。ビットストリーム生成部６５９は、縮小画像符号化データ５０７を含むビットストリーム５０８を生成して送信部２５ａに送信する。送信部２５ａは、ビットストリーム５０８をゲートウェイ３に送信する。
階層化部６５０は、ＤＣレベルシフト部６５１、色空間変換部６５２、タイリング部６５３、ウェーブレット変換部６５４及び量子化部６５５を備えている。ＤＣレベルシフト部６５１、色空間変換部６５２、タイリング部６５３、ウェーブレット変換部６５４及び量子化部６５５の動作は、それぞれ、画像符号化部２４ｂのＤＣレベルシフト部２４１、色空間変換部２４２、タイリング部２４３、ウェーブレット変換部２４４及び量子化部２４５の動作と同様である。
符号化部６５６は、係数ビットモデリング部６５７及びエントロピー符号化部６５８を備えている。係数ビットモデリング部６５７及びエントロピー符号化部６５８の動作は、それぞれ、画像符号化部２４ｂの係数ビットモデリング部２４７及びエントロピー符号化部２４８の動作と同様である。ただし、画像符号化部２４ｂの係数ビットモデリング部２４７は、量子化ウェーブレット係数データを構成する複数のコードブロックのうちの送信対象コードブロックに対してビットモデリング処理を行っていたが、係数ビットモデリング部６５７は、量子化ウェーブレット係数データを構成する複数のコードブロックのすべてに対してビットモデリング処理を行う。
ビットストリーム生成部６５９は、画像符号化部２４ｂのビットストリーム生成部２４９と同様に動作する。ビットストリーム生成部６５９は、縮小画像符号化データ５０７をパケット化し、それによって生成されたパケットデータと付加情報を含むビットストリーム５０８を生成する。これにより、ＩｏＴ端末２からは、主画像を縮小した縮小画像を示すデータがゲートウェイ３に送信される。
動き検出部２７は、縮小画像メモリ２２ａ内の縮小画像データ５０１に基づいて、主画像の撮影範囲（カメラ２０の撮影範囲）での物体の動きを検出する。動き検出部２７は、例えば、縮小画像データ５０１に基づいて縮小フレーム画像間の差分を示す差分画像（２値画像）を生成し、当該差分画像に基づいて、撮影範囲での物体の動きを検出することができる。動き検出部２７の少なくとも一部は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてよい。また、動き検出部２７の少なくとも一部は、コンピュータがプログラムを実行することによって実現される機能ブロックであってもよい。以後、主画像の撮影範囲での物体の動きを単に「動き」と呼ぶことがある。
また動き検出部２７は、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６の動作の停止及び起動を制御することができる。動き検出部２７は、動きを検出しないとき、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６の動作を停止する。動き検出部２７は、動きを検出しないとき、例えば、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６に対する動作クロックの供給を停止することによって、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６の動作を停止する。一方で、動き検出部２７は、動きを検出したとき、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６を動作させる。動き検出部２７は、動きを検出したとき、例えば、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６に対して動作クロックを供給することによって、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６を動作させる。
このように、本変形例に係るＩｏＴ端末２では、動き検出部２７が動きを検出しない場合には、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６の動作が停止する。したがって、動き検出部２７が動きを検出しない場合には、ＩｏＴ端末２の送信部２５ａはビットストリーム５０５を送信しない。例えば、ＩｏＴ端末２が設けられる空間（例えば家など）に人が存在しない場合には、ＩｏＴ端末２はビットストリーム５０５を送信しない。これにより、ＩｏＴ端末２の消費電力が低減する。
なお、本変形例に係るＩｏＴ端末２は、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６の動作を停止することによって、ビットストリーム５０５を送信しないようにしている。しかしながら、動き検出部２７が動きを検出しない場合、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６の動作が停止せずに、画像符号化部２４ｂで生成されるビットストリーム５０５を送信部２５ａが送信しないようにしてもよい。この場合であっても、ＩｏＴ端末２の消費電力が低減する。本変形例のように、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６の動作を停止することによって、ＩｏＴ端末２の消費電力はさらに低減する。
また、本変形例に係るＩｏＴ端末２では、縮小画像データ５０１に基づいて動きが検出されることから、主画像データ５００に基づいて動きが検出される場合と比較して、ＩｏＴ端末２の処理を簡素化することができる。よって、ＩｏＴ端末２の消費電力が低減する。
また、本変形例に係るＩｏＴ端末２では、図３の例とは異なり、マスクデータ５０２が生成されないことから、ＩｏＴ端末２の処理を簡素化することができる。よって、ＩｏＴ端末２の消費電力が低減する。
＜ゲートウェイ＞
図４２は、本変形例に係る画像処理システム４のゲートウェイ３の構成の一例を示す図である。図４２に示されるように、本変形例に係るゲートウェイ３は、上述の図４に示されるゲートウェイ３において、マスク復号化部３１ａの替りに縮小画像復号化部３１ｃを備えるとともに、マスク生成部３６をさらに備えるものである。
復号化装置３１が備える縮小画像復号化部３１ｃは、受信部３０ａが受信するビットストリーム５０８から縮小画像符号化データ５０７を抽出する。そして、縮小画像復号化部３１ｃは、抽出した縮小画像符号化データ５０７を伸張復号化して縮小画像復号化データ５２５を生成する。以後、縮小画像復号化データ５２５を縮小画像データ５２５と呼ぶことがある。
図４３は縮小画像復号化部３１ｃの構成の一例を示す図である。図４３に示されるように、縮小画像復号化部３１ｃは、ビットストリーム解析部７００、復号化部７０１、逆量子化部７０４、逆ウェーブレット変換部７０５、タイリング部７０６、色空間変換部７０７及びＤＣレベルシフト部７０８を備えている。
ビットストリーム解析部７００は、ＩｏＴ端末２からのビットストリーム５０８を解析して、当該ビットストリーム５０８から縮小画像符号化データ５０７及び付加情報を抽出する。ビットストリーム解析部７００は、抽出した縮小画像符号化データ５０７を復号化部７０１に出力する。抽出された付加情報は、復号化部７０１及び逆量子化部７０４等で使用される。
復号化部７０１は、縮小画像符号化データ５０７に対して所定の伸張復号化を行う。所定の伸張復号化は、符号量制御を除いて、図４０の符号化部６５６における圧縮符号化とは逆の処理にあたる。所定の伸張復号化によって、縮小画像符号化データ５０７から、量子化ウェーブレット係数が生成される。復号化部７０１は、エントロピー復号化部７０２及び係数ビットモデリング部７０３を備えている。エントロピー復号化部７０２及び係数ビットモデリング部７０３の動作は、それぞれ、画像復号化部３１ｂのエントロピー復号化部３１２及び係数ビットモデリング部３１３（図２３参照）の動作と同様である。
逆量子化部７０４は、復号化部７０１で生成される量子化ウェーブレット係数データに対して逆量子化を行って、ウェーブレット係数データを生成する。ここでの逆量子化は、図４０の量子化部６５５における量子化とは逆の処理にあたる。
逆ウェーブレット変換部７０５は、逆量子化部７０４で生成されるウェーブレット係数データに対して逆ウェーブレット変換（詳細には逆離散ウェーブレット変換）を行って、分解レベル０のウェーブレット画像を示すデータ、つまり原画像である縮小画像を示す縮小画像データを生成する。
タイリング部７０６は、逆ウェーブレット変換部７０５で生成された縮小画像データに対して複数のタイルを合成する処理を行う。色空間変換部７０７は、タイリング部７０６で処理された縮小画像データに対して、図４１の色空間変換部６５２での処理と逆の処理を行う。ＤＣレベルシフト部７０８は、色空間変換部７０７で処理された縮小画像データのＤＣレベルを必要に応じて変換する。ＤＣレベルシフト部７０８で処理された縮小画像データが縮小画像データ５２５としてマスク生成部３６に入力される。
マスク生成部３６は、縮小画像データ５２５に基づいて、主画像（フレーム画像）における関心領域を特定するためのマスクデータ５２６を生成して出力する。マスク生成部３６は、上述の図３に示されるマスク生成部２３がマスクデータ５０２を生成する方法と同様の方法でマスクデータ５２６を生成する。これにより、上述の図１８に示されるような最大展開マスクを示すマスクデータ５２６が生成される。マスクデータ５２６はデータ処理部３２に入力される。マスク生成部３６の少なくとも一部は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてよい。また、マスク生成部３６の少なくとも一部は、コンピュータがプログラムを実行することによって実現される機能ブロックであってもよい。
本変形例に係るマスクデータ５２６では、例えば、動体が写る部分がＲＯＩに設定されている。言い換えれば、主画像の撮影範囲において物体が動く動き領域の画像がＲＯＩに設定されている。したがって、撮影範囲において物体の動きがない場合には、マスクデータ５２６が示す最大展開マスクにＲＯＩ対応部分が現れない。一方で、撮影範囲において物体の動きがある場合には、マスクデータ５２６が示す最大展開マスクにはＲＯＩ対応部分が現れる。したがって、マスクデータ５２６が示す最大展開マスクにＲＯＩ対応部分が現れているか否かによって、撮影範囲において物体の動きがあるか否かを特定することができる。言い換えれば、マスクデータ５２６が示す最大展開マスクにＲＯＩ対応部分が現れているか否かによって、ＩｏＴ端末２の動き検出部２７が動きを検出しているか否かを特定することができる。
なおマスクデータ５２６は、トランスコーダ３４で使用されるマスクデータ５１５の生成で利用されてもよい。
このように、本変形例では、処理能力が高いゲートウェイ３によってマスクデータ５２６が生成されることから、処理能力が低いＩｏＴ端末２が生成するマスクデータ５２６よりも精度の高いマスクデータ５２６を生成することができる。
＜画像処理システムの動作例＞
本変形例では、ゲートウェイ３の第１処理部３２１は、マスクデータ５２６に基づいて指定データを決定する。図４４は、対象主画像（処理対象のフレーム画像）に対して処理を行う画像処理システム４のゲートウェイ３の動作の一例を示す図である。
図４４に示されるように、処理対象のフレーム画像に対する処理が開始すると、ステップｓ３１において、第１処理部３２１は、処理対象のフレーム画像を縮小した縮小画像を示す縮小画像データ５２５が使用されて生成されたマスクデータ５２６が示す最大展開マスク（以後、対象最大展開マスクと呼ぶことがある）に、ＲＯＩ対応部分が現れているか否か確認する。第１処理部３２１は、対象最大展開マスクにＲＯＩ対応部分が現れていない場合には、ＩｏＴ端末２の動き検出部２７が動きを検出していないとして、処理対象のフレーム画像に対する処理を終了する。動き検出部２７が動きを検出していないときには、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６の動作が停止する。したがって、ＩｏＴ端末２は、画像符号化データ５０４をゲートウェイ３に送信することができない。よって、この場合には、処理対象のフレーム画像に対する処理を終了する。
一方で、第１処理部３２１は、対象最大展開マスクにＲＯＩ対応部分が現れている場合には、ステップｓ１１を実行して、指定データを決定する。本変形例に係るステップｓ１１では、マスクデータ５２６が使用される。
処理対象のフレーム画像に対する処理が開始した後の最初のステップｓ１１では、第１処理部３２１は、対象最大展開マスクのＲＯＩ対応部分に対して、上述のグルーピング処理及びラベリング処理を順次行う。これにより、ＲＯＩ対応部分に対してラベル領域が設定される。そして、第１処理部３２１は、ＬＬ３サブバンドを対象ＬＬサブバンドとし、ラベル０を対象ラベルとする。第１処理部３２１は、変数ＬＶの値を３に設定し、変数ＬＮの値を０に設定する。そして、第１処理部３２１は、ラベリング処理された対象最大展開マスク（図３１参照）を使用して、ＬＬ３サブバンドにおける、ラベル０のラベル領域に対応するコードブロックを特定する。そして第１処理部３２１は、特定したコードブロックを指定データとし、当該指定データの各コードブロックの位置を特定するための指示情報５１８を生成する。この指示情報５１８はステップｓ１２においてＩｏＴ端末２に送信される。
２回目以降のステップｓ１１では、第１処理部３２１は、変数ＬＶの値が３の場合、ＬＬ３サブバンドにおける、対象ラベルのラベル領域に対応するコードブロックを特定する。そして第１処理部３２１は、特定したコードブロックを指定データとし、当該指定データの各コードブロックの位置を特定するための指示情報５１８を生成する。このとき、第１処理部３２１は、特定したコードブロックのうち、第１メモリ３２３に記憶されているコードブロックを指定データから除外する。
２回目以降のステップｓ１１では、対象分解レベルが３よりも小さい場合、第１処理部３２１は、対象分解レベルよりも分解レベルが１つ高いＬＨサブバンド、ＨＬサブバンド及びＨＨサブバンドにおける、対象ラベルのラベル領域に対応するコードブロックを特定する。そして第１処理部３２１は、特定したコードブロックを指定データとし、当該指定データの各コードブロックの位置を特定するための指示情報５１８を生成する。このとき、第１処理部３２１は、対象分解レベルが３のときと同様に、特定したコードブロックのうち、第１メモリ３２３に記憶されているコードブロックを指定データから除外する。他のゲートウェイ３の動作については、上記と同様である。
ＩｏＴ端末２は、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６が動いているときに指示情報５１８を受信することが可能である。ＩｏＴ端末２は、指示情報５１８を受信すると（ステップｓ２１）、受信した指示情報５１８によって指定されるコードブロックをそのまま送信対象コードブロックとする（ステップｓ２２）。以後、ＩｏＴ端末２は同様に動作する。
上記の例では、動き検出部２７が動きを検出すると、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６のすべての動作が停止しているが、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６の少なくとも一つの動作が停止してもよい。またＩｏＴ端末２は、図４５に示されるように、動き検出部２７を備えていなくてもよい。
また、上述の図３に示されるマスク生成部２３が、動き検出部２７を備えてもよい。図４６はこの場合のＩｏＴ端末２の構成を示す図である。マスク生成部２３が備える動き検出部２７は、図４０の例と同様に、動きを検出しないとき、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６の動作を停止する。一方で、動き検出部２７は、動きを検出したとき、主画像メモリ２２ｂ、画像符号化部２４ｂ及び決定部２６を動作させる。
また、図４６に示される動き検出部２７は、動きを検出するだけではなく、主画像の撮影範囲において物体が動く動き領域を特定する。そして、マスク生成部２３は、動き検出部２７で特定された動き領域の画像（動体が写る画像とも言える）をＲＯＩとし、当該ＲＯＩを特定するためのマスクデータ５０２を生成する。
動き検出部２７は、動き領域を特定する場合、例えば、縮小画像データ５０１に基づいて、縮小フレーム画像間の差分を示す差分画像を生成する。この差分画像は２値画像である。動き検出部２７は、差分画像において、画素値が１の高輝度領域を特定する。そして、動き検出部２７は、撮影範囲における、特定した高輝度領域に対応する部分を、動き領域とする。そして動き検出部２７は、特定した動き領域の画像（ＲＯＩ）を特定するためのマスクデータ５０２を上記と同様にして生成する。これにより、マスクデータ５０２が示す最大展開マスクでは、撮影範囲中の動き領域（動体が存在する領域とも言える）に対応する部分がＲＯＩ対応部分となる。そして、マスクデータ５０２に基づいて送信対象コードブロックを決定する決定部２６は、撮影範囲中の動き領域に対応するコードブロック（動体を示すコードブロック）を送信対象コードブロックとする。
＜第２変形例＞
上記の各例では、ゲートウェイ３は、画像データを含むビットストリーム５１９をクラウドサーバ５に送信していたが、ビットストリーム５１９をクラウドサーバ５に送信しなくてもよい。つまり、ゲートウェイ３は、メタデータである認識結果情報５１４だけをクラウドサーバ５に送信してもよい。この場合には、図４７に示されるようにトランスコーダ３４が不要となり、図４８に示されるようにデータ処理部３２の第２メモリ３２４及び第２処理部３２２が不要になる。なお図４７は、上述の第１変形例に係るゲートウェイ３（図４２参照）がビットストリーム５１９を送信しない場合の当該ゲートウェイ３の構成を示す図である。図４等に示される他の例に係るゲートウェイ３についてもトランスコーダ３４を設けなくてもよい。
このように、ゲートウェイ３が画像データをクラウドサーバ５に送信しないことによって、ＩｏＴ端末２が生成した画像データがインターネットに流れる可能性を低減することができる。よって、例えば、ＩｏＴ端末２で生成される画像データに写る人のプライバシーが侵害される可能性を低減することができる。
＜第３変形例＞
上記の各例に係るＩｏＴ端末２は、画像符号化データ５０４をパケット化して送信していたが、画像符号化データ５０４をパケット化せずに送信してもよい。これにより、パケットヘッダの生成が不要になる。さらに、パケットヘッダに含められる、零長パケット情報、コードブロックの包含情報、零ビットプレーン情報、符号化パス数情報及びコードブロックの符号量情報のうち、ゲートウェイ３でのパケットヘッダの復号化に必要な零長パケット情報及びコードブロックの含有情報の生成が不要になる。画像符号化部２４ｂのビットストリーム生成部２４９は、パケット化されてない画像符号化データ５０４と付加情報を含むビットストリーム５０５を生成する。この付加情報には、パケットヘッダの代りに、零ビットプレーン情報、符号化パス数情報及びコードブロックの符号量情報が符号化されずに含められる。
このように、本変形例に係るＩｏＴ端末２では、画像符号化データ５０４がパケット化されないことから、ＩｏＴ端末２ではデータのパケット化が不要となる。これにより、ＩｏＴ端末２の処理が簡素化される。よって、ＩｏＴ端末２の消費電力を低減することができるとともに、ＩｏＴ端末２から送信されるデータの送信遅延を低減することができる。
またＩｏＴ端末２では、パケットヘッダの生成が不要になることから、処理がさらに簡素化される。よって、ＩｏＴ端末２の消費電力をさらに低減することができるとともに、ＩｏＴ端末２から送信されるデータの送信遅延をさらに低減することができる。
また、ＩｏＴ端末２からのビットストリーム５０５を処理するゲートウェイ３では、画像復号化部３１ｂのビットストリーム解析部３１０は、パケットヘッダを復号化する必要がない。よって、ゲートウェイ３の処理を簡素化できる。
＜第４変形例＞
ゲートウェイ３の画像認識部３３が検出する検出対象物の種類によっては、画像認識部３３は解像度が低い画像から検出対象物を検出することが可能である。
また、ゲートウェイ３が、ＩｏＴ端末２から受け取る画像符号化データ５０４を使用して行う処理の種類によっては、解像度が高い画像を示す画像符号化データ５０４が必要とされる場合もあれば、画像符号化データ５０４が示す画像の解像度が低くてもよい場合がある。例えば、ゲートウェイ３が、画像符号化データ５０４に基づいて、クラウドサーバ５に対して解像度が高い動画をストリーミング送信する場合には、解像度が高い画像を示す画像符号化データ５０４が必要とされる。
そこで、本変形例に係る画像処理システム４は、ＩｏＴ端末２で生成されるコードブロック中の量子化ウェーブレット係数の二進値を構成する複数のビットにおいて、ゲートウェイ３に送信するビットを調整することによって、画像符号化データ５０４が示す画像の解像度を調整することができる。以下に本変形例に係る画像処理システム４について詳細に説明する。以後、画像の画素に対応する量子化ウェーブレット係数の二進値を構成するビットの数をＬ（Ｌは２以上の整数）で表す。
本変形例では、ＩｏＴ端末２が有する画像符号化部２４ｂの符号化部２５６は、決定部２６が決定する送信対象コードブロック中の量子化ウェーブレット係数を構成するＬビットを最上位（ＭＳＢ）から見た場合に初めて１が現れるビット位置よりも１ビットだけ上位のビット位置を第１ビット位置する。また符号化部２５６は、第１ビット位置からＭビット数（Ｍは１以上の整数）だけ下位のビット位置を第２ビット位置する。符号化部２５６は、Ｌビットのうち、最上位から第２ビット位置までのビットを対象ビットとし、それ以外のビットを対象外ビットとする。符号化部２５６は、Ｌビットのうちの対象ビットを圧縮符号化する。つまり、符号化部２５６は、対象ビットだけに対してビットプレーン符号化及びエントロピー符号化を行う。そして、符号化部２５６は、Ｌビットのうちの対象外ビットを切り捨てて圧縮符号化しない。これにより、送信対象コードブロック中の各量子化ウェーブレット係数については、それを構成するＬビットのうちの圧縮符号化された対象ビットだけが、ゲートウェイ３に送信される。
なお、Ｌビットの最上位のビットが“１”の場合、符号化部２５６は、その最上位よりも１ビットだけ上位の仮想的なビット位置を第１ビット位置として、対象ビットを決定する。また、第１ビット位置からＭビット数だけ下位のビット位置が、Ｌビットの最下位（ＬＳＢ）を超える場合には、第２ビット位置は当該最下位に設定される。
図４９，５０は、圧縮符号化される対象ビットの一例を示す図である。図４９，５０の例では、Ｌ＝１１、Ｍ＝３とされている。図４９に示される量子化ウェーブレット係数の二進値は“０００ １１０１ ０１１１”で構成されている。この場合、対象ビットは“０００１１０”の６ビットとなり、対象外ビットは“１０１１１”の５ビットとなる。符号化部２５６は、対象ビット“０００１１０”だけを圧縮符号化する。また、図５０に示される量子化ウェーブレット係数の二進値は“０１０ ００１１ ０１０１”で構成されている。この場合、対象ビットは“０１００”の４ビットとなり、対象外ビットは“０１１０１０１”の７ビットとなる。符号化部２５６は、対象ビット“０１００”だけを圧縮符号化する。
圧縮符号化される対象ビットを決定するＭの値は、例えばゲートウェイ３によって決定される。ゲートウェイ３は、画像符号化データ５０４を用いて行う処理に応じてＭの値を決定する。よって、Ｍの値は、ゲートウェイ３が画像符号化データ５０４を用いて行う処理に応じた値となる。
例えば、ゲートウェイ３は、上述の図２９に示されるように、画像符号化データ５０４を用いて画像認識処理を行う場合には、図４９，５０の例のようにＭの値を例えば３に設定する。またゲートウェイ３は、解像度が高い画像を示す画像符号化データ５０４を用いて処理を行う場合には、Ｍの値を例えば５に設定する。ゲートウェイ３は、設定したＭの値をＩｏＴ端末２に通知する。ＩｏＴ端末２の符号化部２４６は、ゲートウェイ３から通知されるＭの値に基づいて対象ビットを決定する。
ＩｏＴ端末２からビットストリーム５０５を受信したゲートウェイ３では、画像復号化部３１ｂの復号化部３１１が、ＩｏＴ端末２からの画像符号化データ５０４を伸張復号化して、送信対象コードブロック中の量子化ウェーブレット係数を復元する。そして復号化部３１１は、復元した量子化ウェーブレット係数を構成する対象ビットに対してビットを追加して、Ｌビットの量子化ウェーブレット係数を生成する。
ここで、復元された量子化ウェーブレット係数を構成する対象ビットのビット数をＮ（１以上の整数）とする。復号化部３１１は、復元した量子化ウェーブレット係数を構成する対象ビットよりも下位のビットとして、（Ｌ−Ｎ）個の０を当該対象ビットに追加する。これにより、Ｌビットから成る量子化ウェーブレット係数が得られる。ゲートウェイ３は、Ｍの値と、ＩｏＴ端末２から送信される零ビットプレーン情報とに基づいて、対象ビットのビット数Ｎを特定することができる。復号化部３１１で生成された、Ｌビットから成る量子化ウェーブレット係数は、逆量子化部３１４に入力される。
図５１，５２は、復号化部３１１で生成される、Ｌビットから成る量子化ウェーブレット係数の一例を示す図である。図５１には、ＩｏＴ端末２が、上述の図４９に示される対象ビット“０００１１０”を送信する場合の例が示されている。図５２には、ＩｏＴ端末２が、上述の図５０に示される対象ビット“０１００”を送信する場合の例が示されている。
図５１に示されるように、復号化部３１１は、６ビットの対象ビット“０００１１０”から成る量子化ウェーブレット係数を復元すると、対象ビット“０００１１０”よりも下位のビットとして、５個の０を追加ビットとして対象ビット“０００１１０”に追加する。これにより、１１ビット（Ｌビット）の“０００ １１００ ００００”から成る量子化ウェーブレット係数が得られる。
また図５２に示されるように、復号化部３１１は、４ビットの対象ビット“０１００”から成る量子化ウェーブレット係数を復元すると、対象ビット“０１００”よりも下位のビットとして、７個の０を追加ビットとして対象ビット“０１００”に追加する。これにより、１１ビット（Ｌビット）の“０１０ ００００ ００００”から成る量子化ウェーブレット係数が得られる。
図４９〜５２の例では、図４９，５０と図５１，５２とをそれぞれ比較して理解できるように、復号化部３１１で生成される１１ビットの量子化ウェーブレット係数が示す情報では、ＩｏＴ端末２で生成される１１ビットの量子化ウェーブレット係数が示す情報と比較して、下位のビットの情報が失われる。したがって、逆量子化部３１４から出力されるＷＴ復号化データ５１１が示す画像の解像度は低くなる。
このように、本変形例では、送信対象コードブロック中の、画素に対応する量子化ウェーブレット係数を構成するＬビットのうち、最上位から、ゲートウェイ３での処理に応じたＭの値で決まる第２ビット位置までのビットだけが、圧縮符号化されてゲートウェイ３に送信される。したがって、ＩｏＴ端末２がゲートウェイ３に送信するデータ量を、ゲートウェイ３での処理に応じて調整することができる。よって、ＩｏＴ端末２の消費電力を低減することができるとともに、ＩｏＴ端末２から送信されるデータの送信遅延を低減することができる。
また、対象ビットを決定するＭの値を調整することによって、ゲートウェイ３で使用される画像の解像度を簡単に調整することができる。つまり、Ｍの値を大きくすることによって、ゲートウェイ３で使用される画像の解像度を高くすることができ、Ｍの値を小さくすることによって、ゲートウェイ３で使用される画像の解像度を低くすることができる。
なお、ＩｏＴ端末２は、ゲートウェイ３からＭの値が通知されない場合には、量子化ウェーブレット係数を構成するＬビットのすべてを圧縮符号化してゲートウェイ３に送信してもよい。
またゲートウェイ３は、量子化ウェーブレット係数を構成するＬビットにおいて、対象ビットとして過去に受信して第１メモリ３２３に記憶している上位のビットが存在する場合に、解像度が高い画像を用いた処理を行いたいときには、第１メモリ３２３に記憶されている当該上位のビットよりも下位の必要なビットだけをＩｏＴ端末２に送信させてもよい。この場合には、ゲートウェイ３は、第１メモリ３２３内の上位のビットに対して、後から受信した下位のビットを追加することによって、情報損失が少ないＬビットの量子化ウェーブレット係数を生成することができる。よって、ゲートウェイ３は、解像度が高い画像を用いた処理が可能となる。また、ＩｏＴ端末２は、すでに送信したデータを再度送信することがないことから、ＩｏＴ端末２の処理が簡素化する。
例えば、ゲートウェイ３が、解像度が高い画像を用いた処理を行うために、ＩｏＴ端末２が生成する量子化ウェーブレット係数を構成するＬビットのすべてが必要であるとする。また、ゲートウェイ３は、量子化ウェーブレット係数を構成するＬビットのうち、例えば図４９に示される上位６ビット“０００１１０”を対象ビットとしてすでに受信して第１メモリ３２３に記憶しているとする。このような場合、ゲートウェイ３は、必要な残りの下位５ビット、つまり“１０１１１”だけを送信するようにＩｏＴ端末２に指示する。この指示を受けたＩｏＴ端末２は、下位の５ビット“１０１１１”だけを圧縮復号化してゲートウェイ３に送信する。ゲートウェイ３は、第１メモリ３２３内の上位の“０００１１０”に対して、新たに受信した下位の“１０１１１”を追加して、１１ビットの“０００ １１０１ ０１１１”から成る量子化ウェーブレット係数を生成する。
また、ゲートウェイ３が、解像度が高い画像を用いた処理を行うために、ＩｏＴ端末２が生成する量子化ウェーブレット係数を構成するＬビットのうちの上位９ビットが必要であるとする。また、ゲートウェイ３は、量子化ウェーブレット係数を構成するＬビットのうち、例えば図５０に示される上位４ビット“０１００”を対象ビットとしてすでに受信して第１メモリ３２３に記憶しているとする。このような場合、ゲートウェイ３は、必要な残りの５ビット“０１１０１”（第２ビット位置の次のビット位置から５ビット分）だけを送信するようにＩｏＴ端末２に指示する。この指示を受けたＩｏＴ端末２は、５ビット“０１１０１”だけを圧縮復号化してゲートウェイ３に送信する。ゲートウェイ３は、第１メモリ３２３内の上位の“０１００”に対して、新たに受信した５ビット“０１１０１”を下位に追加し、さらに２個の０を追加して、１１ビットの“０１０ ００１１ ０１００”から成る量子化ウェーブレット係数を生成する。
＜第５変形例＞
本変形例では、ＩｏＴ端末２は、ビットストリーム５０５をマルチレイヤー化することが可能である。図５３は、本変形例に係るＩｏＴ端末２の画像符号化部２４ｂの構成の一例を示す図である。図５４は、本変形例に係るゲートウェイ３の画像復号化部３１ｂの構成の一例を示す図である。
図５３に示されるように、本変形例に係る画像符号化部２４ｂは、上述の図５に示される画像符号化部２４ｂにおいて、レイヤー分割処理部２５０をさらに備えるものである。レイヤー分割処理部２５０は、ビットストリーム生成部２４９から出力されるビットストリーム５０５をマルチレイヤー化することが可能である。ビットストリーム５０５では、コードブロック単位でデータが並べられている。レイヤー分割処理部２５０は、ビットストリーム５０５をマルチレイヤー化する場合には、ビットストリーム５０５に含まれる画像符号化データ５０４を複数のレイヤーに分割し、当該複数のレイヤーの少なくとも一つのレイヤーのデータを含むビットストリーム５０５ａを出力する。一方で、レイヤー分割処理部２５０は、ビットストリーム５０５をマルチレイヤー化せずにそのまま出力することも可能である。この場合には、レイヤー分割処理部２５０は、ビットストリーム５０５をそのままビットストリーム５０５ａとして出力する。レイヤー分割処理部２５０で生成されたビットストリーム５０５ａは、送信部２５ａからゲートウェイ３に送信される。
なお、レイヤー分割処理部２５０の少なくとも一部は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてよい。また、レイヤー分割処理部２５０の少なくとも一部は、コンピュータがプログラムを実行することによって実現される機能ブロックであってもよい。
図５４に示されるように、本変形例に係る画像復号化部３１ｂは、上述の図２３に示される画像復号化部３１ｂにおいて、レイヤー合成処理部３１５をさらに備えるものである。レイヤー合成処理部３１５は、ゲートウェイ３がＩｏＴ端末２から、複数のレイヤーのデータを含むビットストリーム５０５ａを受信する場合には、当該ビットストリーム５０５ａに含まれる、同一サブバンドについての複数のレイヤーのデータを合成して、マルチレイヤー化されてないビットストリーム５０５ｂ、つまりコードブロック単位でデータが並べられたビットストリーム５０５ｂを生成して出力する。一方で、レイヤー合成処理部３１５は、ゲートウェイ３がＩｏＴ端末２からマルチレイヤー化されていないビットストリーム５０５ａ（ビットストリーム５０５）を受信する場合と、一つのレイヤーのデータだけを含むビットストリーム５０５ａを受信する場合には、当該ビットストリーム５０５ａをそのままビットストリーム５０５ｂとして出力する。
ビットストリーム解析部３１０は、上記と同様にして、ビットストリーム５０５ｂを解析して、当該ビットストリーム５０５ｂから、画像符号化データ５０４ａと付加情報とを抽出する。画像符号化データ５０４ａは、画像符号化データ５０４と同様に、主画像データの少なくとも一部が階層符号化されたデータである。ビットストリーム解析部３１０は、抽出した画像符号化データ５０４ａを復号化部３１１及びデータ処理部３２に出力する。復号化部３１１及びデータ処理部３２のそれぞれは、画像符号化データ５０４に対する処理と同様にして、画像符号化データ５０４ａを処理する。なお、ゲートウェイ３がＩｏＴ端末２からマルチレイヤー化されていないビットストリーム５０５ａ（ビットストリーム５０５）を受信する場合には、画像符号化データ５０４ａは、ＩｏＴ端末２で生成される画像符号化データ５０４と一致する。
＜レイヤー分割処理部の詳細説明＞
図５５はレイヤー分割処理部２５０の構成の一例を示す図である。図５５に示されるように、レイヤー分割処理部２５０は、メモリ２５１と、レイヤー分割制御部２５２と、多重化部２５３と、優先度テーブル２５４とを備える。
優先度テーブル２５４ は、ウェーブレット平面を構成する複数のサブバンドのそれぞれに対して設定された優先度を記憶している。各サブバンドの優先度は、当該サブバンドの分解レベルに応じて設定されている。レイヤー分割処理部２５０では、優先度テーブル２５５内の優先度に基づいて、ビットストリーム５０５がマルチレイヤー化される。
レイヤー分割制御部２５２は、ビットストリーム生成部２４９で生成されるビットストリーム５０５をメモリ２５１に記憶する。レイヤー分割制御部２５２は、ビットストリーム５０５をマルチレイヤー化する場合には、メモリ２５１から、ビットストリーム５０５に含まれる画像符号化データ５０４を読み出し、読み出した画像符号化データ５０４を複数のレイヤーに分割する。そして、レイヤー分割制御部２５２は、複数のレイヤーのうちの少なくとも一つのレイヤーのデータを多重化部２５３に出力する。多重化部５２３は、レイヤー分割制御部２５２が出力するデータを多重化して、少なくとも一つのレイヤーのデータを含むビットストリーム５０５ａを生成して出力する。
一方で、レイヤー分割制御部２５２は、ビットストリーム５０５をマルチレイヤー化しない場合には、メモリ２５１からビットストリーム５０５を読み出してそのまま多重化部２５３に出力する。多重化部２５３は、入力されたビットストリーム５０５をそのままビットストリーム５０５ａとして出力する。ＩｏＴ端末２がビットストリーム５０５をマルチレイヤー化するか否かについては、ゲートウェイ３からの指示情報５１８によって指定される。
図５６は各サブバンドに設定された優先度の一例を示す図である。図５６の例では、ＬＬ３サブバンドに対して優先度４が設定され、ＬＨ３サブバンド及びＨＬ３サブバンドに対して優先度３が設定されている。また、ＨＨ３サブバンド、ＬＨ２サブバンド及びＨＬ２サブバンドに対して優先度２が設定され、ＨＨ２サブバンド、ＬＨ１サブバンド及びＨＬ１サブバンドに対して優先度１が設定されている。そして、ＨＨ１サブバンドに対して優先度０が設定されている。なお、各サブバンドの優先度の値は図５６の例には限られない。
レイヤー分割制御部２５２は、ビットストリーム５０５をマルチレイヤー化する場合には、画像符号化データ５０４に含まれる各コードブロックに対してビットシフト処理を行う。以下にビットシフト処理について詳細に説明する。本変形例では、説明対象のコードブロックを対象コードブロックと呼ぶ。
レイヤー分割処理部２５２は、対象コードブロックに対するビットシフト処理において、まず、対象コードブロックが属するサブバンドに設定された優先度を優先度テーブル２５４から取得する。レイヤー分割制御部２５２は、対象コードブロックの各係数について、当該係数を構成するＬビットのデータを、取得した優先度と同じ数のビット数だけビットシフトする。これにより、対象コードブロックに対してビットシフト処理が行われる。
対象コードブロックが、例えばＬＬ３サブバンドに属する場合には、レイヤー分割制御部２５２は、対象コードブロックの各係数について、当該係数を構成するＬビットのデータを４ビットだけ同じ方向にビットシフトする。また、対象コードブロックが、例えばＨＨ３サブバンドに属する場合には、レイヤー分割制御部２５２は、対象コードブロックの各係数について、当該係数を構成するＬビットのデータを２ビットだけ同じ方向にビットシフトする。なお、ＨＨ１サブバンドに設定されている優先度は０であるため、ＨＨ１サブバンドに属する対象コードブロックに対してビットシフト処理が行われたとしても、対象コードブロックの各係数は実際にはビットシフトされない。以後、ビットシフト処理が行われたコードブロックをシフト処理済みコードブロックと呼ぶことがある。
レイヤー分割制御部２５２は、画像符号化データ５０４に含まれる各コードブロックに対してビットシフト処理を行うと、各シフト処理済みコードブロックを複数のレイヤーに分割するレイヤー分割処理を行う。
図５７は、レイヤー分割処理の一例を説明するための図である。図５７には、シフト処理済みコードブロックの係数（ビットシフトされた係数）を構成するＬビット（図５７の例では１１ビット）のデータ５７００が示されている。Ｌビットのデータ５７００に示される０〜１０の番号は、当該データ５７０内での各ビットのビット位置を示している。０番はＬＳＢを示し、１０番はＭＳＢを示している。
図５７に示されるように、ＬＬ３サブバンドに属するコードブロックの係数を構成するＬビットのデータ５７００は４ビットだけビットシフトされている。ＬＨ３サブバンド及びＨＬ３サブバンドに属するコードブロックの係数を構成するＬビットのデータ５７００は３ビットだけビットシフトされている。ＨＨ３サブバンド、ＬＨ２サブバンド及びＨＬ２サブバンドに属するコードブロックの係数を構成するＬビットのデータ５７００は２ビットだけビットシフトされている。ＨＨ２サブバンド、ＬＨ１サブバンド及びＨＬ１サブバンドに属するコードブロックの係数を構成するＬビットのデータ５７００は１ビットだけビットシフトされている。そして、ＨＨ１サブバンドに属するコードブロックの係数を構成するＬビットのデータ５７００はビットシフトされていない。
本変形例では、シフト処理済みコードブロックに関して、図５７の下側に示されるように、ＨＨ１サブバンドの係数を構成するＬビットのデータ５７００の最下位のビット位置から、ＬＬ３サブバンドのビットシフトされた係数を構成するＬビットのデータ５７００の最上位のビット位置までに対して、０〜１４までの番号がそれぞれ割り当てられている。
レイヤー分割制御部２５２は、ビットシフト処理後のコードブロックの係数を構成するＬビットのデータ５７００のうち、ビット位置が１２番から１４番までのビットをレイヤー０とし、ビット位置が９番から１１番までのビットをレイヤー１とする。またレイヤー分割制御部２５２は、ビットシフト処理後のコードブロックの係数を構成するＬビットのデータ５７００のうち、ビット位置が６番から８番までのビットをレイヤー２とし、ビット位置が３番から５番までのビットをレイヤー３とする。そして、レイヤー分割制御部２５２は、ビットシフト処理後のコードブロックの係数を構成するＬビットのデータ５７００のうち、ビット位置が０番から２番までのビットをレイヤー４とする。
以上のようにして、画像符号化データ５０４が複数のレイヤーに分割されると、レイヤー分割制御部２５２は、複数のレイヤーのうち、ゲートウェイ３に送信するレイヤーのデータを多重化部２５３に出力する。ＩｏＴ端末２がゲートウェイ３に送信するレイヤーについては、ゲートウェイ３からの指示情報５１８によって指定される。ゲートウェイ３は、複数のレイヤーのうち、どのレイヤーのデータを送信すべきかＩｏＴ端末２に対して自由に指示することができる。多重化部２５３は、レイヤー分割制御部２５２からのデータを多重化して、ゲートウェイ３に送信するレイヤーのデータを含むビットストリーム５０５ａを生成する。なお、Ｌビットのデータ５７００を複数のレイヤーに分割する方法は図５７の例には限られない。
＜レイヤー合成処理部の詳細説明＞
図５８はレイヤー合成処理部３１５の構成の一例を示す図である。図５８に示されるように、レイヤー合成処理部３１５は、メモリ３１６及びレイヤー合成制御部３１７を備える。
レイヤー合成制御部３１７は、ＩｏＴ端末２からのビットストリーム５０５ａをメモリ３１６に記憶する。また、レイヤー合成制御部３１７は、ゲートウェイ３が受信したビットストリーム５０５ａがマルチレイヤー化されてない場合には、当該ビットストリーム５０５ａをそのままビットストリーム５０５ｂとして出力する。また、レイヤー合成制御部３１７は、ゲートウェイ３が受信したビットストリーム５０５ａがマルチレイヤー化されている場合であって、当該ビットストリーム５０５ａに一つのレイヤーのデータしか含まれていない場には、当該ビットストリーム５０５ａをそのままビットストリーム５０５ｂとして出力する。
一方で、レイヤー合成制御部３１７は、ゲートウェイ３が受信したビットストリーム５０５ａがマルチレイヤー化されている場合であって、当該ビットストリーム５０５ａに複数のレイヤーのデータが含まれている場合には、同じサブバンドについての複数のレイヤーのデータを合成して、マルチレイヤー化されてないビットストリーム５０５ｂ（ビットストリーム５０５のように、コードブロック単位でデータが並べられたビットストリーム５０５ｂ）を生成して出力する。
＜本変形例に係る画像処理システムの動作例＞
次に、ビットストリーム５０５がマルチレイヤー化される場合の本変形例に係る画像処理システム４全体での動作例について説明する。
ゲートウェイ３は、対象主画像に対する処理が開始すると、例えば、ＬＬ３サブバンドの各コードブロックのレイヤー０のデータを指定データとして指示情報５１８を送信する。この指示情報５１８を受け取ったＩｏＴ端末２は、ＬＬ３サブバンドの各コードブロックを送信対象コードブロックとして画像符号化データ５０４を生成する。そして、ＩｏＴ端末２では、レイヤー分割処理部２５０が、画像符号化データ５０４を含むビットストリーム５０５をマルチレイヤー化して、ＬＬ３サブバンドの各コードブロックのレイヤー０のデータを生成する。そして、レイヤー分割処理部２５０は、ＬＬ３サブバンドの各コードブロックのレイヤー０のデータを含むビットストリーム５０５ａを生成してゲートウェイ３に送信する。
ゲートウェイ３では、レイヤー合成処理部３１５は、ＩｏＴ端末２から受け取ったビットストリーム５０５ａをそのままビットストリーム５０５ｂとして出力する。そして、ゲートウェイ３は、ビットストリーム５０５ｂに含まれる、ＬＬ３サブバンドの各コードブロックのレイヤー０のデータを認識用データ５１２とする。このとき、ＬＬ３サブバンドの各係数のデータがＬビットのデータとなるように、当該各係数のデータに対して、８個の０が下位ビットとして追加される（上述の図５１，５２参照）。ゲートウェイ３は認識用データ５１２に対して画像認識処理を行う。
ゲートウェイ３が検出対象物を検出すると、対象主画像に対する処理が終了する。一方で、ゲートウェイ３は、検出対象物を検出しない場合には、ＬＬ２サブバンドを処理対象とするために、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドの各コードブロックのレイヤー０及び１のデータと、ＬＬ３サブバンドの各コードブロックのレイヤー１のデータとを指定データとして指示情報５１８を送信する。この指示情報５１８を受け取ったＩｏＴ端末２は、ＬＬ３サブバンド、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドの各コードブロックを送信対象コードブロックとして画像符号化データ５０４を生成する。そして、ＩｏＴ端末２では、レイヤー分割処理部２５０が、画像符号化データ５０４を含むビットストリーム５０５をマルチレイヤー化して、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドの各コードブロックのレイヤー０及び１のデータと、ＬＬ３サブバンドの各コードブロックのレイヤー１のデータとを生成する。そして、レイヤー分割処理部２５０は、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドの各コードブロックのレイヤー０及び１のデータと、ＬＬ３サブバンドの各コードブロックのレイヤー１のデータとを含むビットストリーム５０５ａを生成してゲートウェイ３に送信する。ＩｏＴ端末２は、マルチレイヤー化されたビットストリーム５０５ａを送信する場合には、上位のレイヤーのデータから順に送信する。ここでは、ＩｏＴ端末２は、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドのレイヤー０のデータを送信した後に、ＬＬ３サブバンド、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドのレイヤー１のデータを送信する。
ゲートウェイ３では、レイヤー合成処理部３１５のレイヤー合成制御部３１７は、ＩｏＴ端末２から受け取ったビットストリーム５０５ａをメモリ３１６に記憶する。そして、レイヤー合成制御部３１７は、メモリ３１６から、同一サブバンドの複数のレイヤーのデータを読み出して合成して、シングルレイヤー化されたビットストリーム５０５ｂを生成する。
具体的には、レイヤー合成制御部３１７は、メモリ３１６から、ＬＨ３サブバンドのレイヤー０及び１のデータを読み出す。そして、レイヤー合成制御部３１７は、読み出した、ＬＨ３サブバンドのレイヤー０及び１のデータを合成して、コードブロック単位でデータが並ぶ、ＬＨ３サブバンドにおける、ＩｏＴ端末２が送信したデータを生成する。以後、このデータを、シングルレイヤー化されたＬＨ３サブバンドのデータと呼ぶ。
同様に、レイヤー合成制御部３１７は、メモリ３１６から、ＨＬ３サブバンドのレイヤー０及び１のデータを読み出す。そして、レイヤー合成制御部３１７は、読み出した、ＨＬ３サブバンドのレイヤー０及び１のデータを合成して、コードブロック単位でデータが並ぶ、ＨＬ３サブバンドにおける、ＩｏＴ端末２が送信したデータを生成する。以後、このデータを、シングルレイヤー化されたＨＬ３サブバンドのデータと呼ぶ。
同様に、レイヤー合成制御部３１７は、メモリ３１６から、ＨＨ３サブバンドのレイヤー０及び１のデータを読み出す。そして、レイヤー合成制御部３１７は、読み出した、ＨＨ３サブバンドのレイヤー０及び１のデータを合成して、コードブロック単位でデータが並ぶ、ＨＨ３サブバンドにおける、ＩｏＴ端末２が送信したデータを生成する。以後、このデータを、シングルレイヤー化されたＨＨ３サブバンドのデータと呼ぶ。
そして、レイヤー合成制御部３１７は、シングルレイヤー化されたＬＨ３サブバンドのデータと、シングルレイヤー化されたＨＬ３サブバンドのデータと、シングルレイヤー化されたＨＨ３サブバンドのデータと、ＬＬ３サブバンドの各コードブロックのレイヤー１のデータとを含むビットストリーム５０５ｂを生成する。このビットストリーム５０５ｂでは、コードブロック単位でデータが並んでいる。
このように、ゲートウェイ３は、シングルレイヤー化されたビットストリーム５０５ｂを生成することから、ＩｏＴ端末２から、マルチレイヤー化されたビットストリーム５０５ａが送信される場合であっても、マルチレイヤー化されていないビットストリーム５０５ａが送信される場合であっても、同じ構成の復号化部３１１を使用することができる。よって、ゲートウェイ３の構成を簡素化することができる。
ゲートウェイ３は、シングルレイヤー化されたビットストリーム５０５ｂを生成した後、すでに受け取っているＬＬ３サブバンドの各コードブロック５７０のレイヤー０のデータと、ビットストリーム５０５ｂに含まれる、ＬＬ３サブバンドの各コードブロック５７０のレイヤー１のデータと、ビットストリーム５０５ｂに含まれる、ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブバンドの各コードブロックのレイヤー０及び１のデータとから成る逆変換対象データ５２２を生成する。このとき、ゲートウェイ３は、ＬＬ３サブバンドの各係数のデータがＬビットのデータとなるように、当該各係数のデータに対して必要な数だけ０を下位ビットとして追加する（上述の図５１，５２参照）。ＬＨ３サブバンド、ＨＬ３サブバンド及びＨＨ３サブンドについても同様である。そして、ゲートウェイ３は、生成した逆変換対象データ５２２に対して逆ウェーブレット変換を行い、それによって生成されたデータを認識用データ５１２として画像認識処理を行う。
ここで、逆変換対象データ５２２を逆ウェーブレット変換した場合には、それによって生成されるデータが示す画像にひずみが発生し、当該画像の品質が劣化する可能性がある。本変形例では、逆ウェーブレット変換を使用してＬＬ２サブバンドのデータを生成する際に、レイヤー０のデータだけではなく、レイヤー１のデータも使用していることから、レイヤー０のデータだけを使用する場合と比較して、逆ウェーブレット変換によって生成されたデータが示す画像の品質を向上することができる。なお、レイヤー０のデータだけを使用して逆ウェーブレット変換してもよい。また、レイヤー０〜３のデータを使用して逆ウェーブレット変換してもよいし、レイヤー０〜４のデータを使用して逆ウェーブレット変換してもよい。
ゲートウェイ３が画像認識処理を行った結果、検出対象物が検出されると、対象主画像に対する処理が終了する。一方で、ゲートウェイ３は、検出対象物を検出しない場合には、ＬＬ１サブバンドを処理対象とするために、ＬＨ２サブバンド及びＨＬ２サブバンドの各コードブロックのレイヤー０及び１のデータと、ＨＨ２サブバンドの各コードブロックのレイヤー１のデータ（ＨＨ２サブバンドにはレイヤー０のデータは存在しない）とを指定データとして指示情報５１８を送信する。この指示情報５１８を受け取ったＩｏＴ端末２は、ＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブバンドの各コードブロックを送信対象コードブロックとして画像符号化データ５０４を生成する。そして、ＩｏＴ端末２では、レイヤー分割処理部２５０が、画像符号化データ５０４を含むビットストリーム５０５をマルチレイヤー化して、ＬＨ２サブバンド及びＨＬ２サブバンドの各コードブロックのレイヤー０及び１のデータと、ＨＨ２サブバンドの各コードブロックのレイヤー１のデータとを生成する。そして、レイヤー分割処理部２５０は、ＬＨ２サブバンド及びＨＬ２サブバンドの各コードブロックのレイヤー０及び１のデータと、ＨＨ２サブバンドの各コードブロックのレイヤー１のデータとを含むビットストリーム５０５ａを生成してゲートウェイ３に送信する。このとき、ＩｏＴ端末２は、ＬＨ２サブバンド及びＨＬ２サブバンドのレイヤー０のデータを送信した後に、ＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブバンドのレイヤー１のデータを送信する。
ゲートウェイ３では、レイヤー合成制御部３１７は、ＩｏＴ端末２から受け取ったビットストリーム５０５ａをメモリ３１６に記憶する。そして、レイヤー合成制御部３１７は、メモリ３１６から、同一サブバンドの複数のレイヤーのデータを読み出して合成して、シングルレイヤー化されたビットストリーム５０５ｂを生成する。
具体的には、レイヤー合成制御部３１７は、メモリ３１６から、ＬＨ２サブバンドのレイヤー０及び１のデータを読み出す。そして、レイヤー合成制御部３１７は、読み出した、ＬＨ２サブバンドのレイヤー０及び１のデータを合成して、コードブロック単位でデータが並ぶ、ＬＨ２サブバンドにおける、ＩｏＴ端末２が送信したデータを生成する。以後、このデータを、シングルレイヤー化されたＬＨ２サブバンドのデータと呼ぶ。
同様に、レイヤー合成制御部３１７は、メモリ３１６から、ＨＬ２サブバンドのレイヤー０及び１のデータを読み出す。そして、レイヤー合成制御部３１７は、読み出した、ＨＬ２サブバンドのレイヤー０及び１のデータを合成して、コードブロック単位でデータが並ぶ、ＨＬ２サブバンドにおける、ＩｏＴ端末２が送信したデータを生成する。以後、このデータを、シングルレイヤー化されたＨＬ２サブバンドのデータと呼ぶ。
そして、レイヤー合成制御部３１７は、シングルレイヤー化されたＬＨ２サブバンドのデータと、シングルレイヤー化されたＨＬ２サブバンドのデータと、ＨＨ２サブバンドの各コードブロックのレイヤー１のデータとを含むビットストリーム５０５ｂを生成する。このビットストリーム５０５ｂでは、コードブロック単位でデータが並んでいる。
ゲートウェイ３は、シングルレイヤー化されたビットストリーム５０５ｂを生成した後、すでに取得している、ＬＬ２サブバンドの各コードブロックのデータと、ビットストリーム５０５ｂに含まれる、ＬＨ２サブバンド及びＨＬ２サブバンドの各コードブロックのレイヤー０及び１のデータと、ビットストリーム５０５ｂに含まれる、ＨＨ２サブバンドの各コードブロックのレイヤー１のデータとから成る逆変換対象データ５２２を生成する。このとき、ゲートウェイ３は、ＬＬ２サブバンドの各係数のデータがＬビットのデータとなるように、当該各係数のデータに対して必要な数だけ０を下位ビットとして追加する（上述の図５１，５２参照）。ＬＨ２サブバンド、ＨＬ２サブバンド及びＨＨ２サブンドについても同様である。そして、ゲートウェイ３は、生成した逆変換対象データ５２２に対して逆ウェーブレット変換を行い、それによって生成されたデータを認識用データ５１２として画像認識処理を行う。その後、対象主画像に対する処理が終了する。
このように、本変形例に係る画像処理システム４では、ＩｏＴ端末２がレイヤー単位でデータを送信することができることから、ＩｏＴ端末２の消費電力を低減することができる。
なお、ビットストリーム５０５がマルチレイヤー化される場合の画像処理システム４の動作は上記の例には限られない。例えば、ゲートウェイ３は、上述のＣＢ対応関係情報を使用して指定データを決定してもよい。
＜その他の変形例＞
上記の各例では、情報処理システム１は、ＩｏＴシステムとして使用されているが、他のシステムとして使用されてもよい。
また上記の各例では、ＪＰＥＧ２０００に基づいて画像データを階層化しているが、ＪＰＥＧ２０００でのサブバンド分割と同様にして画像データを階層化する他の規格に基づいて画像データを階層化してもよい。
以上のように、情報処理システム１、画像処理システム４及び画像処理装置２，３は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この発明がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
１ 情報処理システム
２ 画像処理装置（ＩｏＴ端末）
３ 画像処理装置（ゲートウェイ）
４ 画像処理システム
２２ｂ 主画像メモリ
２３ マスク生成部
２４ａ マスク符号化部
２５ａ 送信部
２６ 決定部
２７ 動き検出部
３０ａ 受信部
３３ 画像認識部
２４０ 階層化部（生成部）
２４６ 符号化部
３２１ 第１処理部

Claims (28)

  1. 第１画像を示す階層化されたデータを生成する生成部と、
    前記階層化されたデータから、所定の基準に基づいて、送信対象データを決定する第１決定部と、
    前記第１決定部で決定された前記送信対象データを圧縮符号化して第１符号化データを生成する第１符号化部と、
    前記第１符号化データを送信する第１送信部と
    を備える画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記第１画像に関する第１処理を行う第１処理部をさらに備え、
    前記第１決定部は、前記第１処理の結果に基づいて、前記送信対象データを決定する、画像処理装置。
  3. 請求項２に記載の画像処理装置であって、
    前記第１処理には、前記第１画像における第１関心領域を特定するためのマスクデータを生成する処理が含まれ、
    前記第１決定部は、前記マスクデータに基づいて、前記送信対象データを決定する、画像処理装置。
  4. 請求項３に記載の画像処理装置であって、
    前記第１処理部は、前記第１画像を縮小した縮小画像を示す縮小画像データに基づいて前記マスクデータを生成する、画像処理装置。
  5. 請求項３及び請求項４のいずれか一つに記載の画像処理装置であって、
    前記マスクデータを圧縮符号化して第２符号化データを生成する第２符号化部をさらに備え、
    前記第１送信部は、前記第２符号化データを送信する、画像処理装置。
  6. 請求項１乃至請求項５のいずれか一つに記載の画像処理装置であって、
    前記第１送信部から送信される前記第１符号化データを受信し、受信した当該第１符号化データに基づいて処理を行う装置からの指示情報に基づいて、前記決定部は前記送信対象データを決定する、画像処理装置。
  7. 請求項１乃至請求項６のいずれか一つに記載の画像処理装置であって、
    前記第１画像の撮影範囲での物体の動きを検出する検出部をさらに備え、
    前記第１送信部は、前記動きが検出されたとき、前記第１符号化データを送信する、画像処理装置。
  8. 請求項７に記載の画像処理装置であって、
    前記検出部は、前記第１画像を縮小した縮小画像を示す縮小画像データに基づいて前記動きを検出する、画像処理装置。
  9. 請求項７及び請求項８のいずれか一つに記載の画像処理装置であって、
    前記第１符号化部及び前記決定部の少なくとも一方は、前記動きが検出されないときに停止し、前記動きが検出されると動作する、画像処理装置。
  10. 請求項７乃至請求項９のいずれか一つに記載の画像処理装置であって、
    前記第１画像を示す第１画像データを記憶する画像メモリをさらに備え、
    前記生成部は、前記画像メモリ内の前記第１画像データを階層化することによって、前記階層化されたデータを生成し、
    前記画像メモリは、前記動きが検出されないときに停止し、前記動きが検出されると動作する、画像処理装置。
  11. 請求項１乃至請求項１０のいずれか一つに記載の画像処理装置であって、
    前記第１画像を縮小した縮小画像を示す縮小画像データを圧縮符号化して第３符号化データを生成する第３符号化部をさらに備え、
    前記第１送信部は、前記第３符号化データを送信する、画像処理装置。
  12. 請求項１乃至請求項１１のいずれか一つに記載の画像処理装置であって、
    前記第１送信部は、パケット化されていない前記第１符号化データを送信する、画像処理装置。
  13. 請求項１乃至請求項１２のいずれか一つに記載の画像処理装置であって、
    前記第１送信部から送信される前記第１符号化データは、当該第１符号化データに基づいて所定の処理を行う装置で受信され、
    前記送信対象データに含まれる、画素に対応する値を構成する複数のビットを最上位から見た場合に初めて１が現れるビット位置よりも１ビットだけ上位のビット位置を第１ビット位置とし、当該第１ビット位置から前記所定の処理に応じたビット数だけ下位のビット位置を第２ビット位置とした場合に、前記第１符号化部は、前記複数のビットのうち、前記最上位から前記第２ビット位置までのビットを圧縮符号化し、当該複数のビットの他のビットを圧縮符号化しない、画像処理装置。
  14. 請求項１乃至請求項１３のいずれか一つに記載の画像処理装置であって、
    前記第１画像は、カメラで撮影された画像である、画像処理装置。
  15. 請求項１乃至請求項１４のいずれか一つに記載の画像処理装置である第１装置と通信する第２装置である画像処理装置であって、
    前記第１装置から送信される前記第１符号化データを受信する受信部と、
    前記第１符号化データに基づいて第２処理を行う第２処理部と
    を備える、画像処理装置。
  16. 請求項１５に記載の画像処理装置であって、
    前記第２処理には、前記第１符号化データに基づく第２画像に対する画像認識処理が含まれる、画像処理装置。
  17. 請求項１５に記載の画像処理装置であって、
    前記第２処理には、前記第１符号化データに基づく第２画像における第２関心領域を示す、圧縮符号化された第３符号化データを生成する処理が含まれる、画像処理装置。
  18. 請求項１７に記載の画像処理装置であって、
    前記第２処理には、前記第２画像に対する画像認識処理が含まれ、
    前記第２処理部は、前記画像認識処理によって特定された領域を前記第２関心領域とする、画像処理装置。
  19. 請求項６に記載の画像処理装置である第１装置と通信する第２装置である画像処理装置であって、
    前記第１装置から送信される前記第１符号化データを受信する受信部と、
    前記第１符号化データに基づいて第２処理を行う第２処理部と、
    前記第２処理の結果に基づいて、前記第１装置が送信すべきデータを当該第１装置に指示するための指示情報を生成する生成部と、
    前記指示情報を前記第１装置に送信する第２送信部と
    を備え、
    前記第１装置は、前記指示情報に基づいて、前記送信対象データを決定する、画像処理装置。
  20. 請求項１１に記載の画像処理装置である第１装置と通信する第２装置である画像処理装置であって、
    前記第１装置から送信される前記第１及び第２符号化データを受信する受信部と、
    前記第１符号化データに基づいて第２処理を行う第２処理部と、
    前記第２符号化データを伸張復号化して、前記縮小画像を示す復号化データを生成する復号化部と、
    前記復号化データに基づいて第３処理を行う第３処理部と
    を備える、画像処理装置。
  21. 請求項１３に記載の画像処理装置である第１装置と通信する第２装置である画像処理装置であって、
    前記第１装置から送信される前記第１符号化データを受信する受信部と、
    前記第１符号化データに基づいて第２処理を行う第２処理部と、
    前記第２処理に応じて、前記第２ビット位置を決める前記ビット数を決定する第２決定部と
    を備える、画像処理装置。
  22. 請求項１５乃至請求項２１のいずれか一つに記載の画像処理装置であって、
    前記第２装置は、前記第２処理の結果を送信する、画像処理装置。
  23. 請求項１５乃至請求項２２のいずれか一つに記載の画像処理装置であって、
    前記第２装置は、前記受信部で受信される前記第１符号化データを、それに対して伸張復号化を行わずに送信する、画像処理装置。
  24. 請求項１乃至請求項１４のいずれか一つに記載の画像処理装置である第１装置と、
    請求項１５乃至請求項２３のいずれか一つに記載の画像処理装置である第２装置と
    を備える、画像処理システム。
  25. 請求項２４に記載の画像処理システムと、
    前記画像処理システムの前記第２装置から前記第２処理の結果を受け取る第３装置と
    備える、情報処理システム。
  26. 請求項２５に記載の情報処理システムであって、
    前記第１及び第２装置は、ローカルネットワークで接続され、
    前記第２及び第３装置は、インターネットで接続されている、情報処理システム。
  27. 請求項２６に記載の情報処理システムであって、
    前記第２装置には複数の前記第１装置が前記ローカルネットワークで接続されている、情報処理システム。
  28. 画像処理装置での画像処理方法であって、
    画像を示す階層化されたデータを生成する工程と、
    前記階層化されたデータから、所定の基準に基づいて、送信対象データを決定する工程と、
    前記送信対象データを圧縮符号化して符号化データを生成する工程と、
    前記符号化データを送信する工程と
    を備える、画像処理方法。
JP2017080744A 2017-04-14 2017-04-14 画像処理装置、画像処理システム、情報処理システム及び画像処理方法 Pending JP2018182568A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017080744A JP2018182568A (ja) 2017-04-14 2017-04-14 画像処理装置、画像処理システム、情報処理システム及び画像処理方法
PCT/JP2018/014281 WO2018190198A1 (ja) 2017-04-14 2018-04-03 画像処理装置、画像処理システム、情報処理システム及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017080744A JP2018182568A (ja) 2017-04-14 2017-04-14 画像処理装置、画像処理システム、情報処理システム及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2018182568A true JP2018182568A (ja) 2018-11-15

Family

ID=63793371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017080744A Pending JP2018182568A (ja) 2017-04-14 2017-04-14 画像処理装置、画像処理システム、情報処理システム及び画像処理方法

Country Status (2)

Country Link
JP (1) JP2018182568A (ja)
WO (1) WO2018190198A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118316941B (zh) * 2024-06-07 2024-08-16 特艺(中国)科技有限公司 一种基于fttr网关的数据智能分割方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JP2006295299A (ja) * 2005-04-06 2006-10-26 Megachips Lsi Solutions Inc デジタル絞りシステム
US7916961B2 (en) * 2005-09-06 2011-03-29 Megachips Corporation Compression encoder, compression encoding method and program
JP2008005349A (ja) * 2006-06-23 2008-01-10 Yamaha Corp 映像符号化装置、映像伝送装置、映像符号化方法及び映像伝送方法
JP6471022B2 (ja) * 2015-03-31 2019-02-13 株式会社メガチップス 画像処理システムおよび画像処理方法

Also Published As

Publication number Publication date
WO2018190198A1 (ja) 2018-10-18

Similar Documents

Publication Publication Date Title
JP3673664B2 (ja) データ処理装置、データ処理方法及び記憶媒体
CN100527845C (zh) 用于可缩放图像代码转换的方法
JP4480119B2 (ja) 画像処理装置及び画像処理方法
WO2018190199A1 (ja) 画像処理装置、画像処理システム、情報処理システム及び画像処理方法
US6917716B2 (en) Image processing apparatus and method and storage medium
US6597739B1 (en) Three-dimensional shape-adaptive wavelet transform for efficient object-based video coding
US7302105B2 (en) Moving image coding apparatus, moving image decoding apparatus, and methods therefor
WO2001076255A1 (en) Video encoding method using a wavelet transform
Tausif et al. FrWF-based LMBTC: Memory-efficient image coding for visual sensors
JP2006014121A (ja) 画像符号化方法、画像符号化装置および撮像装置
KR20000059799A (ko) 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법
JP3789836B2 (ja) 画像符号化装置および方法
Aulí-Llinàs et al. Lossy-to-lossless 3D image coding through prior coefficient lookup tables
Ma et al. Overview of intelligent video coding: from model-based to learning-based approaches
JP2004505520A (ja) ウェーブレット分解を用いたビデオ符号化方法
AU2004314092B2 (en) Video/image coding method and system enabling region-of-interest
Zhang et al. Scalable Point Cloud Attribute Compression
Afsana et al. Efficient scalable uhd/360-video coding by exploiting common information with cuboid-based partitioning
WO2018190198A1 (ja) 画像処理装置、画像処理システム、情報処理システム及び画像処理方法
Koya et al. Analysis of application of arithmetic coding on dct and dct-dwt hybrid transforms of images for compression
JP2002135593A (ja) 画像処理装置及びその方法並びに記憶媒体
Ranjan et al. An Efficient Compression of Gray Scale Images Using Wavelet Transform
Luo et al. Three dimensional subband video analysis and synthesis with adaptive clustering in high frequency subbands
WO2024183810A1 (zh) 编解码方法、装置及其设备
Subramanyan et al. Entropy Based Model For Lossy Image Compression Scheme Using Wavelets, Svd, And Two-Channel Coding Techniques

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170501