JP2009005315A - データ通信装置及びデータ通信方法 - Google Patents

データ通信装置及びデータ通信方法 Download PDF

Info

Publication number
JP2009005315A
JP2009005315A JP2007166990A JP2007166990A JP2009005315A JP 2009005315 A JP2009005315 A JP 2009005315A JP 2007166990 A JP2007166990 A JP 2007166990A JP 2007166990 A JP2007166990 A JP 2007166990A JP 2009005315 A JP2009005315 A JP 2009005315A
Authority
JP
Japan
Prior art keywords
frame
unit
encoded
data
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007166990A
Other languages
English (en)
Other versions
JP4934524B2 (ja
Inventor
Shinichiro Yamauchi
進一郎 山内
Akio Takeuchi
昭夫 竹内
Takayoshi Furuyama
孝好 古山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2007166990A priority Critical patent/JP4934524B2/ja
Priority to US12/144,753 priority patent/US20080320170A1/en
Priority to CNA2008101306127A priority patent/CN101335886A/zh
Publication of JP2009005315A publication Critical patent/JP2009005315A/ja
Application granted granted Critical
Publication of JP4934524B2 publication Critical patent/JP4934524B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】複数のデータストリームの符号化フレームを生成する場合に、生成される符号化フレームの符号量の偏りがあり、通信装置に瞬間的に過負荷がかかり、パケットロスが発生するという問題を解決するためのデータ通信装置を提供する。
【解決手段】データ通信装置であるネットワークカメラ端末３００は、画像または音声情報を取り込むセンサ部３０１と、画像または音声信号を圧縮符号化して符号化フレーム(Ｉフレーム、Ｐフレーム、Ｂフレーム etc)を生成する圧縮部３０３と、圧縮部３０３で生成される符号化フレームの種別を生成テーブル保持部３０６に保持されている生成テーブルを用いて制御するフレーム制御部３０５と、符号化フレームをネットワーク上の複数の通信端末に並列的に送信する通信部３０４とを備える。
【選択図】図３

Description

本発明は、圧縮符号化された画像また音声信号を、IP(Internet Protocol)パケットの変換処理技術を用いて、インターネットなどのコンピュータネットワークを介して、リアルタイムに通信するデータ通信装置に関するものである。
近年、ネットワーク回線を利用した画像や音声情報を含むデジタルデータの転送がごく一般的に行われるようになってきた。これらの画像や音声情報はさまざまな形態で利用されているが、そのなかでも、監視、観察を目的としたものも少なくない。これらは、カメラと画像プロセッサとネットワーク通信装置を組み合わせたもので、ユーザは画像や音声を閲覧したい箇所に設置されたそれらの装置にネットワーク経由でアクセスして、遠隔地の画像や音声を閲覧することができる。
図１に従来のネットワークカメラ端末１０１の構成例を示す参考図である。
図１を用いて、ネットワークカメラ端末１０１の画像データの送信処理を説明する。ネットワークカメラ端末１０１は、画像情報を入力するセンサ部１０２と、センサ部１０２から取込んだ画像にY/C処理を施すY/C部１０３と、Y/Cデータを圧縮符号化して符号化フレームを生成する圧縮部１０４と、符号化データをパケット化して通信する通信部１０５で構成される。
まず、センサ部１０２から入力された画像情報が入力される。センサ部１０２は、前記画像または音声情報をデジタル変換し、Y/C部１０３に転送する。Y/C部１０３は、受け取ったデータをY/C処理し、VGAやQVGAなどのサイズにリサイズを行う。圧縮部１０４は、Y/C部１０３からデータを受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成する。通信部１０５は、前記符号化フレームを受け取り、WAN(Wide Area Network)もしくはLAN(Local Area Network)などのネットワークを通じて、複数の通信相手１０５に送信する。
本図においては、ネットワークカメラ端末１０１からネットワークを介して複数の通信端末１０６送信される画像データは、例えば、VGA（Video Graphics Array：主にＰＣ用に用いられ高解像度の画像情報）、QVGA（Quarter VGA：VGAの四分の一サイズで主にＰＤＡや携帯電話に利用される低解像度の画像）、QQVGA（Quarter Quarter VGA：VGAの四分の一のさらに四分の一のサイズであり、主に携帯電話に用いられるより低解像度の画像）である。
ところで、例えば、MPEG方式で圧縮符号化された符号化フレームは、自身のデータのみで復号化が可能なＩフレームと、フレーム間予測の順方向予測を用いて符号化されるＰフレームと、フレーム間予測の双方向予測を用いて復号化されるＢフレームで構成されるが、これらＩフレームと、ＰフレームまたはＢフレームとの間に符号化量の差が生じる。具体的には、ＩフレームとＰフレームまたはＢフレームの符号化量の一般的な比率は３対１である。そのため、Ｉフレームが生成されるフレーム区間では、ネットワークが送信する符号化量は局所的に増大し、平均の送信符号量を上回ってしまう。さらに、１つの画像または音声信号から複数の符号化フレームを生成して並列に送信する場合、Ｉフレームが同フレーム区間で同時に生成されると、送信する符号化量が瞬間的に増大し、ネットワークの送信可能な帯域を越えてしまう。
図２は、画像解像度の異なる３つのデータストリーム#１、#２、#３が並列的に複数の通信端末に同時配信された場合の符号量の偏りを示す参考図である。
この場合、ネットワークカメラの送信処理は、前述の図１の処理と同様であり、３３msのフレーム周期毎に行われる。但し、フレームレートが変化する場合は３３ms×N(N=１,２,３...)の周期ごとに行われる。例えば、３０fpsの場合は３３ms周期、１５fpsの場合は６６ms周期、１０fpsの場合は９９ms周期である。
なお、本明細書においては、フレームレートを３０fpsとし、MPEGの符号化フレームは、自身のデータのみで復号化が可能なＩフレームと、フレーム間予測で順方向予測を用いて復号化されるＰフレームのみで構成される場合に限定して説明をするが、ここで、フレームレートの変化や、Ｂフレームが追加されても、とくに問題はない。
図２では、異なる３つのデータストリームにおいて、同一フレーム区間内でＩフレーム２０１,２０２,２０３が生成される。そのためＩフレームのフレーム内符号化が重なり、通信装置の送信性能を超える符号化データが生成され、Ｉフレームが生成される区間において送信する符号量が増大し、過負荷２０４が発生している。更に、過負荷２０４を送信するために最小フレーム区間３３msの間に送信処理２０５が発生する。この最小フレーム区間３３ms以内に送信処理２０５が完了できない場合、各データストリームで定められたフレームレートにしたがって符号化フレームを送信することができなくなってしまう。
そして、予め定められたフレームレートに従って、各データストリームの符号化フレームを所定時間内に送信する必要があるため、符号化フレームを指定のフレームレートに従った所定時間内に送信することができない場合には、いわゆるフレーム落ちが発生し、受信側１０６で、動画像を連続して再生することができなくなる。この場合、再生画像の品質に悪影響を及ぼす。例えば、MPEG符号化の場合は深刻である。Ｉフレームが欠落すると、次のＩフレーム到達するまで、画像が全く再生されない。これはＩフレームが再生情報の基準情報であるためである。また、Ｐフレームが欠落すると、差分情報がないため正常な画像が再生されない。
そのため、符号量の大きい符号化フレームの送信処理には時間を要するため、フレーム落ちを発生させることなく動画像データを送信するためには、生成される符号化フレームの各符号化量を制御する必要がある。
そして、MPEG方式のようなフレーム間予測を用いた圧縮符号化では、発生符号量の変動幅に大きく変動し、ネットワークの送信可能な帯域を瞬間的に越えてしまうことが問題となる。特に、ネットワークカメラ端末において、１つの映像ソースから複数の圧縮符号化データを生成し、これらを同時に配信する場合には、発生符号量の変動幅がさらに増大する。
また、上記の課題である符号化量を制御する技術として、符号化フレームの生成タイミングを制御する方法が知られている（例えば、特許文献１）。
特開２００４―１４０６５１号公報
しかしながら、上記の特許文献１には以下の２つの課題がある。
すなわち、１つ目の課題は、Ｉフレームの生成を任意のフレーム区間で制御できないことである。前述の特許文献１では、画像または音声信号を圧縮する開始タイミングをフレーム単位でシフトし、Ｉフレームの生成タイミングが同一フレーム区間内に重ならないようにしている。このため、Ｉフレームの挿入間隔が一定であることが前提であり、Ｉフレームの生成を任意のフレーム区間で制御することはできない。ちなみにMPEG方式では、ビットレートやフレームレートと、Ｉフレームの挿入間隔は依存関係になく、任意に設定することが可能である。
また、２つ目の課題は、上記の特許文献１に示す方法においては、複数の圧縮部の構成を要する点である。前述の特許文献１では、入力された映像信号から同期信号を検出し、複数の圧縮部でそれぞれ異なるデータストリームを複数生成する。このため、データ通信装置に複数の圧縮部があることが前提であり、データ通信装置のコストが増加する。なお、一般のコンシューマもしくはビジネス向けのネットワークカメラでは、コスト削減のために１つの圧縮部しか持たず、同一のフレーム区間で複数の異なるデータストリームを生成するために１つの圧縮部を時分割で使用する。
本発明は以上の課題に鑑みてなされたものであり、複数のデータストリームをネットワークを介して並列的に複数の通信端末の送信するデータ通信装置において、単一の圧縮部を用いて、且つＩフレームの生成を任意のフレーム区間で制御可能としながら通信遅延の発生を適切に抑制することができるデータ通信装置を提供することを目的とする。
上記課題を解決するため、本発明に係るデータ通信装置は、入力された画像または音声信号から、複数の圧縮符号化された符号化フレームを生成し、当該生成された符号化データを含む複数データストリームをネットワーク上で並列的に複数の通信端末に通信するデータ通信装置において、画像または音声情報を取り込むセンサ部と、前記センサ部において取り込まれた画像または音声信号を圧縮符号化してフレーム区間毎に複数の符号化フレームを生成する符号化フレームを生成する圧縮部と、前記圧縮部で生成される前記符号化フレームの種別を制御するフレーム制御部と、前記圧縮部で圧縮符号化された符号化フレームをネットワークを介して複数の通信端末に並列的に通信する通信部とを備え、前記フレーム制御部は、符号量の多い種別の前記符号化フレームが同一フレーム区間で生成されないように、複数の各ストリームに対応する符号化フレームの種別を制御することを特徴とする。
この構成により、１つの圧縮部の構成で、フレーム制御部において例えば３つのデータストリームで、Ｉフレームが異なるフレーム区間に生成されるため、送信する符号量が減少し、局所的に発生する符号量の偏りを減少し、符号量が平滑化することが可能となる。
また、本発明に係るデータ通信装置の前記フレーム制御部は、前記圧縮部で生成される符号化フレームの種別の組み合わせパターンが示された生成テーブルを格納する生成テーブル保持部を備え、前記生成テーブルの符号化フレームの種別の組み合わせパターンに従って、符号量の多い種別の符号化フレームが同一フレーム区間で生成されないように、複数の各ストリームに対応して符号化フレームの種別を制御することを特徴とする。
この構成により、フレーム制御部においては、生成テーブルを用いてＩフレームの生成を任意のフレーム区間で制御できると共に、適切に符号量の多いフレームが重複しないように制御することができる。
また、本発明に係る前記フレーム制御部は、複数の各データストリームに対応した複数のデクリメントカウンタ部を備え、前記符号化フレームの発生レートが変更する場合には、前記デクリメントカウンタ部のカウンタ値を用いて、複数の各ストリームに対応する符号化フレームの種別を制御することを特徴とする。
また、本発明に係るデータ通信装置のフレーム制御部は、前記複数のデクリメントカウンタ部の初期値を各データストリームで重複させない、又は前記複数のデクリメントカウンタ部のカウンタ値が重複している場合には当該カウンタ値を加減算することで、符号量の多い種別の符号化フレームが同一フレーム区間で生成されないように、複数の各ストリームに対応した符号化フレームの種別を制御することを特徴とする。
これらの構成により、デクリメントカウンタ部を用いて複数のデータストリームを並列的に通信する場合においても適切に符号量の多いフレームが重複しないように制御することができる。
また、本発明に係る前記データ通信装置は、さらに、前記通信部の通信帯域を監視する帯域監視部を備え、前記帯域監視部は、通信帯域が所定量を超えた場合に、前記フレーム制御部に通知し、前記フレーム制御部は、前記帯域監視部からの前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御することを特徴とする。
さらに、本発明に係るデータ通信装置は、さらに、CPU負荷率を監視するCPU負荷監視部を備え、前記CPU負荷監視部は、CPU負荷率が所定率を超えた場合に前記フレーム制御部に通知し、前記フレーム制御部は、前記フレーム制御部からの前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御することを特徴とする。
またさらに、本発明に係るデータ通信装置は、さらに、生成する前記複数の符号化フレームの符号量を監視する符号量監視部を備え、前記符号量監視部は、生成される符号量が所定量を超えた場合に、前記フレーム制御部に通知し、前記フレーム制御部は、前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御することを特徴とする。
これらの構成により、帯域監視部、CPU負荷監視部、又は符号量監視部を用いて生成される符号量が所定量を超えた場合に、前記フレーム制御部に通知し、前記フレーム制御部は、前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御することが可能となる。
なお、本発明は、このようなデータ通信装置として実現することができるだけでなく、このようなデータ通信装置が備える特徴的な手段をステップとするデータ通信方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現することができる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
本発明に係るデータ通信装置においては、複数のデータストリームをネットワーク上で複数の通信端末に並列的に送信する場合において、局所的に発生する符号量の偏りを適切に低減し、符号量の平滑を実現できる。
また、Ｉフレームの生成を任意のフレーム区間で制御でき、かつ複数の圧縮部も必要としない構成とできる。
以下、本発明に係るデータ通信装置の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本発明に係るデータ通信装置の実施の形態１について、以下図面を参照しながら説明する。
なお、本実施の形態１に係るネットワークカメラ端末は、フレーム制御部において予め保持されている生成テーブルに記載されているＩフレームの発生レートで複数の各ストリームに対応したＩフレームを発生させることを特徴とするものである。また、以下の実施の形態の説明におけるネットワークカメラ端末は、上記の請求項に記載のデータ通信装置に対応するものである。
図３は、本実施の形態１に係るネットワークカメラ端末３００の構成を示す機能ブロック図である。
本実施の形態１に係るネットワークカメラ端末３００は、画像情報を入力するセンサ部３０１と、センサ部３０１から取込んだ画像にY/C処理を施すY/C部３０２と、Y/Cデータを圧縮符号化して符号化フレームを生成する圧縮部３０３と、符号化データをパケット化して通信する通信部３０４と、圧縮部３０３で生成される符号化フレームの種別を制御するフレーム制御部３０５とで構成されれている。また、フレーム制御部３０５は、後述の図５に示す生成される符号化テーブルのパターンが示された生成テーブル５０１を保持する生成テーブル保持部３０６を備えている。
ここで、図５に示されるように、生成テーブル５０１は、複数のデータストリームで同一フレーム区間内に圧縮部で生成される符号化フレームの組み合わせパターンを含んでいる。生成テーブル５０１を動的に書き換えることにより、Ｉフレームの発生レートを動的に変更してもよい。また、生成テーブル５０１はソフトウエアもしくはハードウエアで実装しても構わない。
なお、ネットワークカメラ端末３００の構成には、処理データを保管するメモリと、メモリへのアクセス制御を調停するMCU(Memory Control Unit)と、実行プログラムが配置されるフラッシュメモリと、実行プログラムを制御するCPUと、各処理部をつなぐ内部バスも存在するが、本明細書では、説明を簡略化するためにその説明を省略するものである。
以下、本実施の形態１におけるネットワークカメラ端末３００の動作処理を説明する。 図６は、本実施の形態１に係るネットワークカメラ端末３００の動作手順を示すフローチャートである。
まず、画像情報がセンサ部３０１から入力される（Ｓ６０１）。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する（Ｓ６０２）。
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、生成テーブル５０１に基づいて符号化フレームを生成し、通信部３０４に転送する（Ｓ６０３）。ここで、生成される符号化フレームは生成テーブル５０１のパターンに従い生成する。生成テーブル５０１は、同一フレーム区間で、複数のデータストリームの符号量の多いＩフレームが生成されないようにパターン生成する。
次に、通信部３０４は、受け取った符号化データを、例えばIPプロトコル処理を施し、WAN(Wide Area Network)もしくはLAN(Local Area Network)などのネットワークを通じて、各通信端末の画像解像度に適した符号化データをＰＣやＰＤＡ、携帯電話等の各通信端末に送信する（Ｓ６０４）。
なお、図４は、本実施の形態１に係るネットワークカメラ端末３００から送信される３つのデータストリームでの符号量の平滑化を示した参考図である。本図に示すように、３つのデータストリームで、Ｉフレームが異なるフレーム区間に生成されるため、送信する符号量を適切に減少させ、局所的に発生する符号量の偏りを減少し、符号量が平滑化されるという効果を有する。
また、図７は、本実施の形態１に係るネットワークカメラ端末３００の各処理部の時分割的処理の説明図を示している。本図に示すように、生成テーブルを用いて符号量の多い符号化フレームが同時に生成されることを防止することにより、センサ部３０１、Y/C部３０２、圧縮部３０３、通信部３０４、及びフレーム制御部３０５の各処理が適切に時分割に行われ、通信遅延が発生することを適切に防止可能とする。
以上のように、本実施の形態１に係るネットワークカメラ端末においては、１つの圧縮部を備え、且つフレーム制御部において保持されている生成テーブルを用いて複数の各ストリームにおいて生成されるＩフレームの生成タイミングが重ならないように制御できるために、複数のデータストリームをネットワーク上で並列に送信するデータ通信装置において、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することが可能となる。
（実施の形態２）
本発明の第２の実施の形態について図面を参照しながら説明する。
なお、本実施の形態２に係るネットワークカメラ端末は、上記実施の形態１のように各ストリームでのＩフレームの発生レートを生成テーブルを用いて固定されるのではなく、各ストリームのＩフレームの発生レートの変更が生じた場合に、フレーム制御部に備えられるデクリメントカウンタ部を用いて複数のストリームでのＩフレームの発生を重ならないように制御することを特徴とするものである。
図８は、本実施の形態２に係るネットワークカメラ端末８００の構成を示す機能ブロック図である。
本実施の形態２に係るネットワークカメラ端末８００は、上記の実施の形態１の構成に加えて、フレーム制御部に３つの各ストリームにおいて生成される制御フレームのフレーム数をカウントするためのデクリメントカウンタ部３０５ａ〜３０５ｃを備えている。
以下、第２の実施の形態におけるネットワークカメラ端末の動作処理を説明する。
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、フレーム制御部３０５のデクリメントカウンタ部３０５ａ〜３０５ｃを用いて、符号化フレームを生成及び制御し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、ネットワークを介して通信相手に送信する。
図９は、本実施の形態２に係るネットワークカメラ端末において、デクリメントカウンタ部を用いて各ストリームのＩフレームの発生時を重ならないように制御する場合の動作手順を示すフローチャートである。
最初に、各ストリームにおけるＩフレームの発生レートの変更があるか否かを確認する（Ｓ９０１）。
次に、デクリメントカウンタ部３０５ａ〜３０５ｃにおいて、各ストリームに対してＩフレーム発生をデクリメントでのカウント処理を開始する（Ｓ９０２）。例えば、３０fpsでＩフレームが３０枚に一枚挿入される場合には、１秒間に３０から１までデクリメントでカウントする。
そして、デクリメントカウンタ部３０５ａ〜３０５ｃのいずれかのカウンタ値が重なることでＩフレームの発生時が重なるか否かを判定し、重なる場合には（Ｓ９０３でＵｅｓ）、いずれか一方のデクリメントカウンタのカウンタ値を変更（Ｓ９０４）することにより、各ストリームでのＩフレームの重なりを防止する。なお、このカウンタ値の変更方法としては、カウンタ値の初期値から重ならないように変更する、若しくはいずれかのデクリメントカウンタ値に１加算すること等が考えられる。
そして、これらの処理をストリーム終了（Ｓ９０５）まで行う。
以上のように、本実施の形態２に係るネットワークカメラ端末においては、フレーム制御部に各ストリームのＩフレームの発生をデクリメントでカウントするデクリメントカウンタ部を備えているために、各ストリームでのＩフレームの発生の重なりを適切に防止でき、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することが可能となる。
なお、本実施の形態２ではデクリメントカウンタ部３０５ａ〜３０５ｃのデクリメントカウント値を利用する例について説明したが、インクリメントカウンタを利用してもよいし、設定した周期を発生するタイマまたはカウンタを利用してもよい。
（実施の形態３）
本発明の第３の実施の形態について図面を参照しながら説明する。
図１０は、本実施の形態３に係るネットワークカメラ端末１０００の構成を示す機能ブロック図であり、実施の形態１の構成に加えて通信部３０４の通信帯域を監視する帯域監視部１００１を備えていることを特徴としている。
以下、本実施の形態３におけるネットワークカメラ端末１０００の動作処理を説明する。
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、ネットワークを介して通信相手に送信する。
ここで、帯域監視部１００１は、通信部３０４の通信帯域を監視している。何らかの理由で通信トラフィックが混雑し、通信帯域が細くなっている場合、通信部３０４の符号量の多い符号化フレームでは、通信部の通信帯域を越えてしまうことを防止する。
この帯域監視部１００１における通信帯域監視の処理フローを図１１を用いて説明する。
最初に、通信帯域の監視が開始されると、帯域監視部１００１は通信部３０４の帯域監視を開始する（Ｓ１１０１）。もし、監視している通信帯域がある一定の量を超えたと判断された場合には（Ｓ１１０２でYes）、フレーム制御部３０５に通知し、フレーム制御部３０５は圧縮部３０３に、符号量の少ない前記符号化フレームを生成するように制御する（Ｓ１１０３）。なお、この帯域監視部１００１での制御方法はＩフレームの生成タイミングを制御することであり、上記の実施の形態１のフレーム制御部３０５において生成テーブルを用いて制御する方法や、上記実施の形態２のデクリメントカウンタ部を用いて制御する方法のいずれかで良い。
次に、通信帯域の監視の終了を確認し（Ｓ１１０４）、もし通信帯域の監視が続いている場合は（Ｓ１１０４でNo）、通信帯域の監視を引き続き行う。一方、通信帯域の監視が終了した場合（Ｓ１１０４でYes）、監視処理を終了する。
以上のように、本実施の形態３に係るネットワークカメラ端末においては、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することは上記の実施の形態１と同様である。しかし、帯域監視部１００１で通信部３０４の通信性能を阻害する要因である通信帯域を監視し、自律したフィードバック制御を行うための装置及び方法が新たに追加されている。このため、実施の形態３に係るデータ通信装置を用いれば、複数のデータストリームをネットワーク上で並列に送信するデータ通信装置において、局所的に発生する符号量の偏りを自律したフィードバック制御で容易に低減し、符号量の平滑を実現することが可能となる。
（実施の形態４）
本発明の実施の形態４について図面を参照しながら説明する。
図１２は、本実施の形態４に係るネットワークカメラ端末１２００の構成を示す機能ブロック図であり、図１の構成に加えてCPUの負荷率を監視するCPU負荷監視部１２０１を備えていることを特徴とする。
以下、本実施の形態４におけるネットワークカメラ端末１２００の動作処理を説明する。
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、ネットワークを通じて通信相手に送信する。
ここで、CPU負荷監視部１２０１は、CPUの負荷率を監視している。例えばカメラ処理に負荷がかかり、CPU使用率が高くなっている場合、通信処理にCPUパワーがかけられないため、通信部３０４の送信できる符号量は小さくなる。そのため、符号量の多い符号化フレームで、通信部３０４の通信できる符号量を越えてしまうことを防止する必要がある。
通信帯域監視の処理フローを図１３を用いて説明する。通信帯域の監視が開始されると、CPU負荷監視部１２０１はCPU負荷監視を開始する（Ｓ１３０１）。なお、CPU負荷監視部１２０１の負荷監視は、例えば、CPUのアイドル時間計測等により行う。
そして、もし、監視しているCPU負荷率がある一定の使用率を超えたと判断された場合には（Ｓ１３０２でYes）、フレーム制御部３０５に通知し、フレーム制御部３０５は圧縮部３０３に、符号量の少ない前記符号化フレームを生成するように制御する（Ｓ１３０３）。
次に、CPU負荷率の監視の終了を確認し（Ｓ１３０４）、もしCPU負荷率の監視が続いている場合は（Ｓ１３０４でNo）、CPU負荷率の監視（Ｓ１３０１）を引き続き行う。もしCPU負荷率の監視が終了した場合（Ｓ１３０４でYes）、監視処理を終了する。
以上のように、本実施の形態４のネットワークカメラ端末の効果は、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することは上記の実施の形態１と同様である。しかし、CPU負荷監視部１２０１において通信部３０４の通信性能を阻害する要因であるCPU負荷率を監視し、自律したフィードバック制御を行うための装置及び方法が新たに追加されている。このため、本実施の形態４に係るデータ通信装置を用いれば、複数のデータストリームをネットワーク上で並列に送信するデータ通信装置において、局所的に発生する符号量の偏りを自律したフィードバック制御で容易に低減し、符号量の平滑を実現することが可能となる。
（実施の形態５）
本発明の第５の実施の形態について図面を参照しながら説明する。
図１４は、本実施の形態５に係るネットワークカメラ端末１４００の構成を示す機能ブロック図であり、図１の構成に加えて同一フレーム区間で生成される符号化フレームの符号量を監視する符号量監視部１４０１を備えていることを特徴とする。
以下、本実施の形態５におけるネットワークカメラ端末１４００の動作処理を説明する。
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、例えばIPプロトコル処理を施し、WAN(Wide Area Network)もしくはLAN(Local Area Network)などのネットワークを通じて、通信相手に送信する。
ここで、符号量監視部１４０１は、圧縮部３０３で同のフレーム区間で生成される符号量を監視している。例えば被写体により、符号化フレームの符号量が増大している場合、通信部３０４の送信できる符号量を超えてしまう。そのため、符号量の多い符号化フレームで、通信部３０４の通信できる符号量を越えてしまうことを防止する必要がある。
符号量監視部１４０１の処理フローを図１５を用いて説明する。
最初に、通信帯域の監視が開始されると、符号量監視部１４０１は圧縮部３０３の符号量監視を開始する（Ｓ１５０１）。なお、符号量監視部１４０１の符号量の監視には、例えば、各ストリームでの符号量、１フレームごとのビット数を監視する等である。
もし、符号量が一定の量を超えたと判断された場合には（Ｓ１５０２でYes）、フレーム制御部３０５に通知し、フレーム制御部３０５は圧縮部３０３に、符号量の少ない前記符号化フレームを生成するように制御する（Ｓ１５０３）。
次に、符号量の監視の終了を確認し（Ｓ１５０４）、もし符号量の監視が続いている場合は（Ｓ１５０４でNo）、符号量の監視（Ｓ１５０１）以下の処理を引き続き行う。
一方、符号量の監視が終了した場合（Ｓ１５０４でYes）、監視処理を終了する。
以上のように、本実施の形態５に係るネットワークカメラ端末においては、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することは上記の実施の形態１と同様である。しかし、符号量監視部１４０１において通信部３０４の通信性能を阻害する要因である符号量を監視し、自律したフィードバック制御を行うための装置及び方法が新たに追加されている。このため、本実施の形態５に係るデータ通信装置を用いれば、複数のデータストリームをネットワーク上で並列に送信するデータ通信装置において、局所的に発生する符号量の偏りを自律したフィードバック制御で容易に低減し、符号量の平滑を実現することを可能となる。
なお、上記の実施の形態３から５に係る方法では自律したフィードバック制御の効果は同様だが、通信を阻害する負荷要因が異なり、その監視と検出の装置及び方法も異なるため、それぞれ別々の実施の形態として明記しているものである。
また、上記の実施の形態３〜５における帯域監視部、CPU負荷監視部、及び符号量監視部における検出する方法がポーリング、又は割込みでも良い。
（実施の形態６）
本発明の第６の実施の形態について図面を参照しながら説明する。
図１６は、本実施の形態６に係るネットワークカメラ端末１６００の構成を示す機能ブロック図であり、上記の実施の形態１の構成に加えて、同一フレーム区間で生成される符号化フレームのパターンを監視するフレームパターン監視部１６０１を備えることを特徴としている。
以下、本実施の形態６におけるネットワークカメラ端末１６００の動作処理を説明する。
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、例えばIPプロトコル処理を施し、ネットワークを通じて通信相手に送信する。
ここで、フレームパターン監視部１６０１は、圧縮部３０３で同一のフレーム区間で生成される符号量を監視している。例えば、実施の形態１〜５で意図せずに同一フレーム区間に生成されてしまった符号化フレームにより符号量が増大している場合、通信部３０４の送信できる符号量を超えてしまう。そのため、符号量の多い符号化フレームで、通信部３０４の通信できる符号量を越えてしまうことを防止する必要がある。
フレームパターン監視部１６０１の処理フローを図１７を用いて説明する。
最初に、フレームパターンの監視が開始されると、フレームパターン監視部１６０１は圧縮部３０３のフレームパターン監視を開始する（Ｓ１７０１）。
もし、同一フレーム区間内に符号量の多い符号化フレームが生成されたことを検出すると（Ｓ１７０２でYes）、フレーム制御部３０５に通知し、フレーム制御部３０５は圧縮部３０３に、符号量の少ない符号化フレームを生成するように制御する（Ｓ１７０３）。具体的には、フレームパターン監視部１６０１は、例えば、フレームパターンはフレームタイプのこと、異なるストリームにおいてＩフレームとＩフレームとが同時に生成される場合には、どちらかストリームにおいて生成されるフレームをＰフレームにする等の処理を行う。
次に、フレームパターンの監視終了を確認し（Ｓ１７０４）、もしフレームパターンの監視が続いている場合は（Ｓ１７０４でNo）、フレームパターンの監視（Ｓ１７０１）以下の処理を引き続き行う。
一方、フレームパターンの監視が終了した場合（Ｓ１７０４でYes）、フレームパターン監視処理を終了する。
以上のように、本実施の形態６の効果は、局所的に発生する符号量の偏りを容易に低減し、符号量の平滑を実現することは実施の形態１〜５と同様である。しかし、実施の形態１〜５では、図らずしも同一フレーム区間で生成されてしまった符号量の多い符号化フレームの検出はできないという課題がある。例えば、上記実施の形態１では、生成テーブル設定時に誤って符号量の多い符号化フレームを同一フレーム区間に生成するパターンを設定してしまった場合、フィードバック制御機構がないため検出できない。また、実施の形態３〜５では、自律したフィードバック制御機構はあるが、監視している対象がある一定の値を超えない限り、フィードバック制御が機能しない。しかし、本実施の形態６では、フィードバック制御機構で監視している対象にフレームパターンを追加し、前述した課題を検出し、解決することができる。
（実施の形態７）
本発明の第７の実施の形態について図面を参照しながら説明する。
図１８は、本実施の形態７に係るネットワークカメラ端末１８００の構成を示す機能ブロック図であり、上記の実施の形態６の構成に加えて、圧縮部３０３で生成される符号化フレームの連続生成回数をカウントするカウント部１８０１を備えるものである。
以下、本実施の形態７におけるネットワークカメラ端末１８００の動作処理を説明する。
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成し、通信部３０４に転送する。通信部３０４は、受け取った符号化データを、例えばIPプロトコル処理を施し、ネットワークを通じて通信相手に送信する。
ここで、フレームパターン監視部１６０１は、圧縮部３０３で同一のフレーム区間で生成される符号化フレームを監視し、符号量の少ない符号化パターン（例えば、フレーム間予測を用いた差分情報をであるＰフレームやＢフレームのような符号化フレーム）が連続で検出されると、その連続生成回数をカウントする。ＰフレームやＢフレームが連続で生成されると、復号化される画像は劣化していく。そのため、差分情報である符号化フレームが連続生成される回数が一定の値を超えてしまうことを防止する必要がある。
本実施の形態７に係るカウント部１８０１のカウント処理フローを図１９を用いて説明する。
最初に、フレームパターンの監視が開始されると、フレームパターン監視部１６０１は圧縮部３０３のフレームパターン監視を開始する（Ｓ１９０１）。
そして、同一フレーム区間内に符号量の少ない符号化フレーム（例えば、フレーム間予測を用いた差分情報をもつＰフレームやＢフレームのような符号化フレーム）が連続で生成されたことを検出すると（Ｓ１９０２）、カウント部１８０１においてカウントする（Ｓ１９０３）。
そして、カウントされた値がMAX値を超えているか確認し（Ｓ１９０４）、MAXに達した場合には（Ｓ１９０４でYes）、カウンタをクリアし（Ｓ１９０６）、フレーム制御部３０５で符号量の多い符号化フレーム（例えば、自身のデータのみで復号化が可能な、原画像の情報をもつＩフレーム）を生成することを制御する（Ｓ１９０７）。この制御により、復号画像の劣化を抑えることができる。
また、カウントした値がMAX値を超えていない場合は（Ｓ１９０４でNO）、フレームパターン監視が終了するかを確認し（Ｓ１９０５）、もしフレームパターンの監視が続いている場合は（Ｓ１９０５でNo）、フレームパターンの監視（Ｓ１９０１）以下の処理を引き続き行う。一方、フレームパターンの監視が終了した場合（Ｓ１９０５でYes）、フレームパターン監視処理を終了する。
以上の説明のように、本実施の形態７の効果は、カウント部１８０１において符号量の少ない符号化パターン（例えばフレーム間予測を用いた差分情報であるＰフレームやＢフレームのような符号化フレーム）が連続で検出され、カウント値が設定されているMAX値に達した場合にＩフレームの生成を行うために、復号化される画像が劣化することを適切に低減することができる。
なお、本発明に係るネットワークカメラ端末においては、図２０のフローチャートに示すように、監視対象である、通信帯域、またはCPU負荷率、または符号量の監視を組み合わせて同時に監視する（Ｓ２００１）ことも可能である。
この場合においても、Ｓ２００１において監視対象が検出されなかった場合（Ｓ２００２でNo）、Ｓ２００１における処理を再び開始する。
一方、検出した場合（Ｓ２００２でYes）、符号化フレーム制御を行う（Ｓ２００３）。
なお、符号化フレーム制御は、上記実施の形態１〜５のように、同一フレーム区間で符号量の多い符号化フレーム、例えばＩフレームが生成されないように制御するのではなく、Ｉフレームが重なることを許可することも可能である。例えば、図２に示すように、Ｉフレームが３つの状態で検出され場合、Ｉフレームが２つの状態でまずは生成し、ループした後、Ｓ２００２において再度検出されるか確認する。もし、検出されれば（Ｓ２００２でYes）、今度は、Ｉフレームが１つの状態で生成しループさせる。この処理を行うことにより、通信可能なぎりぎりの負荷、または帯域、またはCPU使用率を見極めることが可能であり、送信能力を有効に使うことができる。
（実施の形態８）
本発明の第８の実施の形態について図面を参照しながら説明する。
図２１は、本実施の形態８に係るネットワークカメラ端末２１００の構成を示す機能ブロック図であり、上記の実施の形態１の構成に加えて、符号化データをパケット化して通信する複数の通信部３０４ａ〜３０４ｃを備える通信部３０４、使用する通信部３０４を選択及び制御する通信制御部２１０１、及び通信部３０４の通信帯域を監視する帯域監視部２１０２を備えていることを特徴とする。
以下、本実施の形態８におけるネットワークカメラ端末２１００の動作処理を説明する。
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成する。
次に、複数の通信部３０４ａ〜３０４ｃで使用している１つの通信部の通信帯域を帯域監視部２１０２で監視し、ある一定量を超えた場合、帯域監視部２１０２が通信制御部２１０１に通知し、通信帯域が軽い、他の通信部を使用する。
以上、実施の形態８に係るネットワークカメラ端末においては、複数の通信部を有している場合に、通信部の通信帯域を有効に使うことができる。ここで、通信部は、Ethernet（登録商標）やPLCのような優先通信でも、無線LANであるIE８０２.１１a/b/gやBluetoothでも構わない。
（実施の形態９）
本発明の第９の実施の形態について図面を参照しながら説明する。
図２２は、本実施の形態９に係るネットワークカメラ端末２２００を示し、上記の実施の形態８の構成に加えて、圧縮部３０３で生成される符号化フレームを分割するデータ分割部２１０３を備えている。
以下、本実施の形態９におけるネットワークカメラ端末２２００の動作処理を説明する。
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。
次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成する。
次に、複数の通信部３０４ａ〜３０４ｃの通信帯域を帯域監視部２１０２で監視する。次に、監視している通信帯域に応じて、データ分割部２１０３により、圧縮部３０３で生成された符号化フレームを分割する。次に、分割した符号化フレームをデータ通信制御部２１０１で、通信部３０４に振り分けて、通信する。
以上のように、本実施の形態９は、複数の通信部を有している場合に、全ての通信部の通信帯域を同時に有効に使うことができる。上記の実施の形態８は、複数の通信部を有している場合でも、同時に１つの通信部しか使えない課題をもっていた、しかし、本実施の形態９では、この課題を解決することができる。
（実施の形態１０）
本発明の第１０の実施の形態について図面を参照しながら説明する。
図２３は、本実施の形態１０に係るネットワークカメラ端末２３００の構成を示す機能ブロック図であり、上記の実施の形態９の構成に加えて、複数の通信部３０４ａ〜３０４ｃのMTU（Maximum Transmission Unit）サイズを判断し、MTUサイズでデータ分割するMTU部２１０４を備えている。
以下、本実施の形態１０におけるネットワークカメラ端末２３００の動作処理を説明する。
まず、画像情報がセンサ部３０１から入力される。センサ部３０１は、前記画像情報をデジタル変換後、Y/C部３０２に転送する。Y/C部３０２は、センサ部３０１が転送したデジタルデータを読み込み、Y/C処理後リサイズを行い、Y/Cデータとして圧縮部３０３に転送する。次に、圧縮部３０３は、Y/CデータをY/C部３０２から受け取り、MPEGなどの圧縮符号化処理を行い、符号化フレームを生成する。
次に、複数の通信部３０４の通信帯域を帯域監視部２１０２で監視する。次に、監視している通信帯域に応じて、MTU部２１０４とデータ分割部２１０３により、通信部３０４の圧縮部３０３で生成された符号化フレームをMTUサイズで分割する。次に、分割した符号化フレームをデータ通信制御部２１０１で、通信部３０４に振り分けて、通信する。
以上のように、本実施の形態１０に係るネットワークカメラ端末は、複数の通信部３０４を有している場合に、全ての通信部３０４に合わせたMTUサイズでデータ送信を行うため、全ての通信帯域を同時に最も有効に使うことができる。上記の実施の形態８,９においては、複数の通信部３０４を有している場合でも、通信部３０４のMTUサイズで送信しないため、通信部３０４の通信帯域を有効に使えていない課題をもっていた。しかし、実施の形態１０では、この課題を解決することができる。
なお、本実施の形態１０の通信部３０４で処理する各通信媒体の形式とMTUサイズ(Ether,PLC,Wi-Fiなど)は、各通信部のMAXフレーム長であり、例えば、Ether/IEEE８０２.３の場合には１５００byte、PLCの場合には６４KB、Wi-Fi/IEEE８０２.１１a/b/gの場合には２３０４byteとなる。
また、上記の各実施の形態に係るネットワークカメラ端末の圧縮部が異なる複数のビットレートで圧縮符号化を行うもので良い。また、圧縮部で符号化される圧縮方法がMPEG-２、MPEG-４または、H.２６４で良い。さらに、圧縮部が異なる複数のフレームレートで圧縮符号化を行うことで良い。
さらに、通信部におけるネットワークインターフェースは、Ethernet（登録商標）やPLCのような有線で通信、又は無線LANやBluetoothのような無線通信で良い。またさらに、通信部では画像信号または音声信号を多重化してネットワーク上に送信することで良い。
本発明に係るデータ通信装置は、例えば圧縮画像や音声をリアルタイムに、ＰＣやＰＤＡ、携帯電話等、使用する画像の画像解像度の異なる複数の通信端末に並列的に通信するネットワークカメラ機器として適用できる。また、ネットワークカメラ以外のリアルタイムストリーミングを行う機器にも応用できる。
従来のネットワークカメラ端末の構成例を示す参考図 画像解像度の異なる３つのデータストリーム#１、#２、#３が並列的に複数の通信端末に同時配信された場合の符号量の偏りを示す参考図 実施の形態１に係るネットワークカメラ端末の構成を示す機能ブロック図 実施の形態１に係るネットワークカメラ端末から送信される３つのデータストリームでの符号量の平滑化を示した参考図 符号化フレームの生成テーブルの参考図 実施の形態１に係るネットワークカメラ端末の動作手順を示すフローチャート 実施の形態１に係るネットワークカメラ端末の動作手順を示すフローチャート 実施の形態２に係るネットワークカメラ端末の構成を示す機能ブロック図 実施の形態２に係るネットワークカメラ端末の動作手順を示すフローチャート 実施の形態３に係るネットワークカメラ端末の構成を示す機能ブロック図 実施の形態３に係るネットワークカメラ端末の帯域監視部の動作手順を示すフローチャート 実施の形態４に係るネットワークカメラ端末の構成を示す機能ブロック図 実施の形態４に係るネットワークカメラ端末のCPU負荷監視部の動作手順を示すフローチャート 実施の形態５に係るネットワークカメラ端末の構成を示す機能ブロック図 実施の形態５に係るネットワークカメラ端末の符号量監視部の動作手順を示すフローチャート 実施の形態６に係るネットワークカメラ端末の構成を示す機能ブロック図 実施の形態６に係るネットワークカメラ端末のフレームパターン監視部の動作手順を示すフローチャート 実施の形態７に係るネットワークカメラ端末の構成を示す機能ブロック図 実施の形態７に係るネットワークカメラ端末のカウント部の動作手順を示すフローチャート 通信帯域、またはCPU負荷率、または符号量の監視を組み合わせて同時に監視する場合のネットワークカメラ端末の動作手順を示すフローチャート 実施の形態８に係るネットワークカメラ端末の構成を示す機能ブロック図 実施の形態９に係るネットワークカメラ端末の構成を示す機能ブロック図 実施の形態１０に係るネットワークカメラ端末の構成を示す機能ブロック図
符号の説明
３００，８００，１０００，１２００，１４００，１６００，１８００，２１００， ２２００，２３００ ネットワークカメラ端末
３０１ センサ部
３０２ Y/C部
３０３ 圧縮部
３０４ 通信部
３０５ フレーム制御部
３０５ａ，３０５ｂ，３０５ｃ デクリメントカウンタ部
３０６ 生成テーブル保持部
５０１ 生成テーブル
１００１ 帯域監視部
１４０１ 符号量監視部
１６０１ フレームパターン監視部
１８０１ カウント部
２１０１ 通信制御部
２１０２ 帯域監視部
２１０３ データ分割部
２１０４ MTU部

Claims (16)

  1. 入力された画像または音声信号から、複数の圧縮符号化された符号化フレームを生成し、当該生成された符号化データを含む複数データストリームをネットワーク上で並列的に複数の通信端末に通信するデータ通信装置において、
    画像または音声情報を取り込むセンサ部と、
    前記センサ部において取り込まれた画像または音声信号を圧縮符号化してフレーム区間毎に複数の符号化フレームを生成する符号化フレームを生成する圧縮部と、
    前記圧縮部で生成される前記符号化フレームの種別を制御するフレーム制御部と、
    前記圧縮部で圧縮符号化された符号化フレームをネットワークを介して複数の通信端末に並列的に通信する通信部とを備え、
    前記フレーム制御部は、符号量の多い種別の前記符号化フレームが同一フレーム区間で生成されないように、複数の各ストリームに対応する符号化フレームの種別を制御する
    ことを特徴とするデータ通信装置。
  2. 前記フレーム制御部は、前記圧縮部で生成される符号化フレームの種別の組み合わせパターンが示された生成テーブルを格納する生成テーブル保持部を備え、前記生成テーブルの符号化フレームの種別の組み合わせパターンに従って、符号量の多い種別の符号化フレームが同一フレーム区間で生成されないように、複数の各ストリームに対応して符号化フレームの種別を制御する
    ことを特徴とする請求項１記載のデータ通信装置。
  3. 前記フレーム制御部は、複数の各データストリームに対応した複数のデクリメントカウンタ部を備え、前記符号化フレームの発生レートが変更する場合には、前記デクリメントカウンタ部のカウンタ値を用いて、複数の各ストリームに対応する符号化フレームの種別を制御する
    ことを特徴とする請求項１記載のデータ通信装置。
  4. 前記フレーム制御部は、前記複数のデクリメントカウンタ部の初期値を各データストリームで重複させない、又は前記複数のデクリメントカウンタ部のカウンタ値が重複している場合には当該カウンタ値を加減算することで、符号量の多い種別の符号化フレームが同一フレーム区間で生成されないように、複数の各ストリームに対応した符号化フレームの種別を制御する
    ことを特徴とする請求項３記載のデータ通信装置。
  5. 前記データ通信装置は、さらに、
    前記通信部の通信帯域を監視する帯域監視部を備え、
    前記帯域監視部は、通信帯域が所定量を超えた場合に、前記フレーム制御部に通知し、
    前記フレーム制御部は、前記帯域監視部からの前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御する
    ことを特徴とする請求項１記載のデータ通信装置。
  6. 前記データ通信装置は、さらに、
    CPU負荷率を監視するCPU負荷監視部を備え、
    前記CPU負荷監視部は、CPU負荷率が所定率を超えた場合に前記フレーム制御部に通知し、
    前記フレーム制御部は、前記フレーム制御部からの前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御する
    ことを特徴とする請求項１記載のデータ通信装置。
  7. 前記データ通信装置は、さらに、
    生成する前記複数の符号化フレームの符号量を監視する符号量監視部を備え、
    前記符号量監視部は、生成される符号量が所定量を超えた場合に、前記フレーム制御部に通知し、
    前記フレーム制御部は、前記通知を受けた場合には、符号量の少ない種別の符号化フレームを生成するように制御する
    ことを特徴とする請求項１記載のデータ通信装置。
  8. 前記データ通信装置は、さらに、
    前記圧縮部で生成される前記符号化フレームの種別を監視するフレームパターン監視部を備え、
    前記フレーム制御部は、前記フレームパターン監視部において複数のデータストリームのいずれかの同一フレーム区間で符号量の多い符号化フレームの生成が重なる場合、符号量の少ない種別の符号化フレームを生成するように制御する
    ことを特徴とする請求項１記載のデータ通信装置。
  9. 前記データ通信装置は、さらに、
    前記圧縮部で生成される同種別の前記符号化フレームが連続生成される回数をカウントするカウント部を備え、
    前記フレームパターン監視部は、前記カウント部においてカウントされる同一フレーム周期で、符号量の少ない符号化フレームが連続生成された回数が所定回数を超えた場合には、前記フレーム制御部に通知し、
    前記フレーム制御部は、当該通知を受けた場合には、符号量の多い種別の前記符号化フレームが同一フレーム区間で生成されないようにしながら、符号量の多い種別の符号化フレームを生成するように制御する
    ことを特徴とする請求項８記載のデータ通信装置。
  10. 前記通信部は、種別の異なる複数のデータ通信部を有し、
    前記データ通信装置は、さらに、
    前記通信部を使用するために制御を行う通信制御部と、
    前記通信部の通信帯域を監視する帯域監視部とを備え、
    前記通信制御部は、前記帯域監視部において監視されている使用中の前記通信部の通信帯域が所定量を超えた場合には、前記通信部が有する別の前記データ通信部を選択し、
    当該選択されたデータ通信部は、前記符号化フレームを通信端末に通信する
    ことを特徴とする請求項１記載のデータ通信装置。
  11. 前記データ通信装置は、さらに、
    前記符号化フレームを分割するデータ分割部を備え、
    前記帯域監視部において通信トラフィックが混雑したと監視される場合には、前記データ分割部は、前記符号化フレームを分割し、
    前記通信制御部は、前記分割された符号化フレームを複数のデータ通信部に振り分け、
    当該データ通信部は、分割された符号化フレームを通信端末に通信する
    ことを特徴とする請求項１０記載のデータ通信装置。
  12. 前記データ通信装置は、さらに、
    符号化フレームを通信するネットワークにとって最適なMTU（Maximum Transmission Unit）サイズを判断するMTU部を備え、
    前記データ分割部は、前記符号化フレームを前記MTU部で最適と判断されたMTUサイズで分割し、
    前記通信部は、前記データ分割部で分割された符号化データを通信端末に通信する
    ことを特徴とする請求項１１記載のデータ通信装置。
  13. 前記フレーム制御部は、同一フレーム区間で生成される前記符号化フレーム種別を組み合わせて段階的に符号量を調整する
    ことを特徴とする請求項１から１２のいずれか１項に記載のデータ通信装置。
  14. 入力された画像または音声信号から、複数の圧縮符号化された符号化フレームを生成し、当該生成された符号化データを含む複数データストリームをネットワーク上で並列的に複数の通信端末に通信するデータ通信方法において、
    画像または音声情報を取り込むセンサ部において取り込まれた画像または音声信号を圧縮符号化してフレーム区間毎に複数の符号化フレームを生成する符号化フレームを生成する圧縮ステップと、
    前記圧縮ステップにおいて生成される前記符号化フレームの種別を制御するフレーム制御ステップと、
    前記圧縮ステップで圧縮符号化された符号化フレームをネットワークを介して複数の通信端末に並列的に通信する通信ステップとを備え、
    前記フレーム制御ステップにおいては、符号量の多い種別の前記符号化フレームが同一フレーム区間で生成されないように、複数の各ストリームに対応する符号化フレームの種別を制御する
    ことを特徴とするデータ通信方法。
  15. 前記フレーム制御ステップにおいては、前記圧縮ステップにおいて生成される符号化フレームの種別の組み合わせパターンが示された生成テーブルを格納する生成テーブル保持ステップを含み、前記生成テーブルの符号化フレームの種別の組み合わせパターンに従って、符号量の多い種別の符号化フレームが同一フレーム区間で生成されないように、複数の各ストリームに対応して符号化フレームの種別を制御する
    ことを特徴とする請求項１４記載のデータ通信方法。
  16. 前記フレーム制御ステップにおいては、複数の各データストリームに対応した複数のデクリメントカウンタステップを含み、前記符号化フレームの発生レートが変更する場合には、前記デクリメントカウンタステップにおけるカウンタ値を用いて、複数の各ストリームに対応する符号化フレームの種別を制御する
    ことを特徴とする請求項１４記載のデータ通信方法。
JP2007166990A 2007-06-25 2007-06-25 データ通信装置及びデータ通信方法 Expired - Fee Related JP4934524B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007166990A JP4934524B2 (ja) 2007-06-25 2007-06-25 データ通信装置及びデータ通信方法
US12/144,753 US20080320170A1 (en) 2007-06-25 2008-06-24 Data communication apparatus and data communication method
CNA2008101306127A CN101335886A (zh) 2007-06-25 2008-06-25 数据通信装置及数据通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007166990A JP4934524B2 (ja) 2007-06-25 2007-06-25 データ通信装置及びデータ通信方法

Publications (2)

Publication Number Publication Date
JP2009005315A true JP2009005315A (ja) 2009-01-08
JP4934524B2 JP4934524B2 (ja) 2012-05-16

Family

ID=40137677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007166990A Expired - Fee Related JP4934524B2 (ja) 2007-06-25 2007-06-25 データ通信装置及びデータ通信方法

Country Status (3)

Country Link
US (1) US20080320170A1 (ja)
JP (1) JP4934524B2 (ja)
CN (1) CN101335886A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011077912A (ja) * 2009-09-30 2011-04-14 Brother Industries Ltd 通信制御装置、通信制御方法、及び通信制御プログラム
JP2011114813A (ja) * 2009-11-30 2011-06-09 Mega Chips Corp データ伝送システム、およびデータ伝送システムのデータ伝送方法
JP2013192185A (ja) * 2012-03-15 2013-09-26 Sony Corp 画像伝送システムおよび画像伝送方法
JP2013229911A (ja) * 2013-06-20 2013-11-07 Mega Chips Corp データ伝送システム
US9430298B2 (en) 2012-02-15 2016-08-30 Toyota Jidosha Kabushiki Kaisha Vehicle electronic control device and data-receiving method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469562B (zh) * 2010-11-18 2014-09-10 中国移动通信有限公司 移动终端的功率消耗控制方法与装置
CN102209237B (zh) * 2011-05-26 2013-05-29 浙江宇视科技有限公司 降低点播实况媒体流时i帧重叠的方法及视频管理服务器
EP3214839B1 (en) * 2014-11-28 2020-01-01 Huawei Technologies Co. Ltd. Method and device for transmitting multiple video streams
EP3881306A4 (en) * 2018-11-14 2022-08-03 Saab Ab VIDEO DATA BURST CONTROL FOR REMOTE TOWERS
WO2022198464A1 (zh) * 2021-03-23 2022-09-29 华为技术有限公司 一种数据传输的方法、相关设备以及通信系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023427A (ja) * 1996-07-04 1998-01-23 Matsushita Electric Ind Co Ltd 映像信号符号化及び復号化装置と映像信号伝送装置
JPH11234644A (ja) * 1998-02-17 1999-08-27 Fuji Xerox Co Ltd 多地点会議システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2689632B2 (ja) * 1989-08-15 1997-12-10 ソニー株式会社 画像信号の伝送装置および伝送方法
US6122514A (en) * 1997-01-03 2000-09-19 Cellport Systems, Inc. Communications channel selection
EP1075099B1 (en) * 1999-07-28 2012-04-18 Panasonic Corporation Apparatus for the transmission of data and method for digital radio communication
WO2002051166A2 (en) * 2000-12-18 2002-06-27 Wintegra Ltd. Method/apparatus for dynamic bandwidth allocation over aal-2 connections
WO2004030369A1 (en) * 2002-09-27 2004-04-08 Videosoft, Inc. Real-time video coding/decoding
JP4040426B2 (ja) * 2002-10-18 2008-01-30 富士通株式会社 データ送信装置
EP1757100B1 (en) * 2004-06-15 2008-08-27 NTT DoCoMo INC. Apparatus and method for generating a transmit frame
US7936793B2 (en) * 2005-04-01 2011-05-03 Freescale Semiconductor, Inc. Methods and apparatus for synchronizing data transferred across a multi-pin asynchronous serial interface
JP2009504036A (ja) * 2005-07-28 2009-01-29 トムソン ライセンシング ビデオチャネルを通して多数のビデオストリームを送信する方法及び装置
JP2007221596A (ja) * 2006-02-17 2007-08-30 Matsushita Electric Ind Co Ltd 高速フーリエ変換装置、ｏｆｄｍ通信装置、及びｏｆｄｍ通信のサブキャリア割当方法
JP2008131601A (ja) * 2006-11-24 2008-06-05 Matsushita Electric Ind Co Ltd 通信端末装置、通信システム、通信方法及びプログラム
JP2008172541A (ja) * 2007-01-11 2008-07-24 Matsushita Electric Ind Co Ltd 基地局装置、通信端末装置、通信システム及び通信方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1023427A (ja) * 1996-07-04 1998-01-23 Matsushita Electric Ind Co Ltd 映像信号符号化及び復号化装置と映像信号伝送装置
JPH11234644A (ja) * 1998-02-17 1999-08-27 Fuji Xerox Co Ltd 多地点会議システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011077912A (ja) * 2009-09-30 2011-04-14 Brother Industries Ltd 通信制御装置、通信制御方法、及び通信制御プログラム
JP2011114813A (ja) * 2009-11-30 2011-06-09 Mega Chips Corp データ伝送システム、およびデータ伝送システムのデータ伝送方法
US9430298B2 (en) 2012-02-15 2016-08-30 Toyota Jidosha Kabushiki Kaisha Vehicle electronic control device and data-receiving method
JP2013192185A (ja) * 2012-03-15 2013-09-26 Sony Corp 画像伝送システムおよび画像伝送方法
US9992446B2 (en) 2012-03-15 2018-06-05 Sony Semiconductor Solutions Corporation Image transmission system and image transmission method
JP2013229911A (ja) * 2013-06-20 2013-11-07 Mega Chips Corp データ伝送システム

Also Published As

Publication number Publication date
US20080320170A1 (en) 2008-12-25
CN101335886A (zh) 2008-12-31
JP4934524B2 (ja) 2012-05-16

Similar Documents

Publication Publication Date Title
JP4934524B2 (ja) データ通信装置及びデータ通信方法
US11503307B2 (en) System and method for automatic encoder adjustment based on transport data
CA2920139C (en) Wireless transmission of real-time media
US20140104493A1 (en) Proactive video frame dropping for hardware and network variance
KR20090084826A (ko) 비디오 스트림 내의 아티팩트를 최소화하는 방법, 비디오 스트림의 속성을 변경하는 시스템 및 컴퓨터 판독가능 매체
JP2009290691A (ja) 送信装置、送信方法および受信装置
JP5187404B2 (ja) 符号化装置、符号化方法、および符号化プログラム
JP5983761B2 (ja) サーバ装置、端末、シンクライアントシステム、画面送信方法およびプログラム
JP4903435B2 (ja) メディア信号の送信方法と受信方法ならびに送受信方法及び装置
AU2021200428B2 (en) System and method for automatic encoder adjustment based on transport data
CA2920144A1 (en) Wireless transmission of real-time media
JP6319970B2 (ja) 画像通信装置およびその制御方法
CN109862400A (zh) 一种流媒体传输方法、装置及其系统
CN1996813B (zh) 用于区域/广域网络环境中连续媒体流的自适应媒体传输管理
JP5675164B2 (ja) 送信装置、送信方法、並びにプログラム
KR101942371B1 (ko) 모바일 무선환경에서의 비디오 프레임 장면전환 검출 및 인코딩장치 및 이를 이용한 방법
JP5141656B2 (ja) 通信制御装置、通信制御方法、および通信制御プログラム
JP5353837B2 (ja) 通信装置、通信方法、および通信プログラム
JP2007174035A (ja) 動画像通信装置および動画像通信方法
EP4408037A1 (en) Information receiving method and apparatus, information reporting method and apparatus, and device and computer storage medium
JP4049378B2 (ja) 双方向画像通信システムにおけるサーバ及びその処理方法並びにプログラム
JP2006109011A (ja) 双方向画像通信システムにおけるサーバ及びその処理方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120220

R150 Certificate of patent or registration of utility model

Ref document number: 4934524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees