CN101325699A - 运动图像通信装置与系统及运动图像通信用半导体集成电路 - Google Patents

运动图像通信装置与系统及运动图像通信用半导体集成电路 Download PDF

Info

Publication number
CN101325699A
CN101325699A CNA2008101108588A CN200810110858A CN101325699A CN 101325699 A CN101325699 A CN 101325699A CN A2008101108588 A CNA2008101108588 A CN A2008101108588A CN 200810110858 A CN200810110858 A CN 200810110858A CN 101325699 A CN101325699 A CN 101325699A
Authority
CN
China
Prior art keywords
data
processor
image
communication device
request signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101108588A
Other languages
English (en)
Other versions
CN101325699B (zh
Inventor
清水美菜子
小川雅裕
永田太一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
松下电器产业株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 松下电器产业株式会社 filed Critical 松下电器产业株式会社
Publication of CN101325699A publication Critical patent/CN101325699A/zh
Application granted granted Critical
Publication of CN101325699B publication Critical patent/CN101325699B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/2312—Data placement on disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种运动图像通信装置与系统及运动图像通信用半导体集成电路。通信处理器在判断出包无法被发送时，将存储请求信号设置为有效，而在判断出包可以被发送时，将存储请求信号设置为无效。数据处理器在确认存储请求信号为有效时，使缓冲存储器存储已编码数据。在确认存储请求信号为无效，并且已编码数据被存储在缓冲存储器中时，数据处理器从缓冲存储器中读取已编码数据，并将所读取的已编码数据发送到包发生器。在确认存储请求信号为无效，且已编码数据没有被存储在缓冲存储器中时，数据处理器从编码器中接收已编码数据，并将所接收的已编码数据发送到包发生器。

Description

运动图像通信装置与系统及运动图像通信用半导体集成电路
技术领域
本发明涉及直接连接到或通过LAN线缆连接到诸如国际互联网和企业内部互联网之类的网络以便向客户端发送运动图像数据的运动图像通信装置和运动图像通信系统，并涉及用于运动图像通信的半导体集成电路。
背景技术
响应于运动图像压缩技术的进步，已经开发出用于通过诸如国际互联网和企业内部互联网之类的网络传递数字运动图像的网络照相机系统，而且这种照相机系统正在越来越多地被制成可商用的照相机系统。在这种类型的系统中，(具有运动图像通信装置的)数码相机通过LAN或无线LAN连接到网络，并且在数码相机中生成、并被寻址到特定重现装置的运动图像数据，通过运动图像通信装置被发送到网络。因为在通信中使用了可靠性低的网络，因此要对数据进行打包，并在通信路径的终端监视包是否到达。如果发现包还没有到达，则例如，对包进行重传。因此，为了防止任何包被遗漏，采取了一些措施以保证发送前后的数据相同。
在运动图像通信装置中不间断地实时生成运动图像数据，使得保证实时发送成为不可缺少的问题。否则，就不可能在重现装置中重现运动图像。保证实时发送的有效方式是无论在网络中有任何包的丢失，都继续进行发送，然而，这导致运动图像数据无法被精确重现。结果，未能实现传递运动图像的目的，即网络照相机系统的目的。
为了解决上述问题，提出了一种网络存储型照相机系统，在未经审查的日本专利公开No.2003-18525中陈述了这种照相机系统。在该系统中，在网络中提供的运动图像数据存储服务器中对包进行管理，该运动图像数据存储服务器与运动图像通信装置进行通信，以便插入或存储网络中丢失的包。相应地，在运动图像通信装置和运动数据存储服务器之间建立了网络的状态下(在保持通信的状态下)，包被插入。结果，可以实现实时发送而不会丢失任何包。
然而，网络存储型照相机系统仍然存在的缺点在于，数据可能依赖于通信状况而丢失。更具体地说，网络存储型照相机系统不能对下列情况做出响应：
1)由于网络频带拥塞，不可能进行实时发送；以及
2)网络在物理上关闭。
发明内容
因此，本发明的主要目的是网络上发送图像数据，而不遗漏数据。
为了达到上述目的，根据本发明的运动图像通信装置包括：
编码器，用于根据图像数据生成已编码数据；
包发生器，用于根据已编码数据生成包，并将所生成的包发送到网络；
通信处理器，用于基于所述网络的通信状况来判断所述包能否被所述包发生器发送，并根据所述判断的结果来生成并发送存储请求信号；
能够存储所述已编码数据的缓冲存储器；和
数据处理器，用于响应于所述存储请求信号，对已编码数据被存储在所述缓冲存储器中的状态进行判断，并基于所述判断的结果来对已编码数据进行控制，其中
所述通信处理器在判断出所述包无法被发送时，将所述存储请求信号设置为有效，在判断出所述包能够被发送时，将所述存储请求信号设置为无效；
所述数据处理器在确认所述存储请求信号为有效时，使所述缓冲存储器存储已编码数据；
所述数据处理器在确认所述存储请求信号为无效且已编码数据被存储在所述缓冲存储器中时，从所述缓冲存储器读取已编码数据，并将所读取的已编码数据发送到所述包发生器；并且
所述数据处理器在确认所述存储请求信号为无效且已编码数据未被存储在所述缓冲存储器中时，从所述编码器接收已编码数据，并将所接收的已编码数据发送到所述包发生器。
根据这样构造的本发明，所述通信处理器根据所述网络的通信状况判断所述包是否可以被发送。当所述判断结果显示包可以被发送时，所述数据处理器使所述包发生器在所述所包发生器中根据所述已编码数据生成所述包，并且将所生成的包发送到所述网络。当所述判断结果显示所述包无法被发送时，所述数据处理器生成所述存储请求信号，并将所述存储请求信号发送到所述数据处理器。所述数据处理器接收所述存储请求信号，并对应地将已编码数据存储在所述缓冲存储器中。相应地，所述实时发送被中断；然而，已编码数据被保存。当显示通信故障的网络状况重新获得其通信可用性时，通信处理器检测该信息并将其发送至所述数据处理器。然后，所述数据处理器读取存储在所述缓冲存储器中的所述已编码数据，以发送所述已编码数据。这样，在由于网络不适宜地拥塞、断开等等造成已编码数据不能被发送的情况下，所述已编码数据被存储。因此，所存储的已编码数据可以在通信线路恢复之后通过所述网络被发送到所述通信的另一端。然后，可以由位于另一端的一方(重现装置等)随后检查断开期间的运动图像。在上述构造情况下，需要允许在网络拥塞时所发送的所述已编码数据与实时相比不可避免地具有或多或少的延迟的情况。
优选地，所述数据处理器在确认所述存储请求信号为有效时，使所述编码器以所获得的分辨率比普通编码操作中更高的方式来生成已编码数据。相应地，在问题继续存在的时段期间，构成较清楚的运动图像的所述已编码数据可以被保存在所述缓冲存储器中。
优选地，所述数据处理器在确认所述存储请求信号为无效时，使所述编码器以所获得的分辨率比普通编码操作中更低的方式来生成已编码数据。相应地，在问题继续存在的时段期间，所述运动图像已编码数据可以在缓冲存储器中存储很长一段时间。
优选地，所述运动图像通信装置进一步包括用于检测所述图像数据中的图像运动的运动检测器，其中
所述数据处理器在确认所述存储请求信号为有效时，基于所述运动检测器对图像运动的检测结果来控制对已编码数据的存储。
优选地，时间上连续的多个帧数据构成所述图像数据，其中
所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动的帧数据的运动检测标志设置为有效，并且
所述数据处理器在确认所述存储请求信号为有效时，将运动检测标志为有效的帧数据选择性地存储在所述缓冲存储器中。
优选地，时间上连续的多个帧数据构成所述图像数据，其中
所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动的帧数据的运动检测标志设置为有效，并且
所述数据处理器在确认所述存储请求信号为有效时，将运动检测标志为有效的帧数据之前和之后的多个帧数据选择性地存储在所述缓冲存储器中。
优选地，时间上连续的多个帧数据构成所述图像数据，其中
所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动的帧数据的运动检测标志设置为有效，并且
在任意帧数据的运动检测标志和时间上处于该任意帧数据之前的数目被预先设置的多个帧数据的运动检测标志为有效的情况下，所述数据处理器将该任意帧数据和所述多个帧数据选择性地存储在所述缓冲存储器中。
相应地，待存储在所述缓冲存储器中的已编码数据可能限于被检测到图像运动的帧数据和该帧数据之后的所述多个帧数据。
优选地，所述运动图像通信装置进一步包括用于生成图像数据的图像处理器，所述图像处理器包括用于将所述图像数据划分成多个小区域，并基于各区域来管理图像数据的区域管理处理器，其中，
所述编码器针对所述多个小区域中的各小区域来生成已编码数据，并且
所述数据处理器针对所述多个小区域中的各小区域来控制图像数据在所述缓冲存储器中的存储。相应地，可以针对各小区域对所述图像数据进行处理，这有助于减小所述缓冲存储器的容量。
在上述构造中，优选地，所述编码器基于在所述多个小区域中的各小区域中的压缩比率来生成已编码数据，所述多个小区的压缩比率各不相同。相应地，当压缩比率被设置为低时，可以存储清楚和清晰的图像，而当压缩比率被设置为高时，可以存储具有可能不清楚但易于识别的运动的图像。
优选地，所述运动图像通信装置进一步包括用于针对通过划分所述图像数据获得的所述多个小区域中的各小区域来检测图像运动的运动检测器，其中
所述编码器针对所述多个小区域中的各小区域来生成已编码数据，并且
所述数据处理器基于对图像运动的检测结果来控制已编码数据在所述缓冲存储器中的存储。进一步，优选地，所述编码器可以选择性地生成被检测到图像运动的小区域的以编码数据。相应地，所述小区域和所述运动检测彼此相关联，并且其中未被检测到运动的所有小区域的数据被丢弃，这进一步有助于减小所述缓冲存储器的容量。
优选地，所述数据处理器根据所述存储请求信号的状态来控制所述图像处理器中的图像质量校正参数。在上述构造中，优选地，所述数据处理器在确认所述存储请求信号为有效时，将用于生成单色图像的参数设置为所述图像质量校正参数。相应地，与在普通发送时段时相比，在所述存储时段期间，可以生成获得较高的图像质量或者获得较低的图像质量的所述运动图像数据。
优选地，所述运动图像通信装置进一步包括用于生成图像数据的图像处理器，其中
所述图像处理器包括用于检测所述图像数据中的图像运动的运动检测器，其中
时间上连续的多个帧数据构成所述图像数据，
所述运动检测器将运动检测标志添加到各所述帧数据，并将被检测到图像运动的帧数据的运动检测标志设置为有效，并且
所述图像处理器在确认所述存储请求信号为有效时，设置用于对运动检测标志为有效的帧数据的图像进行强调的校正参数。
相应地，可以强调在所述通信中断期间存储的运动图像。
优选地，所述数据处理器在确认所述存储请求信号为有效时，调整将已编码数据存储在所述缓冲存储器中所采用的帧率。进一步，优选地，所述数据处理器在确认所述存储请求信号为有效时，将所述帧率设置得高于普通通信中的发送帧率。
优选地，所述数据处理器在确认所述存储请求信号为有效时，使所述编码器以与在普通通信的方式不同的方式生成已编码数据。在上述构造中，优选地，所述运动图像通信装置可以进一步包括用于生成图像数据的图像处理器，其中所述数据处理器在确认所述存储请求信号为有效时，使所述图像处理器生成图像大小与普通通信中的图像数据的图像大小不同的图像数据。相应地，因为可以调整运动图像的大小，所以可以有效使用所述缓冲存储器。
优选地，所述通信处理器在自身与所述网络通信中的另一端之间发送和接收所述存储请求信号，并且无论所述网络中的通信状况如何，一旦从所述网络通信的另一端接收到所述存储请求信号，即将所接收的存储请求信号发送到所述数据处理器。相应地，在例如，在另一端的负责实时监视所述图像数据的人不得不离开他/她的操作室的情况下，当通过他/她的操作发送所述存储请求信号时，在该负责人离开时所接收的图像数据被存储在所述缓冲存储器中。因此，当该人回来后，可以检查在所述存储时段期间的所述图像。在这种情况下，当这些图像与所述实时运动图像一起被显示时，所述检查可能更容易一些。
优选地，所述通信处理器从所述网络通信中的另一端接收所述存储请求信号，而不生成所述存储请求信号。在上述构造中，优选地，在所述通信处理器中省略所述生成所述存储请求信号的功能。
根据上述构造，当所述通信处理器从所述网络通信中的另一端接收到所述存储请求信号时，所述数据处理器向所述包发生器发送由所述编码器生成的所述运动图像的所述已编码数据，并使所述包发生器生成所述包，然后将所生成的包发送到网络。在未接收到所述存储请求信号的情况下，所述数据处理器将由所述编码器生成的已编码数据存储在所述缓冲存储器中。相应地，所述实时发送被中断；然而，已编码数据被保存。当接收到所述存储请求信号时，所述数据处理器读取在所述缓冲存储器中存储的已编码数据以发送所述已编码数据。位于所述通信另一端的人不得不离开他/她的操作室，并且因此他/她发送所述存储请求信号时，在他/她离开时所接收的所述图像数据被存储在所述运动图像通信装置中的所述缓冲存储器中。因此，该负责人可以在他/她回来时对所述存储时段期间的所述图像进行检查。
优选地，根据本发明的运动图像通信装置，进一步包括：
镜头，用于成像被摄物；
图像输入单元，用于将通过所述镜头获得的光学图像转换成电信号，并根据所述电信号生成数字图像数据；以及
图像处理器，用于通过对所述数字图像数据进行校正来生成图像数据。
优选地，根据本发明的运动图像通信装置，进一步包括：
音频输入装置；以及
音频输入单元，用于将从所述音频输入装置输出的音频信号转换成数字音频数据，以及
音频处理器，用于对所述音频数据进行信号处理，并将经过信号处理的数据发送到所述编码器，其中
所述编码器以相互同步的方式对经过信号处理的音频数据和所述图像数据进行编码。
根据这样描述的本发明，在网络中发生诸如拥塞、断开之类的任何异常情形并且因此不能发送所述已编码数据的情况下，所述已编码数据存储在所述缓冲存储器中，在回到可发送状态时从所述缓冲存储器中读取，然后发送到所述网络。相应地，可以防止由于通信状况而发生的所述数据丢失，所述已编码数据以适合于通信状态的形式发送到所述重现装置。结果，可以很精确地记录所述运动图像并在所述通信的另一端(重现装置等)重现。
在所述运动图像通信装置用于在可靠性低的网络中监视时，所述运动图像可以被连续地记录并以这样的方式被重现，即任何可疑的人像都不会被跳过。进一步，所述运动图像可以采用有效的方式在并不要求实时性能的电视/电视会议系统中发送。
根据本发明的技术，其能够实现一种在使用不可靠的网络的环境下，不会跳过任何运动图像的系统，该技术可用作提供监视及其它用途的网络运动图像通信装置，并且基于同样的原因还可以方便地适用于网络电视电话。
附图说明
通过理解以下对本发明优选实施例的描述，本发明的这些及其它目的和优势将变得明显，并且将在所附的权利要求中详细说明。本领域技术人员在实施本发明之后，将注意到说明书中没有记载的许多优点。
图1是示出根据本发明优选实施例1的运动图像通信装置的构造的方框图。
图2是本发明优选实施例中的帧率的示意图。
图3示出根据优选实施例1的重现装置中的显示屏。
图4是示出根据优选实施例1的运动图像通信装置和重现装置的构造的方框图。
图5是示出根据本发明优选实施例2的运动图像通信装置的构造的方框图。
图6是根据优选实施例2的图像处理示意图。
图7是示出根据本发明优选实施例3的运动图像通信装置的构造的方框图。
图8是根据优选实施例3的由图像处理器进行的区域划分示意图。
图9是根据优选实施例3的由该图像处理器进行的区域划分示意图。
具体实施方式
在下文中，参见附图描述本发明的优选实施例。
优选实施例1
图1是示出根据本发明优选实施例1的运动图像通信装置的构造的方框图。以例如半导体集成电路的形式来提供该运动图像通信装置。参见图1中示出的附图标记，1表示用于将来自诸如麦克风之类的音频输入装置的音频信号转换成数字音频数据的音频输入单元，2表示用于对由音频输入单元1生成的音频数据进行信号处理的音频处理器，3表示用于将成像被摄物的镜头所获得的光学图像转换成电信号，并将该电信号转换成数字图像数据的图像输入单元，4表示用于通过校正由图像输入单元3生成的数字图像数据来生成图像数据的图像处理器，5表示用于将由音频处理器2生成的音频数据与由图像处理器4生成的图像数据进行同步，并将同步后的数据转换成具有任意格式的已编码数据的编码器，6表示用于管理随后描述的缓冲存储器9，并将从编码器5输入的已编码数据存储在缓冲存储器9中或从缓冲存储器9中丢弃的数据处理器，8表示用于从缓冲存储器9中存储的已编码数据和从编码器5输出的已编码数据生成包的包发生器，9表示存储由编码器5生成的已编码数据的缓冲存储器。7表示用于控制网络频带的通信处理器，该通信处理器判断是否可以基于当前通信状况来发送包，并且然后向数据处理器6发送存储请求信号。
通信处理器7监视当前的网络状况，并在判断出无法发送图像数据时，生成存储请求信号，然后向数据处理器6发送所生成的信号。数据处理器6接收由编码器5生成的已编码数据，并依据通信处理器7是否发送了存储请求信号来控制已编码数据的数据流。更具体地说，数据处理器6在未接收到存储请求信号的情况下，向包发生器8发送指令以对已编码数据进行打包，而在接收到存储请求信号的情况下，使已编码数据存储在缓冲存储器9中。通信处理器7和数据处理器9之间的协同操作的结果是，对已编码数据的管理是根据网络状况来进行的。
数据处理器6任意地控制编码器5中的编码参数和图像处理器4中的图像质量校正参数。当运动图像通信装置之间的连接或网络中的通信状况发生故障时，数据处理器6从通信处理器7接收存储请求信号。已接收该存储请求信号的数据处理器6有下述第一工作模式和第二工作模式。
在第一工作模式中，数据处理器6设置适合于以这样一种方式生成运动图像数据的参数，即与在普通发送时段相比，在存储时段期间可以获得更清晰的图像质量。在第二工作模式中，数据处理器6设置适合于在存储时段期间生成具有较低图像质量的运动图像的参数。在第一工作模式(清晰图像质量模式)中，可以采用这样一种方式将已编码数据存储在缓冲存储器9中，即图像质量比普通发送时段的图像质量更高。换句话说，在问题继续存在的时段期间，在清晰图像的条件下存储获得的图像数据。在第二种工作模式(低图像质量模式)中，在问题继续存在的时段期间，所获得的图像数据可以在缓冲存储器9中存储很长一段时间。
如所述的，根据本优选实施例的运动图像通信装置方便用于监控相机等。当发生问题时，依据预期的目的，可以决定是选择清晰图像记录，还是选择长时间记录。
缓冲存储器9不限于位于运动图像通信装置的主体内的内部存储器，作为替代地，可以使用诸如SD存储卡之类的外部存储器。
在根据本优选实施例的运动图像通信装置中，包括缓冲存储器9(或者使用连接到该运动图像通信装置的诸如SD存储卡之类的外部存储器)，其存储容量相应地限于特定的量。换句话说，需要将图像数据有效地存储在缓冲存储器9中以响应可能持续较长时间的断开，并且因此在存储数据时要减小受到数据处理器6控制的数据大小。因此，在根据本优选实施例的运动图像通信装置中，数据处理器6在存储时段期间控制图像处理器4和编码器5中的参数。相应地，在存储时段期间生成的已编码数据可以被任意地改变。更具体地说，可以实施这样的控制操作，即在存储时段期间在图像处理器4中针对图像数据设置用于生成单色图像的参数，以便：
·减少所生成的图像数据的数据量；并且
·通过调整编码参数来生成图像质量低的图像数据，以便减少已编码数据。
结果，可以减小存储在缓冲存储器9中的已编码数据的数据大小。
图2示出根据本优选实施例的运动图像通信装置中的帧率控制操作。当对存储时段期间的图像进行分析时，期望存储时段期间的图像具有高帧率。然而，本优选实施例中，缓冲存储器9的容量受到限制，因此已编码数据应当被有效地存储在根据本优选实施例的运动图像通信装置中。在本优选实施例中，当请求存储数据时，编码器5的编码过程受到数据处理器6的控制。然后，以任意帧率对数据进行编码，并将因此获得的已编码数据存储在缓冲存储器9中。当时，可以以高于普通通信时的帧率或低于普通通信时的帧率来存储已编码数据。可以对存储时段期间所应用的帧率进行任意控制，这样允许基于存储时段的状况来有效地存储数据。
在具有帧数为fn的帧数据(已编码数据)的情况下，在普通通信时段期间，以普通时间的帧率(f1)生成运动图像。然而在存储时段期间可以选择下列任何一种数据存储方法：
·以比普通时间的帧率更低的帧率f2存储帧数据；
·以比普通时间的帧率更高的帧率f3存储帧数据；
·以与普通时间的帧率相等的帧率f4存储帧数据；
普通时段的帧率和存储时段的帧率可以分别被任意改变，并且不限于图2所示的帧率。
图3示出在根据本优选实施例的运动图像通信装置中通过网络发送的运动图像的重现图像。P1是从由运动图像通信装置生成并实时发送的运动图像中重现得到的实时运动图像，而P2是从由于网络发生故障而存储在缓冲存储器9的存储运动图像中重现得到的存储运动图像。
在由于某一因素使运动图像通信装置中的连接曾被切断且通信已恢复的情况下，期望不但存储时段期间的运动图像而且实时运动图像同时在重现装置上显示。在根据本优选实施例的运动图像通信装置中，可以对存储时段期间的运动图像数据进行图像处理，并将存储运动图像作为与普通通信时段期间的实时运动图像数据相分离的连续运动图像数据来进行编码，并因此将存储运动图像作为不同的运动图像数据来进行管理。相应地，实时运动图像数据和存储运动图像数据可以以相同的序列发送，并且同时在重现装置中重现。
进一步，当将普通通信中的实时运动图像数据和存储时段期间的存储运动图像数据分别作为不同的连续运动图像数据进行管理时，实时运动图像的大小和存储运动图像的大小可以设置为彼此不同的尺寸。更具体地说，存储运动图像数据可以采用大小小于实时运动图像数据的大小的方式来存储在缓冲存储器9中，然后在通信恢复后发送到重现装置。相应地，可以经济地使用缓冲存储器9的区域，并且可以减小通信恢复时所发送的运动图像的大小。结果，可以有效利用通信量。
图4示出根据本优选实施例的运动图像通信装置和重现装置的构造，即运动图像通信系统的构造。11表示编码器，12表示音频处理器，13表示扬声器，14表示图像处理器，15表示显示单元，16表示存储请求处理器。
当基于重现装置M2的用户对存储请求处理器16进行的操作而向运动图像通信装置M1发送存储请求信号时，接收该存储请求信号的运动图像通信装置M1将实时运动图像的已编码数据存储在缓冲存储器9中。相应地，可以在重现装置M2中动态地控制数据存储时序。
当负责实时监视重现装置M2的人必须离开他/她的操作室时，例如，他/她会对存储请求处理器16进行操作，以便在他/她离开时所获得的图像可以被存储在运动图像通信装置M1中。结果，在该人回来后，可以同时检查存储时段期间的运动图像和实时运动图像。运动图像通信装置M1的缓冲存储器9可以是外部提供的记录介质，例如，SD卡。
在由通信处理器7对网络状况进行监视，且数据处理器6基于运动图像通信装置M1中的存储请求信号对已编码数据的存储/丢弃进行控制的状态下，当通信处理器7从重现装置M2接收到存储请求信号时，数据处理器6忽略运动图像通信装置M1的内部处理并存储已编码数据。这样，数据处理器6可以基于从重现装置M2发送的存储请求信号动态地控制数据存储。
优选实施例2
图5是示出根据本发明优选实施例2的运动图像通信装置的构造的方框图。在根据本优选实施例的运动图像通信装置中，在根据优选实施例1的运动图像通信装置的构造(图1示出的运动图像通信装置的构造)中进一步提供用于扩展图像处理器4的功能的运动检测器4a。运动检测器4a检测由图像处理器4生成的图像数据中的图像运动。进一步，运动检测器4a向所有帧数据添加运动检测标志，并选择性地将检测到运动的帧数据的运动检测标志设置为有效。相应地，在存储时段期间，可以在缓冲存储器9中结合所获得的图像的运动，对已编码数据(帧数据)进行有效地存储。帧数据是在时间上连续的多个图像数据的单位，并且帧数据构成图像数据。
图6示出连续运动图像中的运动检测的实例。帧数据F0-F5为连续的帧数据，并且在这些帧中的各帧中，基于相对于前一帧数据的差异，对运动进行检测。然后，将运动检测标志设置为有效或无效。将相对于前一帧数据存在差异的帧数据F0、F1、F2、F4、F5判断出为检测到运动的帧数据。因此，将这些帧数据的运动检测标志设置为有效。然而，与前一帧数据F2相比没有任何差异的帧数据F3判断出为没有检测到运动的帧数据，并且将该帧数据的运动检测标志设置为无效。在下文描述如何处理运动检测标志被设置为有效的帧数据(在下文中，称为标志有效帧数据)和运动检测标志被设置为无效的帧数据(在下文中，称为标志无效帧数据)。
数据处理器6一旦从通信处理器7接收到存储请求信号，即向编码器5发出编码请求信号、存储时段设置信号、编码参数控制信号以及编码模式控制信号。编码器5一旦从数据处理器6接收到编码请求信号，即对帧数据进行编码。编码请求信号包括用于指定编码模式的信息。数据处理器6基于在编码请求信号中指定的编码模式来控制待编码的帧数据。
编码模式的类型包括下列几种：
·对标志有效帧数据进行选择性编码的模式；
·通过管理过去的运动检测标志，来对标志有效帧数据后面的k(k为任意自然数)个帧数据进行选择性编码的模式；和
·无论是否检测到运动，都对所有的帧数据进行编码的模式。
数据处理器6向编码器5指示编码模式。编码器5根据在存储时段期间所指示的编码方式对编码时序进行控制。编码器5检查添加到由图像处理器4供应的帧数据上的运动检测标志，从而清楚地识别待编码的帧数据和编码过程被取消的帧数据。当运动检测标志为有效时，对检测到运动的帧数据进行选择性编码；然而，忽略对任何没有检测到运动的数据帧的编码过程。
运动检测标志不仅用在编码器5中，而且用在数据处理器6中。数据处理器6基于运动检测标志来控制存储在缓冲存储器9中的帧数据(存储帧数据)。对帧数据的控制具有以下几种方式：
a)数据处理器6判断添加在从编码器5输入的帧数据上的运动检测标志的状态，并将标志有效帧数据选择性地存储在缓冲存储器9中，同时丢弃标志无效帧数据。这样，可以在存储时段期间选择性地存储连续运动图像中检测到运动的帧数据。在网络的通信状况恢复之后，从缓冲存储器9中读取所存储的帧数据，并通过网络将所述帧数据发送到重现装置。结果，仅将在存储时段期间在连续运动图像中检测到运动的帧数据作为运动图像在重现装置中进行重现。
b)数据处理器6将由编码器5供应的所有帧的帧数据存储在缓冲存储器9中。然后，除了运动检测标志被设置为有效的帧数据(检测到运动的帧数据)、在时间上处于检测到运动的帧数据之前的m个帧数据和在时间上处于检测到运动的帧数据之后的n个帧数据(m和n为任意自然数)之外，数据处理器6顺序地丢弃所存储的帧数据中的所有帧数据。以这样的构造方式，可以在存储时段期间，将连续运动图像中检测到运动的帧数据之前和之后的多个帧数据选择性地存储在缓冲存储器9中。结果，可以在重现装置中重现的运动图像限于在存储时段期间连续运动图像中，检测到运动的帧数据、检测到运动的帧数据之前的m个帧数据以及检测到运动的帧数据之后的n个帧数据。
c)在时间上处于当前帧数据之前的k(k为任意自然数)个帧数据包括标志有效帧数据的情况下，将这k个帧数据选择性地存储在缓冲存储器9中。相应地，可以有限地存储该标志有效帧数据和时间上处于其后的k个帧数据。结果，可以在重现装置中重现的运动图像限于在存储时段期间连续运动图像中，标志有效帧数据和其后的k个帧数据。
d)在存储时段期间所有的帧数据被存储的情况下，存储时段期间的所有图像可以在通信状况恢复之后被发送。
如所描述的，根据本优选实施例，编码器5和数据处理器6基于由运动检测器4a添加的运动检测标志，来实时控制输入信号的处理，从而在存储时段期间将帧数据有效地存储在缓冲存储器9中。因此，在网络监视照相机等等中，图像可被有效存储，同时可以防止在连接故障期间图像丢失，并且可以在网络环境恢复之后在重现装置中重现存储时段期间的图像。
数据处理器6基于由图像处理器4添加的运动检测标志的内容，来在存储时段期间控制图像处理器4和编码器5的参数，并设置在存储时段期间将检测到运动的帧数据(标志有效帧数据)的编码参数，使所述将测到运动的帧数据具有低压缩比率。结果，可以存储构成清楚和清晰图像的帧数据。当未检测到运动的帧数据(标志无效帧数据)的编码参数被设置为具有高压缩比率时，检测到运动的帧数据可以产生可能不清楚但在由重现装置重现时可以很容易识别的图像。
以类似的方式，数据处理器6设置图像处理器4中检测到运动的帧数据(标志有效帧数据)的参数，使该检测到运动的帧数据具有高图像质量，同时设置未检测到运动的帧数据(标志无效帧数据)的参数以便仅提取单色图像和边缘分量。结果，检测到运动的帧数据(标志有效帧数据)可以采用在由重现装置重现时易于识别的方式显示。
优选实施例3
图7是示出根据本发明优选实施例3的运动图像通信装置的构造的方框图。在根据本优选实施例的运动图像通信装置中，在根据优选实施例2的运动图像通信装置的构造(图5中示出的运动图像通信装置的构造)中，进一步提供用干进一步扩展图像处理器4的功能的区域管理处理器4b。该区域管理处理器4b将由图像输入单元3生成的图像数据划分成多个(若干个)小区域并分别对它们进行管理。
图8示出由区域管理处理器4b对所划分的区域进行管理的具体实例。图像数据的整个屏幕A0被划分成四个小区域A1、A2、A3和A4。小区域A1、A2、A3和A4各自基于与整个屏幕A0相关的坐标位置信息，来识别相对于帧数据的像素起始位置的相对位置关系。这是将图像数据划分成小区域的基本方法的实例。可以任意改变所划分的区域的数目的值a、识别小区域的方式以及管理相应的小区域的方式。
图9示出基于所划分的小区域A1-A4，来对连续运动图像数据进行管理的实例。区域管理处理器4b将连续运动图像(帧数据)P0、P1、P2、P3、P4和P5划分成相应的小区域A1-A4，并且编码器5和数据处理器6针对各个小区域对图像数据进行管理。
编码器5针对各个运动图像的小区域对编码过程和编码参数进行校正，并将相应的小区域当作不同的图像数据来处理。进一步，该数据处理器6可以通过针对各个小区域管理关于缓冲存储器9的已编码数据的存储/丢弃，来在存储时段期间针对各个小区域有效地进行数据管理。
运动处理器4检测连续运动图像的各个小区域中的运动，并且基于检测结果将运动检测标志分别添加到各个小区域。相应地，编码器5可以基于运动检测标志对运动检测标志被设置为有效的小区域(在下文中，被称为标志有效小区域)进行选择性地编码。数据处理器6基于标志有效小区域将帧数据存储在缓冲存储器9或从缓冲存储器9中丢弃，从而能够选择性地存储检测到运动的帧数据的标志有效小区域。进一步，除了在时间上处于包括标志有效小区域的帧数据之前的m个帧数据以及在时间上处于其后的n个帧数据(m和n为任意自然数)之外，数据处理器6顺序地丢弃来自缓冲存储器9的所有帧数据，并且因此可以选择性地存储检测到运动的帧数据的标志有效小区域。上述构造需要能够针对各个小区域对运动图像进行解码的重现装置。
虽然已经描述了目前所认为的本发明优选实施例，但是应当理解，可以对所述优选实施例做出各种修改，并且意在由所附的权利要求覆盖所有这些修改，并且所有这些修改均落入本发明的真实精神和保护范围。

Claims (24)

1、一种运动图像通信装置，包括：
编码器，用于根据图像数据生成已编码数据；
包发生器，用于根据已编码数据生成包，并将所生成的包发送到网络；
通信处理器，用于基于所述网络的通信状况来判断所述包能否被所述包发生器发送，并根据所述判断的结果来生成并发送存储请求信号；
能够存储已编码数据的缓冲存储器；和
数据处理器，用于响应于所述存储请求信号，对已编码数据被存储在所述缓冲存储器中的状态进行判断，并基于所述判断的结果来对已编码数据进行控制，其中
所述通信处理器在判断出所述包无法被发送时，将所述存储请求信号设置为有效，在判断出所述包能够被发送时，将所述存储请求信号设置为无效；
所述数据处理器在确认所述存储请求信号为有效时，使所述缓冲存储器存储已编码数据；
所述数据处理器在确认所述存储请求信号为无效且已编码数据被存储在所述缓冲存储器中时，从所述缓冲存储器读取已编码数据，并将所读取的已编码数据发送到所述包发生器；并且
所述数据处理器在确认所述存储请求信号为无效且已编码数据未被存储在所述缓冲存储器中时，从所述编码器接收已编码数据，并将所接收的已编码数据发送到所述包发生器。
2、根据权利要求1所述的运动图像通信装置，其中
所述数据处理器在确认所述存储请求信号为有效时，使所述编码器以所获得的分辨率比普通编码操作中更高的方式来生成已编码数据。
3、根据权利要求1所述的运动图像通信装置，其中
所述数据处理器在确认所述存储请求信号为无效时，使所述编码器以所获得的分辨率比普通编码操作中更低的方式来生成已编码数据。
4、根据权利要求1所述的运动图像通信装置，进一步包括用于检测所述图像数据中的图像运动的运动检测器，其中
所述数据处理器在确认所述存储请求信号为有效时，基于所述运动检测器对图像运动的检测结果来控制对已编码数据的存储。
5、根据权利要求4所述的运动图像通信装置，其中
时间上连续的多个帧数据构成所述图像数据，其中
所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动的帧数据的运动检测标志设置为有效，并且
所述数据处理器在确认所述存储请求信号为有效时，将运动检测标志为有效的帧数据选择性地存储在所述缓冲存储器中。
6、根据权利要求4所述的运动图像通信装置，其中
时间上连续的多个帧数据构成所述图像数据，其中
所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动的帧数据的运动检测标志设置为有效，并且
所述数据处理器在确认所述存储请求信号为有效时，将运动检测标志为有效的帧数据之前和之后的多个帧数据选择性地存储在所述缓冲存储器中。
7、根据权利要求4所述的运动图像通信装置，其中
时间上连续的多个帧数据构成所述图像数据，其中
所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动的帧数据的运动检测标志设置为有效，并且
在任意帧数据的运动检测标志和时间上处于该任意帧数据之前的数目被预先设置的多个帧数据的运动检测标志为有效的情况下，所述数据处理器将该任意帧数据和所述多个帧数据选择性地存储在所述缓冲存储器中。
8、根据权利要求1所述的运动图像通信装置，进一步包括用于生成图像数据的图像处理器，其中
所述图像处理器包括用于将所述图像数据划分成多个小区域，并基于各区域来管理图像数据的区域管理处理器，其中，
所述编码器针对所述多个小区域中的各小区域来生成已编码数据，并且
所述数据处理器针对所述多个小区域中的各小区域来控制图像数据在所述缓冲存储器中的存储。
9、根据权利要求8所述的运动图像通信装置，其中
所述编码器基于在所述多个小区域中的各小区域中的压缩比率来生成已编码数据，所述多个小区域的压缩比率各不相同。
10、根据权利要求1所述的运动图像通信装置，进一步包括用于针对通过划分所述图像数据获得的所述多个小区域中的各小区域来检测图像运动的运动检测器，其中
所述编码器针对所述多个小区域中的各小区域来生成已编码数据，并且
所述数据处理器基于对图像运动的检测结果来控制已编码数据在所述缓冲存储器中的存储。
11、根据权利要求10所述的运动图像通信装置，其中
所述编码器选择性地生成被检测到图像运动的小区域的已编码数据。
12、根据权利要求1所述的运动图像通信装置，其中
所述数据处理器根据所述存储请求信号的状态来控制所述图像处理器中的图像质量校正参数。
13、根据权利要求12所述的运动图像通信装置，其中
所述数据处理器在确认所述存储请求信号为有效时，将用于生成单色图像的参数设置为所述图像质量校正参数。
14、根据权利要求1所述的运动图像通信装置，进一步用于生成图像数据的图像处理器，其中
所述图像处理器包括用于检测所述图像数据中的图像运动的运动检测器，其中
时间上连续的多个帧数据构成所述图像数据，
所述运动检测器将运动检测标志添加到各帧数据，并将被检测到图像运动的帧数据的运动检测标志设置为有效，并且
所述图像处理器在确认所述存储请求信号为有效时，设置用于对运动检测标志为有效的帧数据的图像进行强调的校正参数。
15、根据权利要求1所述的运动图像通信装置，其中
所述数据处理器在确认所述存储请求信号为有效时，调整将已编码数据存储在所述缓冲存储器中所采用的帧率。
16、根据权利要求15所述的运动图像通信装置，其中
所述数据处理器在确认所述存储请求信号为有效时，将所述帧率设置得高于普通通信中的发送帧率。
17、根据权利要求1所述的运动图像通信装置，其中
所述数据处理器在确认所述存储请求信号为有效时，使所述编码器以与在普通通信的方式不同的方式生成已编码数据。
18、根据权利要求17所述的运动图像通信装置，进一步包括用于生成图像数据的图像处理器，其中
所述数据处理器在确认所述存储请求信号为有效时，使所述图像处理器生成图像大小与普通通信中的图像数据的图像大小不同的图像数据。
19、根据权利要求1所述的运动图像通信装置，其中
所述通信处理器在自身与网络通信中的另一端之间发送和接收所述存储请求信号，并且无论所述网络中的通信状况如何，一旦从所述网络通信中的另一端接收到所述存储请求信号，即将所接收的存储请求信号发送到所述数据处理器。
20、根据权利要求1所述的运动图像通信装置，其中
所述通信处理器从网络通信中的另一端接收所述存储请求信号，而不生成所述存储请求信号。
21、根据权利要求1所述的运动图像通信装置，进一步包括：
镜头，用于成像被摄物；
图像输入单元，用于将通过所述镜头获得的光学图像转换成电信号，并根据所述电信号生成数字图像数据；以及
图像处理器，用于通过对所述数字图像数据进行校正来生成所述图像数据。
22、根据权利要求1所述的运动图像通信装置，进一步包括：
音频输入装置；以及
音频输入单元，用于将从所述音频输入装置输出的音频信号转换成数字音频数据，以及
音频处理器，用于对所述音频数据进行信号处理，并将经过信号处理的数据发送到所述编码器，其中
所述编码器对经过信号处理的音频数据和所述图像数据以相互同步的方式进行编码。
23、一种运动图像通信系统，包括：
根据权利要求1所述的运动图像通信装置；以及
重现装置，用于接收由所述运动图像通信装置传递的包，其中
所述重现装置包括用于对所接收的包进行解码的解码器。
24、一种运动图像通信用半导体集成电路，具有根据权利要求1所述的运动图像通信装置。
CN2008101108588A 2007-06-13 2008-06-13 运动图像通信装置与系统及运动图像通信用半导体集成电路 Expired - Fee Related CN101325699B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007156202 2007-06-13
JP2007-156202 2007-06-13
JP2007156202A JP2008311831A (ja) 2007-06-13 2007-06-13 動画像通信装置、動画像通信システムおよび動画像通信用の半導体集積回路

Publications (2)

Publication Number Publication Date
CN101325699A true CN101325699A (zh) 2008-12-17
CN101325699B CN101325699B (zh) 2012-06-27

Family

ID=40133586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101108588A Expired - Fee Related CN101325699B (zh) 2007-06-13 2008-06-13 运动图像通信装置与系统及运动图像通信用半导体集成电路

Country Status (3)

Country Link
US (1) US8089514B2 (zh)
JP (1) JP2008311831A (zh)
CN (1) CN101325699B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106256126A (zh) * 2014-05-02 2016-12-21 三星电子株式会社 用于自适应地压缩图像数据的方法和装置
CN108989832A (zh) * 2017-05-31 2018-12-11 腾讯科技（深圳）有限公司 一种图像数据处理方法及其设备、存储介质、终端
CN113596450A (zh) * 2021-06-28 2021-11-02 展讯通信（上海）有限公司 视频图像压缩方法、解压缩方法、处理方法及装置、设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007052B2 (ja) * 2002-05-07 2007-11-14 セイコーエプソン株式会社 画像処理制御データ更新装置
JP2009194688A (ja) * 2008-02-15 2009-08-27 Seiko Epson Corp 画像転送装置、画像表示装置、画像表示システム、画像データの転送方法、画像表示方法、およびコンピュータプログラム
US20120033090A1 (en) * 2009-03-30 2012-02-09 Nec Corporation Network camera, operation control method, and recording medium
JP2011010276A (ja) * 2009-05-22 2011-01-13 Sanyo Electric Co Ltd 画像再生装置及び撮像装置
US9386481B2 (en) 2009-12-24 2016-07-05 Intel Corporation Method, apparatus and system of managing an encoder output rate based upon wireless communication link feedback
JP5765920B2 (ja) * 2010-11-16 2015-08-19 キヤノン株式会社 送信装置および送信方法
JP5893434B2 (ja) * 2011-10-05 2016-03-23 株式会社ザクティ 電子カメラ
EP3041239A4 (en) * 2013-09-30 2016-07-06 Fujitsu Ltd VIDEO STORAGE / DISTRIBUTION DEVICE, SYSTEM, METHOD, AND PROGRAM
CN106162293B (zh) * 2015-04-22 2019-11-08 无锡天脉聚源传媒科技有限公司 一种视频声音与图像同步的方法及装置
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP7115058B2 (ja) * 2018-06-21 2022-08-09 日本電気株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP7026232B2 (ja) * 2018-07-18 2022-02-25 オリンパス株式会社 通信システム、送信装置、通信方法およびプログラム
US11405580B2 (en) 2020-09-09 2022-08-02 Fotonation Limited Event camera hardware
US11470282B2 (en) 2020-12-09 2022-10-11 Waymo Llc Systems, apparatus, and methods for transmitting image data

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2155719C (en) * 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
US5768533A (en) * 1995-09-01 1998-06-16 National Semiconductor Corporation Video coding using segmented frames and retransmission to overcome channel errors
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
JPH11284895A (ja) * 1998-03-31 1999-10-15 Canon Inc サーバ及びシステム及びクライアント及び制御方法及び記憶媒体
JP2000341688A (ja) * 1999-05-31 2000-12-08 Ando Electric Co Ltd 動画通信品質判定装置
JP2001128144A (ja) * 1999-10-26 2001-05-11 Fujitsu Ltd オンデマンドによる画像送信装置及びその方法
JP2002165114A (ja) * 2000-09-12 2002-06-07 Matsushita Electric Ind Co Ltd 映像送出装置、映像送出方法および記録媒体、並びに、映像送出プログラム
JP4767443B2 (ja) * 2001-07-04 2011-09-07 富士通株式会社 ネットワーク蓄積型ビデオカメラシステム
JP2003134342A (ja) * 2001-10-22 2003-05-09 Nec Corp 画像処理装置、その処理方法及びそのプログラム
KR100563781B1 (ko) * 2002-09-24 2006-03-27 가부시키가이샤 히다치 고쿠사이 덴키 주목해야 할 화상의 표시방법과 장치 및 원격화상감시시스템
JP2004200739A (ja) * 2002-12-16 2004-07-15 Sanyo Electric Co Ltd 画像処理装置
JP2005064785A (ja) * 2003-08-11 2005-03-10 Toshiba Digital Media Engineering Corp 画像伝送装置、画像再生装置および画像伝送システム
JP2005109606A (ja) * 2003-09-29 2005-04-21 Sony Corp 信号処理方法、信号処理装置、記録装置、再生装置
JP4438396B2 (ja) * 2003-12-12 2010-03-24 ソニー株式会社 監視装置
JP4526294B2 (ja) * 2004-04-15 2010-08-18 シャープ株式会社 ストリームデータ送信装置、受信装置、プログラムを記録した記録媒体、およびシステム
JP4393955B2 (ja) * 2004-09-09 2010-01-06 シャープ株式会社 送信装置、データ送信方法、プログラム、および、そのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4646668B2 (ja) * 2005-03-29 2011-03-09 キヤノン株式会社 撮像装置及びその制御方法
JP4282645B2 (ja) * 2005-08-31 2009-06-24 株式会社東芝 撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106256126A (zh) * 2014-05-02 2016-12-21 三星电子株式会社 用于自适应地压缩图像数据的方法和装置
CN106256126B (zh) * 2014-05-02 2020-04-14 三星电子株式会社 用于自适应地压缩图像数据的方法和装置
US10757416B2 (en) 2014-05-02 2020-08-25 Samsung Electronics Co., Ltd. Method and device for adaptively compressing image data
CN108989832A (zh) * 2017-05-31 2018-12-11 腾讯科技（深圳）有限公司 一种图像数据处理方法及其设备、存储介质、终端
CN113596450A (zh) * 2021-06-28 2021-11-02 展讯通信（上海）有限公司 视频图像压缩方法、解压缩方法、处理方法及装置、设备

Also Published As

Publication number Publication date
JP2008311831A (ja) 2008-12-25
CN101325699B (zh) 2012-06-27
US20080313683A1 (en) 2008-12-18
US8089514B2 (en) 2012-01-03

Similar Documents

Publication Publication Date Title
CN101325699B (zh) 运动图像通信装置与系统及运动图像通信用半导体集成电路
JP3801984B2 (ja) 帯域幅スケーラを含むマルチキャスト伝送システム
US6181693B1 (en) High speed video transmission over telephone lines
AU2005242348B2 (en) Adaptive video telephone system
JP2008306735A (ja) データバッファ回路、および、ビデオビットストリームからの情報にアクセスする方法
US8214708B2 (en) Video transmitting apparatus, video receiving apparatus, and video transmission system
KR100741721B1 (ko) 정지영상을 함께 출력하는 보안감시시스템
US20020063777A1 (en) Image transmission apparatus, image receiving apparatus, image transmitting and receiving system, and image receiving and transmitting method
US6931658B1 (en) Image on-demand transmitting device and a method thereof
KR20040047524A (ko) 영상 신호 기록 및 송신 장치
US20020061023A1 (en) ATM communication terminal and ATM communication system
US8768140B2 (en) Data processing unit and data encoding device
EP0763948A2 (en) Video data storing device
EP1245114B1 (en) Method and system for video monitoring
JP2002010265A (ja) 送信装置およびその方法と受信装置およびその方法
JP3718427B2 (ja) カメラ装置、端末装置及びカメラ監視システム
KR101291559B1 (ko) 실시간 다중 영상압축 장치 및 방법
JP3620867B2 (ja) 映像信号送受信システム
CN116708389B (zh) 在线考试的多端监控方法、终端设备及可读存储介质
JP2004128952A (ja) 画像伝送システム
JP3750217B2 (ja) 動画像符号化伝送装置
JPH0818958A (ja) 映像信号符号化装置及び復号化装置
JPH06284417A (ja) マルチメディア多重化信号蓄積再生方法
JPH02127872A (ja) 画像伝送装置
JPH05276265A (ja) 蓄積動画像再生方式

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200608

Address after: Kyoto, Japan

Patentee after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Japan

Patentee before: Panasonic Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120627

Termination date: 20200613