EA038312B1 - Устройство и способ предиктивного кодирования движущихся изображений - Google Patents

Устройство и способ предиктивного кодирования движущихся изображений Download PDF

Info

Publication number
EA038312B1
EA038312B1 EA201790310A EA201790310A EA038312B1 EA 038312 B1 EA038312 B1 EA 038312B1 EA 201790310 A EA201790310 A EA 201790310A EA 201790310 A EA201790310 A EA 201790310A EA 038312 B1 EA038312 B1 EA 038312B1
Authority
EA
Eurasian Patent Office
Prior art keywords
area
image
frames
image data
images
Prior art date
Application number
EA201790310A
Other languages
English (en)
Other versions
EA201790310A1 (ru
Inventor
Томоаки Нитта
Original Assignee
Сяо Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сяо Инк. filed Critical Сяо Инк.
Publication of EA201790310A1 publication Critical patent/EA201790310A1/ru
Publication of EA038312B1 publication Critical patent/EA038312B1/ru

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Настоящее изобретение снижает объем данных, подлежащих передаче, при передаче, с целью синтеза движущегося изображения, изображений множества идущих подряд кадров, не допуская при этом появления нерезкости и/или остаточного изображения. Базовый сервер (3) содержит: средства (11) передачи опорного изображения, предназначенные для передачи в объединяющий сервер (4) в заранее определенные моменты времени данных изображения кадра, используемого в качестве основы, входящего в множество изображений идущих подряд кадров, последовательно получаемых посредством устройства (2) получения изображений; средства (12) вычисления выделенной области, предназначенные для выбора изображения, представляющего собой фон, из множества изображений идущих подряд кадров, последовательно получаемых посредством устройства (2) получения изображений; и для последовательного вычисления третьей области (43), окружающей как первую область (41), так и вторую область (42), для каждого из кадров, следующих за опорным кадром, выбранным из множества идущих подряд кадров, последовательно получаемых посредством устройства (2) получения изображений; при этом первая область (41) представляет собой область, в которой образовалось отличие между изображением каждого из кадров и фоновым изображением; а вторая область (42) представляет собой область, в которой образовалось отличие между изображением кадра, непосредственно предшествующего каждому из кадров, и фоновым изображением; и средства (13) передачи выделенного изображения, предназначенные для последовательного выделения данных изображения третьей области (43) из каждого из кадров и передачи выделенных таким образом данных изображения в объединяющий сервер (4). Объединяющий сервер (4) содержит средства (14) синтеза изображения, предназначенные для синтеза движущегося изображения на основании данных опорного изображения, переданных из базового сервера (3), и данных изображения третьей области (43), выделенных из каждого из кадров.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству, способу и программе для передачи изображений, получаемых в месте получения изображений.
Уровень техники
Данные движущегося изображения, подлежащего передаче в удаленное местоположение, сжимают с целью снижения объема фактически передаваемых данных. Разработаны разнообразные способы сжатия данных движущегося изображения. В основе этих способов лежит передача в каждом из кадров движущегося изображения только областей (областей образовавшегося отличия), в которых заметно отличие от предшествующего и последующего кадров (см. непатентный документ 1).
Документ известного уровня техники.
Непатентный документ.
Непатентный документ 1: Technique for compressing a moving image (Способ сжатия движущегося изображения), автор Yuji Matsuda, [электронный документ в интернете], TDK Corporation, найдено 12 марта 2014 г., Интернет, <URL: http://www.tdk.co.jp/rechmag/knowledge/200804/index2. htm>
При получении движущихся изображений путем съемки изображений множества идущих подряд кадров, передаче указанных изображений в удаленное местоположение и синтезе изображения с выделением в качестве областей образовавшегося отличия областей, в которых заметно отличие в предшествующем и последующем изображениях каждого из изображений указанного множества идущих подряд кадров, если решения о наличии различия принимается с использованием порогового значения, то в движущемся изображении заметны нерезкость и/или остаточные изображения. Причиной этого является возможность принятия решения, в котором из-за флуктуации света различие считается отсутствующим даже при фактическом его наличии, и наоборот.
Сущность изобретения
С учетом вышеуказанного недостатка целью настоящего изобретения является предложение устройства, способа и программы для передачи изображений, которые все обладают возможностью предотвращения появления нерезкости и остаточного изображения и возможностью снижения объема данных, подлежащих передаче, при передаче изображений множества идущих подряд кадров с целью синтеза движущегося изображения.
Настоящее изобретение предлагает устройство для передачи изображений, содержащее базовый сервер, расположенный в месте, откуда должно выполняться получение изображения, соединенный с устройством получения изображений; и объединяющий сервер, соединенный с указанным базовым сервером через канал электрической связи; при этом базовый сервер содержит средства передачи опорного изображения, предназначенные для передачи в объединяющий сервер, в заранее определенный момент времени, данных (далее называемых данными опорного изображения) изображения кадра (далее называемого опорным кадром), входящего в множество изображений идущих подряд кадров, последовательно получаемых посредством устройства получения изображений, и используемого в качестве основы; средства вычисления выделенной области, предназначенные для выбора изображения (далее называемого фоновым изображением), представляющего собой фон, из множества изображений идущих подряд кадров, последовательно получаемых посредством устройства получения изображений; и для последовательного вычисления третьей области, окружающей как первую область, так и вторую область, для каждого из кадров, следующих за опорным кадром, выбранным из множества идущих подряд кадров, последовательно получаемых посредством указанного устройства получения изображений; при этом первая область представляет собой область, в которой образовалось отличие между изображением каждого из указанных кадров и фоновым изображением; а вторая область представляет собой область, в которой образовалось отличие между изображением кадра, непосредственно предшествующего каждому из указанных кадров, и фоновым изображением; и средства передачи выделенного изображения, предназначенные для последовательного выделения данных изображения третьей области из каждого из кадров и передачи выделенных указанным образом данных изображения в объединяющий сервер; а объединяющий сервер содержит средства синтеза изображения, предназначенные для синтеза движущегося изображения на основании данных опорного изображения, переданных из базового сервера, и данных изображения третьей области, выделенных из каждого из кадров.
Настоящее изобретение предлагает способ передачи изображений путем использования базового сервера, расположенного в месте, откуда должно выполняться получение изображения, и соединенного с устройством получения изображений; и объединяющего сервера, соединенного с указанным базовым сервером через канал электрической связи; при этом базовый сервер выполняет передачу данных (далее называемых данными опорного изображения) изображения кадра (далее называемого опорным кадром), входящего в множество изображений идущих подряд кадров, последовательно получаемых посредством устройства получения изображений, используемого в качестве основы, в объединяющий сервер в заранее определенный момент времени; выбор изображения (далее называемого фоновым изображением), представляющего собой фон, из множества изображений идущих подряд кадров, последовательно получаемых посредством устройства получения изображений; последовательное вычисление третьей области, окружающей как первую область, так и вторую область, для каждого из кадров, следую
- 1 038312 щих за опорным кадром, выбранным из множества идущих подряд кадров, последовательно получаемых посредством указанного устройства получения изображений; при этом первая область представляет собой область, в которой образовалось отличие между изображением каждого из указанных кадров и фоновым изображением; а вторая область представляет собой область, в которой образовалось отличие между изображением кадра, непосредственно предшествующего каждому из указанных кадров, и фоновым изображением; и последовательное выделение данных изображения третьей области из каждого из кадров и передачу выделенных указанным образом данных изображения в объединяющий сервер; а объединяющий сервер выполняет синтез движущегося изображения на основании данных опорного изображения, переданных из базового сервера, и данных изображения третьей области, выделенных из каждого из кадров.
Настоящее изобретение предлагает программу для передачи изображений, которая, воздействуя на первый компьютер, обеспечивает функционирование первого компьютера в качестве соединенного с устройством получения изображений базового сервера, расположенного в месте, откуда выполняется получение изображения; и, воздействуя на второй компьютер, обеспечивает функционирование второго компьютера в качестве объединяющего сервера, соединенного с указанным базовым сервером через канал электрической связи; при этом указанная программа содержит программу, которая, воздействуя на первый компьютер, вызывает функционирование первого компьютера в качестве средств передачи опорного изображения, предназначенных для передачи в объединяющий сервер, в заранее определенный момент времени, данных (далее называемых данными опорного изображения) изображения кадра (далее называемого опорным кадром), входящего в множество изображений идущих подряд кадров, последовательно получаемых посредством устройства получения изображений, и используемого в качестве основы; средств вычисления выделенной области, предназначенных для выбора изображения (далее называемого фоновым изображением), представляющего собой фон, из множества изображений идущих подряд кадров, последовательно получаемых посредством устройства получения изображений, и для последовательного вычисления третьей области, окружающей как первую область, так и вторую область, для каждого из кадров, следующих за опорным кадром, выбранным из множества идущих подряд кадров, последовательно получаемых посредством указанного устройства получения изображений; при этом первая область представляет собой область, в которой образовалось отличие между изображением каждого из указанных кадров и фоновым изображением; а вторая область представляет собой область, в которой образовалось отличие между изображением кадра, непосредственно предшествующего каждому из указанных кадров, и фоновым изображением; и средств передачи выделенного изображения, предназначенных для последовательного выделения данных изображения третьей области из каждого из кадров и передачи выделенных указанным образом данных изображения в объединяющий сервер; кроме того, указанная программа содержит программу, которая, воздействуя на второй компьютер, вызывает функционирование второго компьютера в качестве средств синтеза изображения, предназначенных для синтеза движущегося изображения на основании данных опорного изображения, переданных из базового сервера, и данных изображения третьей области, выделенных из каждого из кадров.
В вышеописанном изобретении движущееся изображение формируется не путем выделения областей, в которых заметно отличие в предшествующем и последующем изображениях во множестве идущих подряд кадров, и передачи выделенных областей в объединяющий сервер, а путем выделения данных изображения третьей области, окружающей как первую область, так и вторую область, причем первая область представляет собой область, в которой образовалось отличие между изображением каждого из указанных кадров и фоновым изображением; а вторая область представляет собой область, в которой образовалось отличие между изображением кадра, непосредственно предшествующего каждому из указанных кадров, и фоновым изображением; и путем передачи выделенных данных изображения в объединяющий сервер.
В результате на области, в которых заметно отличие в предшествующем и последующем изображениях множества идущих подряд кадров, нерезкость светов воздействует слабо, что дает возможность не допустить появления нерезкости и/или остаточного изображения в результирующем движущемся изображении.
Преимущества, обеспечиваемые настоящим изобретением
Настоящее изобретение дает возможность снизить объем данных, подлежащих передаче, при передаче, с целью синтеза движущегося изображения, изображений множества идущих подряд кадров, не допуская при этом появления нерезкости и/или остаточного изображения.
Краткое описание чертежей
Фиг. 1 представляет собой схему, иллюстрирующую устройство для передачи изображения в соответствии с вариантом осуществления настоящего изобретения.
Фиг. 2 представляет собой структурную схему устройства, показанного на фиг. 1.
Фиг. 3 представляет изображения множества идущих подряд кадров, последовательно снятых посредством устройства получения изображений.
Фиг. 4(a), 4(b), 4(c) содержат примеры изображений во множестве кадров.
Фиг. 5(a), 5(b), 5(c) содержат примеры изображений, в которых заметно отличие между изображе
- 2 038312 нием в каждом из кадров, показанных на фиг. 4(а), 4(b) и 4(с), и фоновым изображением указанных кадров.
Фиг. 6(а) иллюстрирует область, в которой образовалось отличие в кадре, показанном на фиг. 4(а), и вторую область, окружающую указанную область; фиг. 6(b) иллюстрирует область, в которой образовалось отличие в кадре, показанном на фиг. 4(b), и первую область, окружающую указанную область; фиг. 6(с) иллюстрирует третью область, окружающую как область, в которой образовалось отличие в кадре, показанном на фиг. 4(а), так и область, в которой образовалось отличие в кадре, показанном на фиг. 4(b).
Фиг. 7 представляет собой изображение, на котором третья область, показанная на фиг. 6(с), наложена на кадр, показанный на фиг. 4(b).
Фиг. 8 представляет собой изображение, на котором третья область, показанная на фиг. 6(с), наложена на кадр, показанный на фиг. 4(а).
Перечень ссылочных обозначений
- устройство для передачи изображений,
- устройство получения изображений,
- базовый сервер,
- объединяющий сервер,
- компьютер, , 15 - средства хранения,
- средства передачи опорного изображения,
- средства вычисления выделенной области,
- средства передачи выделенного изображения,
- средства синтеза изображения,
- средства представления движущегося изображения.
Сведения, подтверждающие возможность осуществления изображения
На фиг. 1 показаны устройство 1 для передачи изображений, в соответствии с вариантом осуществления настоящего изобретения, содержащее множество базовых серверов 3, каждый из которых находится в месте, из которого предполагается получать изображение, и соединен с устройством 2 получения изображений, и содержащее объединяющий сервер 4, соединенный с базовым сервером через канал N электрической связи. Устройство 2 получения изображений выполнено с возможностью получения неподвижных изображений через заранее заданный интервал времени (например, от 1/120 с до 1 с) с целью формирования изображений множества последовательных кадров. Каждый из базовых серверов 3 находится в месте, из которого предполагается получать изображения. Каждый из базовых серверов 3 подключен к одному устройству 2 получения изображений или к множеству устройств 2 получения изображений.
Как показано на фиг. 2, каждый из базовых серверов 3 содержит средства 10 хранения, предназначенные для временного хранения в них изображения каждого из идущих подряд кадров, последовательно снимаемых устройством 2 получения изображений; средства 11 передачи опорного изображения, предназначенные для передачи в объединяющий сервер 4, в заранее определенный момент времени, данных (далее называемых данными опорного изображения) изображения кадра (далее называемого опорным кадром), используемого в качестве основы; средства 12 вычисления выделенной области, предназначенные для вычисления области (далее называемой выделенной областью) для каждого из кадров, следующих за указанным опорным кадром во множестве кадров; и средства 13 передачи выделенного изображения, предназначенные для последовательного выделения данных изображения указанной выделенной области из изображений в каждом из кадров, и для передачи выделенных указанным образом данных изображения в объединяющий сервер 4.
Каждый из базовых серверов 3 может быть реализован путем исполнения программы, которая, воздействуя на компьютер, обеспечивает функционирование указанного компьютера в качестве вышеупомянутых средств 10-13, на компьютере, например на компьютере общего назначения, персональном компьютере, микрокомпьютере, персональном цифровом помощнике (англ. personal digital assistant, PDA), карманном компьютере, смартфоне, перспективном телефоне (ручном телефоне), портативном игровом устройстве.
Как показано на фиг. 3, средства 11 передачи опорного изображения в заранее определенные моменты времени передают в объединяющий сервер 4 данные изображений 20а, 20d и 20j (данные опорных изображений) кадров, используемых в качестве основы (опорных кадров) из числа изображений 20а, 20b, ..., 20с, 20d, 20e, 20f, 20g, 20h, 20i, 20j, 20k, ... множества идущих подряд кадров, последовательно получаемых посредством устройств 2 получения изображений. Опорный кадр задается, например, через заранее заданный интервал времени (например, 30 с или минута) или через заранее заданное число кадров.
Средства 12 вычисления выделенной области выбирают изображение (фоновое изображение), представляющее собой фон, из числа изображений множества идущих подряд кадров, последовательно получаемых посредством устройств 2 получения изображений, и последовательно вычисляют третью область, окружающую как первую область, так и вторую область, для каждого из кадров, следующих за
- 3 038312 опорным кадром, выбранным из множества идущих подряд кадров, последовательно получаемых посредством устройств 2 получения изображений, причем первая область определяется как область, в которой образовалось отличие между изображением каждого из указанных кадров и указанным фоновым изображением, а вторая область определяется как область, в которой образовалось отличие между изображением кадра, непосредственно предшествующего каждому из указанных кадров, и указанным фоновым изображением. Третья область определяет область (выделенную область), выделяемую средствами 13 передачи выделенного изображения.
В настоящем изобретении фоновое изображение получается путем усреднения изображений множества кадров, непосредственно предшествующих каждому из кадров. Например, если должна быть выделена область, в которой образовалось отличие относительно фонового изображения в кадре 20d, то средства 12 вычисления выделенной области используют фоновое изображение, получаемое путем усреднения изображений 100 кадров, следующих перед кадром 20d, а затем вычисляют отличие между фоновым изображением и кадром 20d. Фиг. 4(а), 4(b) и 4(с) иллюстрируют примеры кадров 20d, 20е и 20f, а фиг. 5(а), 5(b) и 5(с) иллюстрируют пример изображений, в каждом из которых заметно отличие между изображениями каждого из кадров 20d, 20e, 20f и каждого из указанных фоновых изображений.
Средства 12 вычисления выделенной области вычисляют вышеуказанное отличие в каждом из кадров 20e-20i, следующих за опорным кадром 20d, а затем вычисляют третью область (выделенную область), окружающую как первую область, так и вторую область. В настоящем изобретении первая область определяется как область, в которой образовалось отличие между каждым из изображений кадров 20e-20i и фоновым изображением, а вторая область определяется как область, в которой образовалось отличие между каждым из изображений кадров 20d-20h, непосредственно следующих перед кадрами 20e-20i, соответственно, и указанным фоновым изображением. Фиг. 6(а) иллюстрирует область 31, в которой в кадре 20d образовалось отличие, и вторую область 42, окружающую собой область 31. Фиг. 6(b) иллюстрирует области 32а и 32b, в которых в кадре 20е образовалось отличие, и первую область 41, окружающую собой области 32а и 32b. Фиг. 6(с) иллюстрирует третью область (выделенную область) 43, окружающую как область 31, в которой в кадре 20d образовалось отличие, и области 32а и 32b, в которых в кадре 20е образовалось отличие.
Следует отметить, что средства 12 вычисления выделенной области в настоящем варианте осуществления вычисляют, с целью упрощения расчета, прямоугольную область, определяемую двумя горизонтальными линиями и двумя вертикальными линиями, но область, выделяемая средствами 12 вычисления выделенной области, не ограничивается прямоугольной областью. Средства 12 вычисления выделенной области могут вычислять область, имеющую любую форму, при условии, что эта область полностью окружает область пикселов, в которой образовалось отличие.
Средства 12 вычисления выделенной области вычисляют информацию третьей области (далее называемую информацией выделенной области) с целью определения местоположения и размера третьей области (выделенной области) в каждом из кадров. В примере, показанном на фиг. 6(с), средства 12 вычисления выделенной области вычисляют координаты (X, Y) левого верхнего угла третьей области 43 и размер (ширину W и высоту H) третьей области 43.
Средства 13 передачи выделенного изображения последовательно выделяют данные изображения третьей области из каждого из кадров, выделенных средствами 12 вычисления выделенной области, и передают выделенные указанным образом данные изображения в объединяющий сервер 4. В примерах, показанных на фиг. 4, средства 13 передачи выделенного изображения выделяют данные изображения третьей области 43, показанной на фиг. 6(с), из изображения кадра 20е, как показано на фиг. 7, и передают выделенные указанным образом данные изображения в объединяющий сервер 4.
Объединяющий сервер 4 содержит, как показано на фиг. 2, средства 14 синтеза изображения, предназначенные для синтеза движущегося изображения на основании данных опорного изображения, переданных из базового сервера 3, и данных изображения третьей области, выделенных из каждого из кадров; средства 15 хранения, предназначенные для хранения движущегося изображения, синтезированного средствами 14 синтеза движущегося изображения; и средства 16 представления движущегося изображения, представляющие движущееся изображение, сохраненное в средствах 15 хранения, в компьютер 5 (см. фиг. 1), соединенный с объединяющим сервером 4 через канал N электрической связи. Объединяющий сервер 4, как указано выше, может быть реализован путем исполнения на таком компьютере, как указано выше, программы, которая, воздействуя на компьютер, обеспечивает функционирование указанного компьютера в качестве вышеупомянутых средств 14-16.
Средства 14 синтеза изображения синтезируют движущееся изображения на основании данных опорного изображения, переданных из базового сервера 3, и данных изображения третьей области, выделенных из каждого из кадров, и сохраняют движущееся изображение, синтезированное указанным образом, в средствах 15 хранения. В настоящем варианте осуществления средства 14 синтеза изображения синтезируют движущееся изображение путем последовательной замены части данных опорного изображения данными изображения третьей области в каждом из кадров в соответствии с информацией выделенной области каждого из кадров.
В примерах, представленных на фиг. 4, средства 14 синтеза изображения заменяют в изображении
- 4 038312 опорного кадра 20d, показанном на фиг. 8, часть данных изображения, определяемую координатами (X, Y), шириной W и высотой Н, на данные показанного на фиг. 7 изображения третьей области 43 в кадре 20е в соответствии с информацией выделенной области кадра 20е, и делают данные изображения, полученные в результате такой замены, данными изображения кадра, следующего за опорным кадром 20d. Затем средства 14 синтеза изображения заменяют данные изображения кадра 20е, идущего непосредственно перед кадром 20f, на данные изображения третьей области кадра 20f в соответствии с указанной информацией выделенной области. Средства 14 синтеза изображения повторяют эти шаги, синтезируя в результате движущееся изображение.
Средства 16 представления движущегося изображения по запросу, переданному из компьютера 5, соединенного с указанными средствами через канал N электрической связи, представляют движущееся изображение, сохраненное в средствах 15 хранения. Когда средства 16 представления движущегося изображения принимают из компьютера 5 запрос на передачу движущегося изображения вместе с информацией, по которой идентифицируется конкретное устройство 2 получения изображений в каждом из мест получения изображений, средства 16 представления движущегося изображения извлекают запрошенное движущееся изображение из средств 15 хранения и передают это извлеченное движущееся изображение в компьютер 5 через канал N электрической связи.
В устройстве для передачи изображений, имеющем вышеуказанную конструкцию, средства 11 передачи опорного изображения каждого из базовых серверов 3, расположенных в каждом из мест получения изображений, в заранее определенный момент времени передают данные изображения опорного изображения из числа изображений множества идущих подряд кадров, последовательно получаемых одним устройством 2 получения изображений или множеством устройств 2 получения изображений, в объединяющий сервер 4. В отношении изображений кадров, следующих за опорным кадром, средство 13 передачи выделенной области выполняет выделение данных изображения указанной третьей области в каждом из кадров, последовательно обработанных средствами 12 вычисления выделенной области, и передают выделенные указанным образом данные изображения в объединяющий сервер 4.
Объединяющий сервер 4 синтезирует движущееся изображение на основании данных опорного изображения, принятых из каждого из базовых серверов 3, и данных изображения третьей области в каждом из последовательно переданных кадров, а затем сохраняет движущееся изображение, синтезированное указанным образом, в средствах 15 хранения. Объединяющий сервер 4 при получении запроса из компьютера 5, соединенного с указанным сервером через канал N электрической связи, представляет движущееся изображение, сохраненное в средстве хранения 15, в компьютер 5.
Как указано выше, в устройстве 1 для передачи изображений в соответствии с данным вариантом осуществления движущееся изображение синтезируется не путем выделения областей, в которых заметно отличие в предшествующем и последующем изображениях каждого из изображений во множестве идущих подряд кадров, и передачи выделенных областей в объединяющий сервер 4, а путем выделения данных изображения третьей области (выделенной области), окружающей как первую область, так и вторую область, причем первая область представляет собой область, в которой образовалось отличие между изображением каждого из указанных кадров и фоновым изображением; а вторая область представляет собой область, в которой образовалось отличие между изображением кадра, непосредственно предшествующего каждому из указанных кадров, и фоновым изображением; и путем передачи выделенных данных изображения в объединяющий сервер 4. В результате на области, в которых заметно отличие в предшествующем и последующем изображениях множества идущих подряд кадров, нерезкость светов воздействует слабо, что дает возможность не допустить появления нерезкости и/или остаточного изображения в результирующем движущемся изображении и снизить объем данных, подлежащих передаче.
Моменты времени, в которых выполняется выбор опорного кадра, в настоящем варианте осуществления задаются через заранее заданный период времени или через заранее заданное число кадров, но следует отметить, что может использоваться и другой способ выбора указанных моментов времени. Например, может использоваться момент времени образования отличия, равного или превышающего заранее определенную величину отличия (например, момент времени, в котором 80% пикселов демонстрируют отличие).
Фоновое изображение в настоящем варианте осуществления определено как изображение, получаемое путем усреднения изображений множества кадров, непосредственно предшествующих каждому из кадров. Однако следует отметить, что фоновое изображение может быть определено как изображение опорного кадра или как изображение, получаемое путем усреднения изображений множества кадров, непосредственно предшествующих опорному кадру. Если определять фоновое изображение как изображение опорного кадра, то отличие будет иметь место во всех кадрах, и, соответственно, объем данных изображения, подлежащих передаче, неизбежно вырастет. Однако можно избежать образования отличия, определив фоновое изображение как изображение множества кадров, непосредственно предшествующих каждому из кадров, как показано в настоящем варианте осуществления.
Промышленная применимость
Устройство, способ и программа для передачи изображений в соответствии с настоящим изобретением применимы в качестве устройства, способа и программы для передачи изображений, получаемых в
- 5 038312 местах получения изображений, например, в точках наблюдения, и обеспечивают отсутствие нерезкости и/или остаточного изображения, снижение объема данных изображения, подлежащих передаче и синтез движущегося изображения.

Claims (6)

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Устройство (1) для передачи изображений, содержащее устройство (2) получения изображений;
базовый сервер (3), расположенный в месте, где должно выполняться получение изображения, соединенный с устройством (2) получения изображений; и объединяющий сервер (4), соединенный с базовым сервером (3) через канал (N) электрической связи и выполненный с возможностью передачи изображений в целевое устройство (5) через канал (N) электрической связи, причем изображения, полученные посредством устройства (2) получения изображений, передаются в объединяющий сервер (4) через базовый сервер (3);
при этом базовый сервер (3) содержит средства (10) хранения для временного хранения множества изображений идущих подряд кадров, последовательно получаемых посредством устройства (2) получения изображений;
первые средства (11) для приема данных опорного изображения из средств (10) хранения и передачи в объединяющий сервер (4) в заранее определенный момент времени указанных данных опорного изображения, входящего в множество изображений идущих подряд кадров, последовательно получаемых посредством устройства (2) получения изображений, без передачи при этом всего множества изображений идущих подряд кадров, причем данные опорного изображения представляют собой данные изображения опорного кадра, заданного как кадр, используемый в качестве основы;
вторые средства (12) для выбора фонового изображения, заданного как изображение, представляющее собой фон, принятое из средств (10) хранения; и для последовательного вычисления и третьей области (43), окружающей как первую область (41), так и вторую область (42), и информации третьей области, идентифицирующей как местоположение, так и размер третьей области, для каждого из кадров, по отдельности следующих за опорным кадром, выбранным из множества идущих подряд кадров, последовательно получаемых посредством устройства (2) получения изображений; при этом первая область (41) окружает область (32а, 32b), в которой образовалось отличие между изображением указанных каждого из кадров и фоновым изображением; а вторая область (42) окружает область (31), в которой образовалось отличие между изображением кадра, непосредственно предшествующего указанным каждому из кадров, и фоновым изображением; и третьи средства (13) для последовательного выделения данных изображения третьей области (43) из указанных каждого из кадров и передачи выделенных таким образом данных изображения в объединяющий сервер (4), причем третьи средства дополнительно передают информацию третьей области для указанных каждого из кадров вместе с данными изображения третьей области (43) в указанном каждом из кадров; а объединяющий сервер (4) содержит четвертые средства (14) для синтеза движущегося изображения на основании как данных опорного изображения, переданных из базового сервера (3) первыми средствами (11), так и данных изображения третьей области (43), переданных из базового сервера (3) третьими средствами (13), последовательно заменяя часть данных опорного изображения данными изображения третьей области (43) в указанном каждом из кадров на основании информации третьей области указанного каждого из кадров с целью синтеза таким образом движущегося изображения, и для дальнейшей передачи данных синтезированного таким образом движущегося изображения в целевое устройство (5).
2. Устройство по п.1, отличающееся тем, что фоновое изображение представляет собой изображение, получаемое путем усреднения изображений множества кадров, непосредственно предшествующих указанным каждому из кадров.
3. Устройство по п.1, отличающееся тем, что фоновое изображение представляет собой изображение опорного кадра.
4. Устройство по п.1, отличающееся тем, что фоновое изображение представляет собой изображение, получаемое путем усреднения изображений множества кадров, непосредственно предшествующих опорному кадру.
5. Способ передачи изображений с использованием устройства (1) согласно п.1, при этом базовый сервер (3) выполняет вр еменное хранение множества изображений идущих подряд кадров, последовательно получаемых посредством устройства (2) получения изображений;
выбор данных опорного изображения из временно хранимых изображений и передачу в объединяющий сервер (4) в заранее определенный момент времени указанных данных опорного изображения, входящего в множество изображений идущих подряд кадров, без передачи при этом всего множества изображений идущих подряд кадров, причем данные опорного изображения представляют собой данные
- 6 038312 изображения опорного кадра, заданного как кадр, используемый в качестве основы;
выбор из временно хранимых изображений фонового изображения, заданного как изображение, представляющее собой фон, из множества изображений идущих подряд кадров; и последовательное вычисление и третьей области (43), окружающей как первую область (41), так и вторую область (42), и информации третьей области, идентифицирующей как местоположение, так и размер третьей области, для каждого из кадров, по отдельности следующих за опорным кадром, выбранным из множества идущих подряд кадров, последовательно получаемых посредством устройства (2) получения изображений; при этом первая область (41) окружает область (32а, 32b), в которой образовалось отличие между изображением указанных каждого из кадров и фоновым изображением; а вторая область (42) окружает область (31), в которой образовалось отличие между изображением кадра, непосредственно предшествующего указанным каждому из кадров, и фоновым изображением; и последовательное выделение данных изображения третьей области (43) из указанных каждого из кадров и передачу выделенных таким образом данных изображения в объединяющий сервер (4), при этом дополнительно передают информацию третьей области для указанных каждого из кадров вместе с данными изображения третьей области (43) в указанном каждом из кадров; а объединяющий сервер (4) выполняет синтез движущегося изображения на основании как данных опорного изображения, переданных из базового сервера (3) первыми средствами (11) базового сервера, и данных изображения третьей области (43), переданных из базового сервера (3) третьими средствами (13) базового сервера (3), путем последовательной замены части данных опорного изображения данными изображения третьей области (43) в указанном каждом из кадров на основании информации третьей области указанного каждого из кадров с целью синтеза таким образом движущегося изображения, и далее передает синтезированные таким образом данные движущегося изображения в целевое устройство (5).
EA201790310A 2014-08-11 2015-08-07 Устройство и способ предиктивного кодирования движущихся изображений EA038312B1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014163821A JP6049024B2 (ja) 2014-08-11 2014-08-11 画像伝送装置、画像伝送方法および画像伝送プログラム
PCT/JP2015/072531 WO2016024546A1 (ja) 2014-08-11 2015-08-07 画像伝送装置、画像伝送方法および画像伝送プログラム

Publications (2)

Publication Number Publication Date
EA201790310A1 EA201790310A1 (ru) 2017-07-31
EA038312B1 true EA038312B1 (ru) 2021-08-09

Family

ID=55304174

Family Applications (1)

Application Number Title Priority Date Filing Date
EA201790310A EA038312B1 (ru) 2014-08-11 2015-08-07 Устройство и способ предиктивного кодирования движущихся изображений

Country Status (7)

Country Link
US (1) US10171822B2 (ru)
EP (1) EP3182711B1 (ru)
JP (1) JP6049024B2 (ru)
KR (1) KR101860106B1 (ru)
CN (1) CN107079175B (ru)
EA (1) EA038312B1 (ru)
WO (1) WO2016024546A1 (ru)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6732826B2 (ja) 2018-03-19 2020-07-29 株式会社チャオ カメラシステム
JP7093908B2 (ja) 2018-05-22 2022-07-01 株式会社チャオ カメラシステム
JP2020017804A (ja) * 2018-07-23 2020-01-30 株式会社チャオ 画像伝送装置、画像伝送方法および画像伝送プログラム
KR20210086812A (ko) * 2019-12-30 2021-07-09 삼성전자주식회사 동영상 처리 방법 및 이를 지원하는 전자 장치
EP3910961A1 (en) 2020-05-12 2021-11-17 Axis AB Video compression stream

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6133303B2 (ru) * 1977-03-18 1986-08-01 Matsushita Electric Ind Co Ltd
JPH10240947A (ja) * 1996-12-26 1998-09-11 Mitsubishi Electric Corp 監視用画像処理装置
JPH10336670A (ja) * 1997-04-04 1998-12-18 Sony Corp 画像伝送装置および画像伝送方法、提供媒体
JP2006059252A (ja) * 2004-08-23 2006-03-02 Denso Corp 動き検出方法及び装置,プログラム,車両用監視システム
JP2006260049A (ja) * 2005-03-16 2006-09-28 Sony Corp 移動物体検出装置及び方法並びにプログラム
JP2010062792A (ja) * 2008-09-03 2010-03-18 Weigang Xu 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム
JP2010288230A (ja) * 2009-06-15 2010-12-24 Tokai Paudekkusu:Kk 動画情報中継システム、及び動画情報中継プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3150452B2 (ja) * 1992-10-21 2001-03-26 日本電信電話株式会社 動画像符号化装置
JP2001507541A (ja) * 1996-12-30 2001-06-05 シャープ株式会社 スプライトベースによるビデオ符号化システム
WO1998044739A1 (en) * 1997-03-31 1998-10-08 Sharp Kabushiki Kaisha Mosaic generation and sprite-based image coding with automatic foreground and background separation
US6157675A (en) 1997-04-04 2000-12-05 Sony Corporation Image transmission device and image transmission method
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
JP2006013754A (ja) 2004-06-24 2006-01-12 Victor Co Of Japan Ltd 動画像符号化装置及び動画像復号化装置
JP4956550B2 (ja) * 2006-11-30 2012-06-20 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法及び動画像復号化プログラム
US20090217315A1 (en) * 2008-02-26 2009-08-27 Cognovision Solutions Inc. Method and system for audience measurement and targeting media
US9138942B2 (en) * 2009-11-14 2015-09-22 Expandable Structures, Llc Composite structure manufacturing method and apparatus
US9049447B2 (en) * 2010-12-30 2015-06-02 Pelco, Inc. Video coding
JP5333522B2 (ja) * 2011-06-06 2013-11-06 カシオ計算機株式会社 動画生成装置、動画生成方法、および、プログラム
US20130007004A1 (en) * 2011-06-30 2013-01-03 Landon Ip, Inc. Method and apparatus for creating a search index for a composite document and searching same
US20130019879A1 (en) * 2011-07-21 2013-01-24 Sun Spark Enterprise Co., Ltd. Mask with chin support
WO2013019517A1 (en) * 2011-08-02 2013-02-07 Ciinow, Inc. A method and mechanism for efficiently delivering visual data across a network
US8970666B2 (en) * 2011-09-16 2015-03-03 Disney Enterprises, Inc. Low scale production system and method
GB2504068B (en) * 2012-07-11 2015-03-11 Canon Kk Methods and devices for controlling spatial access granularity in compressed video streams
US9791184B2 (en) * 2014-07-07 2017-10-17 Santa Clara University Mobile thermoelectric vaccine cooler with a planar heat pipe
US9704201B2 (en) * 2014-07-30 2017-07-11 Conduent Business Services, Llc Method and system for detecting uninsured motor vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6133303B2 (ru) * 1977-03-18 1986-08-01 Matsushita Electric Ind Co Ltd
JPH10240947A (ja) * 1996-12-26 1998-09-11 Mitsubishi Electric Corp 監視用画像処理装置
JPH10336670A (ja) * 1997-04-04 1998-12-18 Sony Corp 画像伝送装置および画像伝送方法、提供媒体
JP2006059252A (ja) * 2004-08-23 2006-03-02 Denso Corp 動き検出方法及び装置,プログラム,車両用監視システム
JP2006260049A (ja) * 2005-03-16 2006-09-28 Sony Corp 移動物体検出装置及び方法並びにプログラム
JP2010062792A (ja) * 2008-09-03 2010-03-18 Weigang Xu 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム
JP2010288230A (ja) * 2009-06-15 2010-12-24 Tokai Paudekkusu:Kk 動画情報中継システム、及び動画情報中継プログラム

Also Published As

Publication number Publication date
EA201790310A1 (ru) 2017-07-31
US10171822B2 (en) 2019-01-01
KR101860106B1 (ko) 2018-05-21
JP6049024B2 (ja) 2016-12-21
WO2016024546A1 (ja) 2016-02-18
KR20170041251A (ko) 2017-04-14
JP2016039606A (ja) 2016-03-22
EP3182711A4 (en) 2018-03-07
EP3182711B1 (en) 2020-05-20
US20170155915A1 (en) 2017-06-01
CN107079175A (zh) 2017-08-18
EP3182711A1 (en) 2017-06-21
CN107079175B (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
EA038312B1 (ru) Устройство и способ предиктивного кодирования движущихся изображений
US20220174209A1 (en) System and method providing object-oriented zoom in multimedia messaging
US8810692B2 (en) Rolling shutter distortion correction
CN112182299B (zh) 一种视频中精彩片段的获取方法、装置、设备和介质
EP3573020B1 (en) A method and apparatus for producing a video stream
WO2014146608A1 (en) Video frame processing method
CN107801093B (zh) 视频渲染方法、装置、计算机设备和可读存储介质
US20170127039A1 (en) Ultrasonic proximity detection system
GB2541073B (en) Information processing apparatus, method for controlling information processing apparatus, image processing system and storage medium
CN111277728B (zh) 视频检测方法及装置、计算机可读的存储介质、电子装置
US20140015936A1 (en) Method and apparatus for estimating image motion using disparity information of a multi-view image
JP6222703B2 (ja) ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
CN104104874A (zh) 星轨拍摄方法、物体运动轨迹拍摄方法及装置
US9374530B2 (en) Method and apparatus for displaying preview image and storage medium
CN113891057A (zh) 视频的处理方法、装置、电子设备和存储介质
US20120229601A1 (en) Creating apparatus and creating method
EP3125567A1 (en) Video receiving device, video recognition method, and supplementary information display system
JP2020017804A (ja) 画像伝送装置、画像伝送方法および画像伝送プログラム
JP2009302762A (ja) ネットワークカメラシステム
CN117176935A (zh) 图像处理方法、装置、电子设备及可读存储介质
KR101864318B1 (ko) 감시 이미지 처리 장치 및 방법
WO2016024547A1 (ja) ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
CN112702626A (zh) 视频文件播放切换方法、服务器、客户端、设备及介质
CN113115109A (zh) 视频处理方法、装置、电子设备及存储介质
WO2013099021A1 (ja) 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体並びに撮像システム