RU2013102854A - Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой - Google Patents

Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой Download PDF

Info

Publication number
RU2013102854A
RU2013102854A RU2013102854/08A RU2013102854A RU2013102854A RU 2013102854 A RU2013102854 A RU 2013102854A RU 2013102854/08 A RU2013102854/08 A RU 2013102854/08A RU 2013102854 A RU2013102854 A RU 2013102854A RU 2013102854 A RU2013102854 A RU 2013102854A
Authority
RU
Russia
Prior art keywords
image
frames
existing
image stream
frame
Prior art date
Application number
RU2013102854/08A
Other languages
English (en)
Inventor
Денис Владимирович Пархоменко
Иван Леонидович Мазуренко
Павел Александрович Алисейчик
Дмитрий Николаевич Бабин
Денис Владимирович Зайцев
Original Assignee
ЭлЭсАй Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ЭлЭсАй Корпорейшн filed Critical ЭлЭсАй Корпорейшн
Priority to RU2013102854/08A priority Critical patent/RU2013102854A/ru
Priority to KR1020157020685A priority patent/KR20150114950A/ko
Priority to CN201380007015.4A priority patent/CN104254868A/zh
Priority to JP2015555148A priority patent/JP2016509805A/ja
Priority to CA2844694A priority patent/CA2844694A1/en
Priority to US14/237,436 priority patent/US9386266B2/en
Priority to PCT/US2013/056402 priority patent/WO2014120281A1/en
Priority to TW102133980A priority patent/TW201436552A/zh
Publication of RU2013102854A publication Critical patent/RU2013102854A/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)

Abstract

1. Способ, содержащий этапы, на которых:получают первый поток изображений, имеющий первую кадровую частоту, и второй поток изображений, имеющий вторую кадровую частоту, которая ниже первой кадровой частоты;восстанавливают дополнительные кадры для второго потока изображений, на основе существующих кадров первого и второго потоков изображений; ииспользуют упомянутые дополнительные кадры, чтобы обеспечить повышенную кадровую частоту для второго потока изображений;причем упомянутые этапы получения, восстановления и использования реализуются, по меньшей мере, в одном устройстве обработки, содержащем процессор, соединенный с запоминающим устройством.2. Способ по п. 1, в котором этап, на котором получают первый и второй потоки изображений, содержит этап, на котором получают, по меньшей мере, один из первого и второго потоков изображений как поток глубинных изображений от формирователя глубинных изображений.3. Способ по п. 1, в котором этап, на котором получают первый и второй потоки изображений, содержит этап, на котором получают первый и второй потоки изображений от соответственных отдельных датчиков изображения, сконфигурированных для формирования изображения заданной сцены.4. Способ по п. 1, в котором два последовательных существующих кадра во втором потоке изображений соответствуют R+1 последовательным существующим кадрам в первом потоке изображений, так что если N-й существующий кадр в первом потоке изображений соответствует M-му существующему кадру во втором потоке изображений, то (N+R)-й существующий кадр в первом потоке изображений соответствует (M+1)-му существующему кадру во втором потоке изображений.5. Спо�

Claims (20)

1. Способ, содержащий этапы, на которых:
получают первый поток изображений, имеющий первую кадровую частоту, и второй поток изображений, имеющий вторую кадровую частоту, которая ниже первой кадровой частоты;
восстанавливают дополнительные кадры для второго потока изображений, на основе существующих кадров первого и второго потоков изображений; и
используют упомянутые дополнительные кадры, чтобы обеспечить повышенную кадровую частоту для второго потока изображений;
причем упомянутые этапы получения, восстановления и использования реализуются, по меньшей мере, в одном устройстве обработки, содержащем процессор, соединенный с запоминающим устройством.
2. Способ по п. 1, в котором этап, на котором получают первый и второй потоки изображений, содержит этап, на котором получают, по меньшей мере, один из первого и второго потоков изображений как поток глубинных изображений от формирователя глубинных изображений.
3. Способ по п. 1, в котором этап, на котором получают первый и второй потоки изображений, содержит этап, на котором получают первый и второй потоки изображений от соответственных отдельных датчиков изображения, сконфигурированных для формирования изображения заданной сцены.
4. Способ по п. 1, в котором два последовательных существующих кадра во втором потоке изображений соответствуют R+1 последовательным существующим кадрам в первом потоке изображений, так что если N-й существующий кадр в первом потоке изображений соответствует M-му существующему кадру во втором потоке изображений, то (N+R)-й существующий кадр в первом потоке изображений соответствует (M+1)-му существующему кадру во втором потоке изображений.
5. Способ по п. 4, в котором этап, на котором восстанавливают дополнительные кадры для второго потока изображений на основе существующих кадров первого и второго потоков изображений, содержит этап, на котором определяют R+1 дополнительных кадров для вставки между M-м существующим кадром и (M+1)-м существующим кадром во втором потоке изображений.
6. Способ по п. 5, в котором R+1 дополнительных кадров, определенные для вставки между M-м существующим кадром и (M+1)-м существующим кадром во втором потоке изображений, определяют, основываясь на соответствующих R+1 последовательных существующих кадрах в первом потоке изображений и на M-м и (M+1)-м существующих кадрах во втором потоке изображений.
7. Способ по п. 1, в котором этап, на котором восстанавливают дополнительные кадры для второго потока изображений на основе существующих кадров первого и второго потоков изображений, содержит этап, на котором определяют наборы из одного или более дополнительных кадров для вставки между соответственными парами последовательных существующих кадров во втором потоке изображений.
8. Способ по п. 7, в котором для заданной итерации определяют конкретный набор из одного или более дополнительных кадров для вставки между соответствующей одной из пар последовательных существующих кадров во втором потоке изображений, основываясь на множестве соответствующих существующих кадров в первом потоке изображений и упомянутой соответствующей паре последовательных существующих кадров во втором потоке изображений.
9. Способ по п. 1, в котором этап, на котором восстанавливают дополнительные кадры для второго потока изображений на основе существующих кадров первого и второго потоков изображений, содержит этапы, на которых:
применяют операции кластеризации к соответственным из существующих кадров, чтобы генерировать соответственные кластерные карты; и
генерируют информацию о соответствии кластеров, указывающую соответствие между кластерами упомянутых кластерных карт.
10. Способ по п. 9, который дополнительно содержит этап, на котором применяют аффинное преобразование, по меньшей мере, к поднабору существующих кадров по меньшей мере одного из первого и второго потоков изображений перед применением операций кластеризации к этим кадрам.
11. Способ по п. 9, в котором операция кластеризации, применяемая к заданному одному из существующих кадров, содержит операцию кластеризации, основанную на статистическом слиянии областей, при котором заданный существующий кадр разделяют на множество кластеров, каждый из которых соответствует различной статистической области.
12. Способ по п. 11, в котором операция кластеризации, основанная на статистическом слиянии областей, реализует рекурсивное слияние, используя предписанный предикат слияния для двух произвольных статистических областей R1 и R2 заданного существующего кадра, в соответствии со следующим уравнением:
Figure 00000001
,
где |R1-R2| обозначает величину разности между количеством пикселей в области R1 и количеством пикселей в области R2, а b(Ri) является функцией от количества пикселей в области Ri и максимально возможного значения пикселя в заданном кадре, так что области R1 и R2 сливаются в единый кластер, если P(R1, R2) = истина.
13. Способ по п. 9, который дополнительно содержит этап, на котором используют информацию о соответствии кластеров для выполнения операции заполнения глубины, при которой данные глубины, связанные с одним или более кластерами в одном или более из существующих кадров первого и второго потоков изображений, добавляют в соответствующие кластеры в одном или более из дополнительных кадров совместно с восстановлением упомянутых дополнительных кадров.
14. Способ по п. 1, в котором этап, на котором восстанавливают дополнительные кадры для второго потока изображений на основе существующих кадров первого и второго потоков изображений, содержит этапы, на которых:
идентифицируют соответствие между частями одного или более существующих кадров первого потока изображений и частями одного или более существующих кадров второго потока изображений; и
формируют по меньшей мере один из дополнительных кадров с использованием информации об изображении из упомянутых идентифицированных частей.
15. Компьютерно-читаемый запоминающий носитель, содержащий воплощенный на нем код компьютерной программы, причем код компьютерной программы при исполнении в устройстве обработки предписывает устройству обработки выполнять способ по п. 1.
16. Устройство, содержащее:
по меньшей мере, одно устройство обработки, содержащее процессор, соединенный с запоминающим устройством;
причем упомянутое, по меньшей мере, одно устройство обработки сконфигурировано для получения первого потока изображений, имеющего первую кадровую частоту, и второго потока изображений, имеющего вторую кадровую частоту, которая ниже первой кадровой частоты, для восстановления дополнительных кадров для второго потока изображений, на основе существующих кадров первого и второго потоков изображений, и для использования упомянутых дополнительных кадров, чтобы обеспечить повышенную кадровую частоту для второго потока изображений.
17. Устройство по п. 16, в котором устройство обработки содержит процессор изображений, при этом процессор изображений содержит:
модуль кластеризации, сконфигурированный для применения операций кластеризации к соответственным из существующих кадров, чтобы генерировать соответственные кластерные карты;
модуль определения соответствия кластеров, сконфигурированный для генерирования информации о соответствии кластеров, указывающей соответствие между кластерами упомянутых кластерных карт.
18. Устройство по п. 17, в котором процессор изображений дополнительно содержит модуль заполнения глубины, причем модуль заполнения глубины сконфигурирован для использования информации о соответствии кластеров для выполнения операции заполнения глубины, при которой данные глубины, связанные с одним или более кластерами в одном или более из существующих кадров первого и второго потоков изображений, добавляются в соответствующие кластеры в одном или более из дополнительных кадров совместно с восстановлением упомянутых дополнительных кадров.
19. Система обработки изображений, содержащая:
первый источник изображений, обеспечивающий первый поток изображений, имеющий первую кадровую частоту;
второй источник изображений, обеспечивающий второй поток изображений, имеющий вторую кадровую частоту, которая ниже первой кадровой частоты; и
процессор изображений, соединенный с первым и вторым источниками изображений;
причем процессор изображений сконфигурирован для восстановления дополнительных кадров для второго потока изображений на основе существующих кадров первого и второго потоков изображений, и использования упомянутых дополнительных кадров, чтобы обеспечить повышенную кадровую частоту для второго потока изображений.
20. Система по п. 19, в которой, по меньшей мере, один из первого и второго источников изображений содержит формирователь глубинных изображений.
RU2013102854/08A 2013-01-30 2013-01-30 Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой RU2013102854A (ru)

Priority Applications (8)

Application Number Priority Date Filing Date Title
RU2013102854/08A RU2013102854A (ru) 2013-01-30 2013-01-30 Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой
KR1020157020685A KR20150114950A (ko) 2013-01-30 2013-08-23 이미지 스트림의 프레임 레이트 증가
CN201380007015.4A CN104254868A (zh) 2013-01-30 2013-08-23 使用至少一个较高帧速率图像流提高图像流帧速率的方法和装置
JP2015555148A JP2016509805A (ja) 2013-01-30 2013-08-23 画像ストリームの高フレームレート化
CA2844694A CA2844694A1 (en) 2013-01-30 2013-08-23 Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream
US14/237,436 US9386266B2 (en) 2013-01-30 2013-08-23 Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream
PCT/US2013/056402 WO2014120281A1 (en) 2013-01-30 2013-08-23 Increasing frame rate of an image stream
TW102133980A TW201436552A (zh) 2013-01-30 2013-09-18 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2013102854/08A RU2013102854A (ru) 2013-01-30 2013-01-30 Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой

Publications (1)

Publication Number Publication Date
RU2013102854A true RU2013102854A (ru) 2014-08-10

Family

ID=51262820

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013102854/08A RU2013102854A (ru) 2013-01-30 2013-01-30 Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой

Country Status (7)

Country Link
US (1) US9386266B2 (ru)
JP (1) JP2016509805A (ru)
KR (1) KR20150114950A (ru)
CN (1) CN104254868A (ru)
RU (1) RU2013102854A (ru)
TW (1) TW201436552A (ru)
WO (1) WO2014120281A1 (ru)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2013102854A (ru) 2013-01-30 2014-08-10 ЭлЭсАй Корпорейшн Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой
CN105118077B (zh) * 2015-09-02 2018-02-09 广东建设职业技术学院 一种提高文件拍摄流畅性的方法及系统
GB201515615D0 (en) * 2015-09-03 2015-10-21 Functional Technologies Ltd Clustering images based on camera fingerprints
CN109040591B (zh) * 2018-08-22 2020-08-04 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
GB2582592A (en) * 2019-03-26 2020-09-30 Sony Corp A method, apparatus and computer program product for storing images of a scene
US11303847B2 (en) 2019-07-17 2022-04-12 Home Box Office, Inc. Video frame pulldown based on frame analysis
CN113393629B (zh) * 2021-05-25 2022-11-15 浙江大华技术股份有限公司 入侵行为检测方法、装置和多路视频监控系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5808617A (en) * 1995-08-04 1998-09-15 Microsoft Corporation Method and system for depth complexity reduction in a graphics rendering system
US6031573A (en) * 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel
US6476802B1 (en) 1998-12-24 2002-11-05 B3D, Inc. Dynamic replacement of 3D objects in a 3D object library
AU2001239926A1 (en) 2000-02-25 2001-09-03 The Research Foundation Of State University Of New York Apparatus and method for volume processing and rendering
JP2009500750A (ja) * 2005-06-29 2009-01-08 クゥアルコム・インコーポレイテッド 組込デバイス内の３ｄコンテンツ用のオフライン最適化パイプライン
WO2007009239A1 (en) * 2005-07-19 2007-01-25 March Networks Corporation Hierarchical data storage
WO2008053765A1 (ja) * 2006-10-30 2008-05-08 Panasonic Corporation 画像生成装置および画像生成方法
MY155378A (en) * 2008-07-24 2015-10-15 Koninkl Philips Electronics Nv Versatile 3-d picture format
JP5480915B2 (ja) * 2009-12-28 2014-04-23 パナソニック株式会社 表示装置と方法、記録媒体、送信装置と方法、及び再生装置と方法
US20120229460A1 (en) * 2011-03-12 2012-09-13 Sensio Technologies Inc. Method and System for Optimizing Resource Usage in a Graphics Pipeline
RU2013102854A (ru) 2013-01-30 2014-08-10 ЭлЭсАй Корпорейшн Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой

Also Published As

Publication number Publication date
CN104254868A (zh) 2014-12-31
US20140362289A1 (en) 2014-12-11
WO2014120281A1 (en) 2014-08-07
US9386266B2 (en) 2016-07-05
JP2016509805A (ja) 2016-03-31
KR20150114950A (ko) 2015-10-13
TW201436552A (zh) 2014-09-16

Similar Documents

Publication Publication Date Title
RU2013102854A (ru) Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой
US11113816B2 (en) Image segmentation apparatus, method and relevant computing device
KR101850027B1 (ko) 실시간 3차원 실 환경 복원장치 및 그 방법
IL274426B2 (en) Discovering and describing a fully complex point of interest using homographic processing
EP4231245A3 (en) Method and apparatus for generating a virtual image from a viewpoint selected by the user, from a camera array with transmission of foreground and background images at different frame rates
EP3848852B1 (en) Method and apparatus for detecting temporal action of video, electronic device, storage medium, and computer program product
US20180132009A1 (en) Video frame rate conversion using streamed metadata
EP3495996A3 (en) Image processing method and apparatus, and electronic device
RU2012145349A (ru) Способ и устройство обработки изображений для устранения артефактов глубины
CN112929695B (zh) 视频去重方法、装置、电子设备和存储介质
RU2012154657A (ru) Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
WO2014195802A3 (en) Method and system for recognizing information
EP3364337A3 (en) Persistent feature descriptors for video
CN109509248B (zh) 一种基于神经网络的光子映射渲染方法和系统
SG11201909071UA (en) Image processing methods and apparatuses, computer readable storage media and eletronic devices
US10133955B2 (en) Systems and methods for object recognition based on human visual pathway
US20110268315A1 (en) Scalable Media Fingerprint Extraction
JP2015518378A5 (ru)
CN110991298A (zh) 图像的处理方法和装置、存储介质及电子装置
RU2013137742A (ru) Сжатие и восстановление изображений с глубиной с использованием данных о глубине и амплитуде
FR3083661B1 (fr) Procede de generation synchrone d'alea en vue de traitements cryptographiques
CN112215276A (zh) 一种对抗网络的训练方法、装置、电子设备和存储介质
CN104376578A (zh) 一种应用于直录播系统中的运动目标检测处理方法及设备
RU2013135506A (ru) Процессор изображений, сконфигурированный для эффективной оценки и исключения информации фона в изображениях
Rodríguez et al. Video background modeling under impulse noise

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20160201