CN113452943A - 一种基于fpga的全景高清视频采集处理设备 - Google Patents

一种基于fpga的全景高清视频采集处理设备 Download PDF

Info

Publication number
CN113452943A
CN113452943A CN202110635403.3A CN202110635403A CN113452943A CN 113452943 A CN113452943 A CN 113452943A CN 202110635403 A CN202110635403 A CN 202110635403A CN 113452943 A CN113452943 A CN 113452943A
Authority
CN
China
Prior art keywords
module
video
ddr4
panoramic
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110635403.3A
Other languages
English (en)
Inventor
宋梦欣
刘一清
瞿祝
杨琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202110635403.3A priority Critical patent/CN113452943A/zh
Publication of CN113452943A publication Critical patent/CN113452943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明公开了一种基于FPGA的全景视频采集处理设备，该设备包括：高清全景视频采集模块、FPGA处理器模块、DDR4存储模块、视频编码模块、万兆以太网视频传输模块、5G物联网通信模块、视频显示驱动模块及电源模块。本发明解决了全景图像获取设备带宽受限和分辨率受限的问题。本发明包括视频采集、视频拼接、视频编码、本地回放和视频传输功能，高清全景视频采集模块实现任意角度的4K分辨率视频采集，给用户带来沉浸式视觉体验；视频显示驱动模块中灵活的本地显示窗口能够实时捕捉任意角度视频界面；万兆以太网高速数据接口和5G物联网通信模块支撑多路4K数据流的高清视频实时传输。

Description

一种基于FPGA的全景高清视频采集处理设备
技术领域
本发明涉及视频采集、实时视频编码传输技术领域，适用于高分辨率需求下的实时场景视频采集系统，尤其是一种基于FPGA的全景视频采集处理设备。
背景技术
随着5G协议的普遍推进，万物互联的时代使得更高清更大数据量的直播设备实现成为可能。用户对于视频的需求向着更高分辨率、更高帧率、更低的延迟率推进，利用高速接口和5G接口，高分辨率的视频采集系统减小了数据传输带宽的限制，可以带给用户崭新的高清视觉体验。然而，市面上现有的全景视频拼接设备受限于以往的视频传输带宽，往往采用两个鱼眼镜头，以牺牲图像保真度和视频分辨率的代价达到全景视频的获取。现有的设备具有品类少、价格高、接口兼容性差、推广度不高的缺点。
发明内容
本发明的目的是为了解决现有全景视频获取设备存在的分辨率低、图像失真度高、传输速率低、接口灵活性差的问题而提供的一种基于FPGA的全景视频采集处理设备，该设备可以同时获取多路图像视频传感器的高分辨率视频流，从而减小全角度图像的失真，给用户带来沉浸式视觉体验；具有灵活的本地显示功能，实时显示全角度视频流；包括万兆以太网高速数据接口和5G物联网通信模块，支撑多路4K数据流的高清视频实时传输。
实现本发明目的的具体技术方案是：
一种基于FPGA的全景视频采集处理设备，特点是：该设备包括高清全景视频采集模块、FPGA处理器模块、DDR4存储模块、视频编码模块、视频显示驱动模块、万兆以太网视频传输模块、5G物联网通信模块及电源模块。所述高清全景视频采集模块分别与FPGA处理器模块及电源模块连接，用于获取6路4K超高清视频。所述FPGA处理器模块分别与高清全景视频采集模块、DDR4存储模块、视频编码模块、视频显示驱动模块、万兆以太网视频传输模块、5G物联网通信模块及电源模块连接，接收来自高清全景视频采集模块的视频流，对视频流进行格式转换、全景拼接和视频处理等操作，并将处理后的视频流发送至本地显示模块、5G物联网通信模块或万兆以太网模块；所述DDR4存储模块分别与FPGA处理器模块及电源模块连接，用于视频处理过程中的数据缓存和本地回放功能的视频存储；所述视频编码模块分别与FPGA处理器模块及电源模块连接，用于原始视频流的压缩编码；所述视频显示驱动模块分别与FPGA处理器模块、及电源模块连接，用于本地显示；所述万兆以太网视频传输模块分别与FPGA处理器模块及电源模块连接，用于视频流的有线传输；所述5G物联网通信模块分别与FPGA处理器模块及电源模块连接，用于视频流的无线传输；所述电源模块分别与高清全景视频采集模块、FPGA处理器模块、DDR4存储模块、视频编码模块、视频显示驱动模块、万兆以太网视频传输模块及5G物联网通信模块连接，用于为各模块供电；
所述高清全景视频采集模块包括数路4K分辨率图像视频传感器，数路图像视频传感器的联合获取有利于减小拼接后的图像形变；
所述FPGA处理器模块包括视频格式转换模块、同步队列、图像缓存DDR4读写控制模块、图像处理模块、视频拼接模块、视频截取模块、编码控制模块、编码缓存DDR4读写控制模块和组包模块；所述视频格式转换模块与视频采集模块和同步队列相连，将原始视频流由RAW格式转换为RGB格式；所述同步队列与视频格式转换模块及图像缓存DDR4读写控制模块相连，用于多路视频流的同步；所述图像缓存DDR4读写控制模块与同步队列、图像处理模块及DDR4存储模块相连，存储由多路视频源构成的全景视频原始数据；所述图像处理模块与图像缓存DDR4读写控制模块相连，读取来自图像缓存DDR4读写控制模块的多路原始视频帧，各路视频帧进行图像边缘畸变矫正、白平衡优化和色域优化，并将图像处理后的全景视频帧按照行输出给视频拼接模块。所述视频拼接模块以行为单位获取全景视频帧后，对多路视频帧进行拼接，并将拼接后的全景视频帧传入视频截取模块和编码缓存DDR4读写控制模块；所述视频截取模块与视频显示驱动模块相连，用于横向截取全景视频中的符合4K画幅大小的部分像素，并将其输出给视频显示驱动模块，视频的截取位置可以在全幅视频的水平方向自由移动；所述编码缓存DDR4读写控制模块与编码控制模块、组包模块及DDR4存储模块相连，缓存编码过程中的视频帧和编码后的全幅全景视频；所述编码控制模块与编码缓存DDR4读写控制模块及视频编码模块相连，用于控制视频编码模块和编码缓存DDR4读写控制模块的时序；所述组包模块与编码缓存DDR4读写控制模块、万兆以太网视频传输模块及5G物联网通信模块相连，用于将压缩编码后的全幅全景视频分割为多个UDP格式数据包，并发送至万兆以太网视频传输模块及5G物联网通信模块；
所述万兆以太网视频传输模块包括万兆网光口和万兆以太网物理核，用于通过光纤与上位机连接，发送来自FPGA处理器模块的压缩后的视频流。
与现有技术相比，本发明的有益效果是：
（1）本设备包含数路图像视频传感器，数路图像视频传感器的拼接使得在保证高分辨率的同时，有效降低拼接处的图像畸变和图像失真。
（2）本设备采用多个数据传输接口，包括5G无线传输接口和万兆以太网接口，用于完成设备与上位机之间的视频流传输，其中5G无线传输接口的速率可达230Mbps，适用于高分辨率视频的高速无线传输；万兆以太网共包含4路光口，每个接口数据通信速率高达10Gbps，适用于高分辨率视频的高速有线传输。
（3）本设备采用FPGA作为核心芯片，具有强大的并行处理数据的能力，满足图像拼接、图像校正等实时视频帧处理需求。
（4）本设备采用数路4K图像视频传感器，所采集的视频图像画质高清；万兆以太网视频传输模块包含多路光口，可用作兼容性接口；本设备拥有DDR4存储模块，本地缓存容量大。
附图说明
图1为本发明结构框图；
图2为本发明图像视频传感器的空间分布图。
具体实施方式
下面结合附图及实施例对本发明作详细描述。
实施例
参阅图1，本实施例包括：高清全景视频采集模块1、FPGA处理器模块2、DDR4存储模块3、视频编码模块4、视频显示驱动模块5、万兆以太网视频传输模块6、5G物联网通信模块7及电源模块8。
高清全景视频采集模块1分别与FPGA处理器模块2及电源模块8相连。
FPGA处理器模块2分别与高清全景视频采集模块1、DDR4存储模块3、视频编码模块4、视频显示驱动模块5、万兆以太网视频传输模块6、5G物联网通信模块7及电源模块8相连。
DDR4存储模块3分别与FPGA处理器模块2及电源模块8相连。
视频编码模块4分别与FPGA处理器模块2及电源模块8相连。
视频显示驱动模块5分别与FPGA处理器模块2及电源模块8相连。
万兆以太网视频传输模块6分别与FPGA处理器模块2及电源模块8相连。
5G物联网通信模块7分别与FPGA处理器模块2及电源模块8相连。
电源模块8分别与高清全景视频采集模块1、FPGA处理器模块2、DDR4存储模块3、视频编码模块4、视频显示驱动模块5、万兆以太网视频传输模块6及5G物联网通信模块7相连。
本实施例的高清全景视频采集模块1负责采集原始视频数据，包括六路4K分辨率图像视频传感器，依次为图像视频传感器11，图像视频传感器12，图像视频传感器13，图像视频传感器14，图像视频传感器15及图像视频传感器16。
本实施例的FPGA处理器模块2包括六个视频格式转换模块211～216、六个同步队列221～226、图像缓存DDR4读写控制模块23、图像处理模块24、视频拼接模块25、视频截取模块26、编码控制模块28、编码缓存DDR4读写控制模块27和组包模块29。六路高清视频分别由模块1的六路图像视频传感器采集后，分别输入视频格式转换模块211～216，进行视频数据格式转换，将RAW格式转换为RGB格式。然后以一行为单位，分别依次输入同步队列221～226进缓存，图像缓存DDR4读写控制模块23根据同步队列221～226中的数据量，同样以一行为单位，分别读取同步队列221～226的一整行的数据，并写入DDR4存储模块3，最终存储由六路视频源构成的全景视频原始数据，为了满足后续处理，共存储三帧图像，至此完成六路视频的获取和同步存储功能。图像处理模块24控制图像缓存DDR4读写控制模块23读取全景原始视频帧，对各个摄像头获取的视频帧进行图像边缘畸变矫正、白平衡优化和色域优化，并将图像处理后的全景视频帧按照行输出给图像处理模块24。视频拼接模块25按照行为单位获取全景视频帧后，根据不同视频源边缘的特征，对该视频帧进行拼接，拼接后的全景视频帧根据本地实时高清显示功能输入给视频截取模块26，根据远程全景显示功能输入给编码缓存DDR4读写控制模块27。
本地实时高清显示功能下，拼接后的全景视频帧输入给视频截取模块26，视频截取模块26横向截取全景视频中的符合4K视频流的部分像素，输出给视频显示驱动模块5，视频的截取位置可以在全幅视频的水平方向自由移动。
远程全景显示功能下，拼接后的全景视频帧输入给编码缓存DDR4读写控制模块27。在编码控制模块28的控制下，编码缓存DDR4读写控制模块27读取真实全景视频帧并输出给编码控制模块28。编码控制模块28再将真实全景视频帧输出给视频编码模块4，把视频按照H.265的格式压缩，编码控制模块28控制把压缩后的全景视频通过编码缓存DDR4读写控制模块27写入DDR4存储模块3。组包模块29通过编码缓存DDR4读写控制模块27读出经过H.265编码后的视频，将视频帧分割为多个UDP包的格式，上位机可以通过万兆光口和5G接口接收H.265的视频数据。
图像缓存DDR4读写控制模块23中，由于DDR4存储器仅支持1个单向的读或写接口，需要分时复用，具体过程如下：视频图像按照行为单位分时读写，图像缓存DDR4读写控制模块23轮询两个部分请求，写DDR4请求部分判断每一个同步队列的已写的数据量，当某个同步队列数据达到一行的数据量时，发起读队列写DDR4的操作，完成一行数据的存储，并设置该队列已读标志位1，停止队列已读标志为1队列的轮询，当所有队列的队列已读标志为1后，说明六个摄像头的该行图像完全存储于DDR4，清除队列已读标志位，开启下一行的队列轮询操作；读DDR4请求部分，当存储的图像数据量满足要求后，询问图像处理模块24的读取请求，每次读取一行的图像。图像缓存采取三帧缓存处理的方式，首先缓存一帧的全景图像，当第二帧全景图像全部缓存于DDR4中后，开始按行读取前一帧的图像输出给图像处理模块24，在行读取的间隔，支持第三帧图像的按行写入。为了提高DDR4的读写效率，DDR4存储地址按照帧号、列号、摄像头号、行号的顺序，高位至低位二进制编码。
参阅图2为本发明图像视频传感器的空间分布图，其中图像视频传感器11、图像视频传感器12、图像视频传感器13、图像视频传感器14、图像视频传感器15、图像视频传感器16依次分别位于正六边形各边的中点，共同实现4K全景视频采集。

Claims (4)

1.一种基于FPGA的全景视频采集处理设备，其特征在于，该设备包括高清全景视频采集模块、FPGA处理器模块、DDR4存储模块、视频编码模块、视频显示驱动模块、万兆以太网视频传输模块、5G物联网通信模块及电源模块，所述高清全景视频采集模块分别与FPGA处理器模块及电源模块连接，用于获取多路4K分辨率视频；
所述FPGA处理器模块分别与高清全景视频采集模块、DDR4存储模块、视频编码模块、视频显示驱动模块、万兆以太网视频传输模块、5G物联网通信模块及电源模块连接，接收来自高清全景视频采集模块的视频流，对视频流进行格式转换、全景拼接和视频处理操作，并将处理后的视频流发送至视频显示驱动模块、5G物联网通信模块和万兆以太网模块；
所述DDR4存储模块分别与FPGA处理器模块及电源模块连接，用于视频处理过程中的数据缓存和本地回放功能的视频存储；
所述视频编码模块分别与FPGA处理器模块及电源模块连接，用于原始视频流的压缩编码；
所述视频显示驱动模块分别与FPGA处理器模块及电源模块连接，用于本地显示；
所述万兆以太网视频传输模块分别与FPGA处理器模块及电源模块连接，用于视频流的有线传输；
所述5G物联网通信模块分别与FPGA处理器模块及电源模块连接，用于视频流的无线传输；
所述电源模块分别与高清全景视频采集模块、FPGA处理器模块、DDR4存储模块、视频编码模块、视频显示驱动模块、万兆以太网视频传输模块及5G物联网通信模块连接，用于为各模块供电。
2.根据权利要求1所述的全景视频采集处理设备，其特征在于，所述高清全景视频采集模块包括数个图像视频传感器，用于采集数路4K分辨率全景高清视频。
3.根据权利要求1所述的全景视频采集处理设备，其特征在于，所述FPGA处理器模块包括视频格式转换模块、同步队列、图像缓存DDR4读写控制模块、图像处理模块、视频拼接模块、视频截取模块、编码控制模块、编码缓存DDR4读写控制模块和组包模块；
所述视频格式转换模块与视频采集模块和同步队列相连，将原始视频流由RAW格式转换为RGB格式；
所述同步队列与视频格式转换模块及图像缓存DDR4读写控制模块相连，用于多路视频流的同步；
所述图像缓存DDR4读写控制模块与同步队列、图像处理模块及DDR4存储模块相连，存储由多路视频源构成的全景视频原始数据；
所述图像处理模块与图像缓存DDR4读写控制模块相连，读取来自图像缓存DDR4读写控制模块的多路原始视频帧，对各路视频帧进行图像边缘畸变矫正、白平衡优化和色域优化，并将图像处理后的全景视频帧按照行输出给视频拼接模块；
所述视频拼接模块以行为单位获取全景视频帧后，对多路视频帧进行拼接，并将拼接后的全景视频帧传入视频截取模块和编码缓存DDR4读写控制模块；
所述视频截取模块与视频显示驱动模块相连，用于横向截取全景视频中的符合4K画幅大小的部分像素，并将其输出给视频显示驱动模块，视频的截取位置能够在全幅视频的水平方向自由移动；
所述编码缓存DDR4读写控制模块与编码控制模块、组包模块及DDR4存储模块相连，缓存编码过程中的视频帧和编码后的全幅全景视频；
所述编码控制模块与编码缓存DDR4读写控制模块及视频编码模块相连，用于控制视频编码模块和编码缓存DDR4读写控制模块的时序；
所述组包模块与编码缓存DDR4读写控制模块、万兆以太网视频传输模块及5G物联网通信模块相连，用于将压缩编码后的全幅全景视频分割为多个UDP格式数据包，并发送至万兆以太网视频传输模块及5G物联网通信模块。
4.根据权利要求1所述的全景视频采集处理设备，其特征在于，所述万兆以太网视频传输模块包括万兆网光口和万兆以太网物理核，用于通过光纤与上位机连接，发送来自FPGA处理器模块的压缩后的视频流。
CN202110635403.3A 2021-06-08 2021-06-08 一种基于fpga的全景高清视频采集处理设备 Pending CN113452943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110635403.3A CN113452943A (zh) 2021-06-08 2021-06-08 一种基于fpga的全景高清视频采集处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110635403.3A CN113452943A (zh) 2021-06-08 2021-06-08 一种基于fpga的全景高清视频采集处理设备

Publications (1)

Publication Number Publication Date
CN113452943A true CN113452943A (zh) 2021-09-28

Family

ID=77811011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110635403.3A Pending CN113452943A (zh) 2021-06-08 2021-06-08 一种基于fpga的全景高清视频采集处理设备

Country Status (1)

Country Link
CN (1) CN113452943A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873163A (zh) * 2021-10-20 2021-12-31 重庆电子工程职业学院 一种多路超高清视频采集传输系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137229A (zh) * 2011-03-09 2011-07-27 上海贝威科技有限公司 嵌入式高清全景摄像机及方法
CN202721763U (zh) * 2012-08-09 2013-02-06 北京博威康技术有限公司 一种全景视频采集装置
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
CN105227955A (zh) * 2015-09-28 2016-01-06 成都金本华电子有限公司 超高清低延时视频编码系统及超高清低延时码率控制方法
CN107592548A (zh) * 2017-09-29 2018-01-16 哈尔滨市舍科技有限公司 一种实时全景直播拍照的图像采集装置及图像传输方法
CN108184053A (zh) * 2017-12-27 2018-06-19 深圳进化动力数码科技有限公司 嵌入式图像处理方法及装置
US10148875B1 (en) * 2016-05-17 2018-12-04 Scott Zhihao Chen Method and system for interfacing multiple channels of panoramic videos with a high-definition port of a processor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137229A (zh) * 2011-03-09 2011-07-27 上海贝威科技有限公司 嵌入式高清全景摄像机及方法
CN202721763U (zh) * 2012-08-09 2013-02-06 北京博威康技术有限公司 一种全景视频采集装置
CN103763479A (zh) * 2013-12-31 2014-04-30 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
CN105227955A (zh) * 2015-09-28 2016-01-06 成都金本华电子有限公司 超高清低延时视频编码系统及超高清低延时码率控制方法
US10148875B1 (en) * 2016-05-17 2018-12-04 Scott Zhihao Chen Method and system for interfacing multiple channels of panoramic videos with a high-definition port of a processor
CN107592548A (zh) * 2017-09-29 2018-01-16 哈尔滨市舍科技有限公司 一种实时全景直播拍照的图像采集装置及图像传输方法
CN108184053A (zh) * 2017-12-27 2018-06-19 深圳进化动力数码科技有限公司 嵌入式图像处理方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873163A (zh) * 2021-10-20 2021-12-31 重庆电子工程职业学院 一种多路超高清视频采集传输系统及方法

Similar Documents

Publication Publication Date Title
WO2017215331A1 (zh) 全景摄像机及其拍摄方法
US9456232B2 (en) Signal processing apparatus, signal processing method, program, and signal transmission system
CN103347163A (zh) 一种超高清视频图像处理和传送的系统及其方法
CN101516015B (zh) 多路视频数据采集处理和传输的方法
CN103475894B (zh) 一种3d腹腔镜视频处理方法
CN102857738A (zh) 多屏控制的图像显示系统、方法及多屏控制装置
CN102843522B (zh) 基于pcie的视频拼接处理卡、其控制系统及控制方法
CN108616717B (zh) 一种实时全景视频拼接显示装置及其方法
US7593580B2 (en) Video encoding using parallel processors
WO2014079303A1 (zh) 一种视频多画面合成方法、装置和系统
CN108712625B (zh) 多通道实时高清图像传输系统及传输方法
CN206117891U (zh) 一种音视频采集设备
GB2496418A (en) Ultra low latency video communication.
CN113452943A (zh) 一种基于fpga的全景高清视频采集处理设备
WO2023024421A1 (zh) 多路图像拼接方法、系统、可读存储介质、及无人车
CN112492247B (zh) 一种基于lvds输入的视频显示设计方法
KR101152952B1 (ko) 초고화질 영상을 위한 실시간 3ｄ 포맷팅 모듈 및 이를 이용한 실시간 3ｄ 포맷팅 시스템
CN107707829A (zh) 一种基于fpga实现多接口智能sdi视频转换盒的方法
CN111406404B (zh) 获得视频文件的压缩方法、解压缩方法、系统及存储介质
KR100970992B1 (ko) 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체
CN206117889U (zh) 一种双目720度全景采集系统
CN201854377U (zh) 基于fpga的立体摄像机的数字接口
CN202168141U (zh) 一种基于pcie的视频拼接处理卡
CN216625908U (zh) 一种视频存储装置及内窥镜设备
CN202206464U (zh) 一种新型sdi全景摄像机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210928

WD01 Invention patent application deemed withdrawn after publication