CN104375778B - 智能交互式水族箱展示系统 - Google Patents

智能交互式水族箱展示系统 Download PDF

Info

Publication number
CN104375778B
CN104375778B CN201410684453.0A CN201410684453A CN104375778B CN 104375778 B CN104375778 B CN 104375778B CN 201410684453 A CN201410684453 A CN 201410684453A CN 104375778 B CN104375778 B CN 104375778B
Authority
CN
China
Prior art keywords
aquarium
target
interactive
interaction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410684453.0A
Other languages
English (en)
Other versions
CN104375778A (zh
Inventor
肖雄仁
徐成
秦云川
李瑞辉
李蕊
肖欢
孙晓芳
欧阳力多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN201410684453.0A priority Critical patent/CN104375778B/zh
Publication of CN104375778A publication Critical patent/CN104375778A/zh
Application granted granted Critical
Publication of CN104375778B publication Critical patent/CN104375778B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种智能交互式水族箱展示系统,包括水族箱、触摸交互屏、图像采集部件以及交互数据处理部件,触摸交互屏固定在水族箱的外表面上,触摸交互屏、图像采集部件均与交互数据处理部件相连;触摸交互屏接收对水族箱内观赏鱼的选定操作并生成位置信息,通过图像采集部件实时采集当前水族箱内的整体图像,交互数据处理部件接收位置信息以及整体图像识别所选定的目标观赏鱼,将与目标观赏鱼对应的预设交互信息显示在触摸交互屏上。本发明具有结构简单紧凑、能够实现与观赏者的智能交互、展示效果好且趣味性高的优点。

Description

智能交互式水族箱展示系统
技术领域
本发明涉及智能化动物观赏设备领域,尤其涉及一种智能交互式水族箱展示系统。
背景技术
如今博物馆、水族馆等多功能展厅受到越来越多游客的青睐,水族箱就是通过饲养热带鱼、金鱼等观赏鱼来提供各种类鱼的展示,观赏者通过对各类观赏鱼的了解还能够丰富知识,兼具教育性和娱乐性,且其观赏性和科普性适用于任何年龄段的观赏者。而目前对水族箱内观赏鱼信息的获取通常需要依赖人工解说,获取信息的方式单一且缺乏与观赏者之间的互动,观赏者自身不能够自主的选择所需要了解的信息,通过人工解说的方式观赏者也很难了解到更多的历史背景或感受其文化内涵。
发明内容
本发明要解决的技术问题就在于:针对现有技术存在的技术问题,本发明提供一种结构简单紧凑、成本低廉、能够实现与观赏者的智能交互、展示效果好且趣味性高的智能交互式水族箱展示系统。
为解决上述技术问题,本发明提出的技术方案为:
一种智能交互式水族箱展示系统,包括:水族箱、触摸交互屏、图像采集部件以及交互数据处理部件,所述触摸交互屏固定在水族箱的外表面上,所述触摸交互屏、图像采集部件均与所述交互数据处理部件相连;所述触摸交互屏用于接收对水族箱内观赏鱼的选定操作并生成位置信息,通过所述图像采集部件实时采集当前水族箱内的整体图像,所述交互数据处理部件接收所述位置信息以及所述整体图像识别所选定的目标观赏鱼,并将与目标观赏鱼对应的预设交互信息显示在触摸交互屏上。
作为本发明的进一步改进:所述交互数据处理部件包括图像识别单元和交互信息输出单元,所述图像识别单元接收所述位置信息以及所述整体图像进行图像识别,输出识别出的目标观赏鱼,通过所述交互信息输出单元查找出与目标观赏鱼对应的预设交互信息并输出至触摸交互屏进行显示。
作为本发明的进一步改进:所述交互数据处理部件还包括语音交互单元,所述语音交互单元与所述图像识别单元连接;所述语音交互单元接收语音交互请求并进行语音识别,将与识别出的交互请求类型、图像识别单元输出的目标观赏鱼对应的交互信息输出。
作为本发明的进一步改进:所述交互数据处理部件还包括目标跟踪单元,所述目标跟踪单元与所述图像识别单元连接,对图像识别单元识别出的目标观赏鱼进行目标跟踪。
作为本发明的进一步改进:所述目标跟踪单元为基于TLD算法的目标跟踪器。
作为本发明的进一步改进:所述图像识别单元采用基于贝叶斯分类器的图像识别部件。
作为本发明的进一步改进:所述触摸交互屏包括透明显示屏与红外线触摸屏。
作为本发明的进一步改进:还包括LED灯板,所述LED灯板的灯光照射端朝向所述触摸交互屏。
与现有技术相比,本发明的优点在于:
1)本发明通过触摸交互屏接收观赏鱼的选定操作生成位置信息,同时由图像采集部件采集当前水族箱内的整体图像,交互数据处理部件通过位置信息以及水族箱的整体图像识别出所选定的目标观赏鱼,对应的交互信息通过触摸交互屏显示出来,观赏者不需要依赖人工的解说便可了解到所需要了解的信息,实现观赏者与水族箱内观赏鱼的智能交互,提高了水族箱的展示效果以及趣味性。
2)本发明通过语音交互单元接收并响应观赏者的语音交互请求,使得观赏者不需要手动操作就可以实现与水族箱内观赏鱼的互动;通过目标跟踪单元对目标观赏鱼进行跟踪,使观赏者能够直观的了解到目标观赏鱼的实时状态,能够进一步提高水族箱的展示效果以及互动性能。
附图说明
图1是本实施例智能交互式水族箱展示系统的结构示意图。
图2是本实施例中水族箱与图像采集部件的安装原理示意图。
图3是本发明智能交互式水族箱展示系统在具体实施例中的结构示意图。
图4是本发明智能交互式水族箱展示系统在具体实施例中的结构原理示意图。
图5是本发明智能交互式水族箱展示系统在具体实施例中的实现流程示意图。
图6是本发明具体实施例中语音交互的实现原理示意图。
图例说明:
1、水族箱;2、触摸交互屏;3、图像采集部件;4、交互数据处理部件;41、图像识别单元;42、交互信息输出单元;43、语音交互单元;44、目标跟踪单元。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述,但并不因此而限制本发明的保护范围。
如图1所示,本实施例智能交互式水族箱展示系统包括水族箱1、触摸交互屏2、图像采集部件3以及交互数据处理部件4,触摸交互屏2固定在水族箱1的外表面上,触摸交互屏2、图像采集部件3均与交互数据处理部件4相连。触摸交互屏2用于接收对水族箱1内观赏鱼的选定操作并生成位置信息,通过图像采集部件3实时采集当前水族箱1内的整体图像,交互数据处理部件接收位置信息以及整体图像识别所选定的目标观赏鱼,并将与目标观赏鱼对应的预设交互信息显示在触摸交互屏上。
本实施例中,触摸交互屏2包括透明显示屏与红外线触摸屏,实现交互信息显示以及与观赏者之间的交互操作。水族箱1为透明的器皿,触摸交互屏2固定贴合在水族箱1的正前方表面(朝向观赏者的展示面)上,水族箱1内的景象能够透过触摸交互屏2完整的呈现,触摸交互屏2也可以根据实际需求固定在水族箱1的其他便于观赏者交互操作的表面上。
如图2所示,本实施例中图像采集部件3为摄像头,摄像头安装于水族箱1的正后方且间隔水族箱1一定的距离,使得通过摄像头能够定位整个水族箱1,即摄像头的摄像范围(如图中虚线所示)需要包括水族箱1的整个面以捕获水族箱1内的整体图像,摄像头的安装距离则根据摄像头的广角确定,摄像头也可以根据实际需求调整安装位置。
本实施例中,交互数据处理部件4包括图像识别单元41和交互信息输出单元42,图像识别单元41接收位置信息以及整体图像进行图像识别,输出识别出的目标观赏鱼,通过交互信息输出单元42查找出与目标观赏鱼对应的预设交互信息并输出至触摸交互屏2进行显示。交互信息可根据需要设置为产地、名称、年龄以及习性等信息,将各观赏鱼对应的交互信息预先存储在交互信息数据库中,图像识别单元41识别出目标观赏鱼后,交互信息输出单元42通过查询交互信息数据库就能够获取得到对应的交互信息,再以文字或其他形式通过触摸交互屏2的透明显示屏显示出来。本实施例中图像识别单元41具体采用基于贝叶斯分类器的图像识别部件。
当观赏者需要了解水族箱1内某观赏鱼的信息时,点击触摸交互屏2相应位置选定所需要了解的观赏鱼,触摸交互屏2接收到选定操作后生成所选定观赏鱼对应的位置信息,并将该位置信息发送给交互数据处理部件4;同时由图像采集部件3实时采集当前水族箱1内的整体图像,并将该整体图像发送给交互数据处理部件4;交互数据处理部件4接收到位置信息及整体图像后进行图像识别,识别出对应位置信息处的目标观赏鱼,再将与目标观赏鱼对应的交互信息通过触摸交互屏2显示出来。
本实施例将水族箱1中的真实景象投射到触摸交互屏2上,结合触摸交互屏2、图像采集部件3以及交互数据处理部件4实现水族箱1内景象的模拟,观赏者通过触摸交互屏2与模拟的虚拟景象进行互动,提供真实的互动情景,从而实现“现实-虚拟-现实”的全新交互模式。通过将水族箱内的真实景象与模拟的虚拟景象结合起来,能够提供多元化、多视角的更为丰富的全方位交互体验方式,实现与现实中无法进行交互的观赏鱼之间的虚拟交互,观赏者在娱乐的同时还可以根据需求了解观赏鱼的种类、习性等信息,大大提高了水族箱1的展示效果,同时具有趣味性,使得单调的水族箱1具有奇幻多采的展示内容。
本实施例中,交互数据处理部件4还包括语音交互单元43,语音交互单元43与图像识别单元41连接;语音交互单元43接收语音交互请求并进行语音识别,将与识别出的交互请求类型、图像识别单元41输出的目标观赏鱼对应的交互信息输出。语音交互请求可根据需求进行设置,例如询问观赏鱼产地、年龄的请求等,进行语音识别后将对应的观赏鱼产地、年龄显示在触摸交互屏2上或通过语音合成输出。通过语音交互,观赏者不需要手动操作就可实现与目标观赏鱼的互动,了解更多观赏鱼的信息。
本实施例中,交互数据处理部件4还包括目标跟踪单元44,目标跟踪单元44与图像识别单元41连接,对图像识别单元41识别出的目标观赏鱼进行目标跟踪。通过对目标观赏鱼的跟踪,使观赏者能够直观的了解到目标观赏鱼的实时状态,能够进一步提高水族箱的展示效果以及互动性能。本实施例中目标跟踪单元44具体采用基于TLD算法的目标跟踪器。
本实施例中,还包括LED灯板,LED灯板的灯光照射端朝向触摸交互屏2。通过LED灯板给触摸交互屏2的透明显示屏进行补光,使得可应用在环境较暗的室内环境中。
如图3、4所示,本发明的一种具体实施例包括透明显示屏、红外线触摸框、摄像头、麦克风、音响、LED光板以及后台的中央处理器(CPU),由透明显示屏、红外线触摸框构成交互界面,通过交互界面接收并响应点击事件、显示交互信息,摄像头用于采集水族箱1内的整体图像、麦克风用于采集语音交互请求,中央处理器(CPU)进行交互数据处理,输出的交互信息通过透明显示屏显示或经过语音合成后由音响播放,LED光板为水族箱1进行补光。中央处理器具体包括图像识别部分、语音交互部分以及目标跟踪部分,图像识别部分包括离线训练以及在线识别,目标跟踪部分包括跟踪、学习以及检测,语音交互部分包括语音识别以及语音合成,具体实现时可通过将图像识别部分、目标跟踪部分打包为动态链接库DLL并通过 CLR的方式提供与语音交互部分、交互界面之间的调用接口。
如图5所示,当交互界面接收到点击事件时,红外线触摸框生成位置信息,由摄像头捕捉水族箱1内的整体图像,中央处理器截取位置信息并接收摄像头捕捉的图像,进行图像识别后得到识别结果,并对目标观赏鱼进行目标跟踪,返回跟踪坐标,如果识别结果大于0,则继续读取跟踪坐标进行持续跟踪。
如图6所示,当识别出目标观赏鱼后同时通过交互式界面采集到语音交互请求,通过识别语音交互请求类型返回对应的交互信息,语音交互请求包括年龄、名字等。
本实施例中水族箱也可以为普通鱼缸等其他器皿,其原理与上述一致,不再进行赘述。
上述只是本发明的较佳实施例,并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明。任何熟悉本领域的技术人员,在不脱离本发明技术方案范围的情况下,都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均应落在本发明技术方案保护的范围内。

Claims (8)

1.一种智能交互式水族箱展示系统,其特征在于包括:水族箱(1)、触摸交互屏(2)、图像采集部件(3)以及交互数据处理部件(4),所述触摸交互屏(2)固定在水族箱(1)的外表面上,所述触摸交互屏(2)、图像采集部件(3)均与所述交互数据处理部件(4)相连;所述触摸交互屏(2)用于接收对水族箱(1)内观赏鱼的选定操作并生成位置信息,通过所述图像采集部件(3)实时采集当前水族箱(1)内的整体图像,所述交互数据处理部件(4)接收所述位置信息以及所述整体图像识别所选定的目标观赏鱼,并将与目标观赏鱼对应的预设交互信息显示在触摸交互屏(2)上。
2.根据权利要求1所述的智能交互式水族箱展示系统,其特征在于:所述交互数据处理部件(4)包括图像识别单元(41)和交互信息输出单元(42),所述图像识别单元(41)接收所述位置信息以及所述整体图像进行图像识别,输出识别出的目标观赏鱼,通过所述交互信息输出单元(42)查找出与目标观赏鱼对应的预设交互信息并输出至触摸交互屏(2)进行显示。
3.根据权利要求2所述的智能交互式水族箱展示系统,其特征在于:所述交互数据处理部件(4)还包括语音交互单元(43),所述语音交互单元(43)与所述图像识别单元(41)连接;所述语音交互单元(43)接收语音交互请求并进行语音识别,将与识别出的交互请求类型、图像识别单元(41)输出的目标观赏鱼对应的交互信息输出。
4.根据权利要求3所述的智能交互式水族箱展示系统,其特征在于:所述交互数据处理部件(4)还包括目标跟踪单元(44),所述目标跟踪单元(44)与所述图像识别单元(41)连接,对图像识别单元(41)识别出的目标观赏鱼进行目标跟踪。
5.根据权利要求4所述的智能交互式水族箱展示系统,其特征在于:所述目标跟踪单元(44)为基于TLD算法的目标跟踪器。
6.根据权利要求5所述的智能交互式水族箱展示系统,其特征在于:所述图像识别单元(41)采用基于贝叶斯分类器的图像识别部件。
7.根据权利要求1~6中任意一项所述的智能交互式水族箱展示系统,其特征在于:所述触摸交互屏(2)包括透明显示屏与红外线触摸屏。
8.根据权利要求7所述的智能交互式水族箱展示系统,其特征在于:还包括LED灯板,所述LED灯板的灯光照射端朝向所述触摸交互屏(2)。
CN201410684453.0A 2014-11-25 2014-11-25 智能交互式水族箱展示系统 Expired - Fee Related CN104375778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410684453.0A CN104375778B (zh) 2014-11-25 2014-11-25 智能交互式水族箱展示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410684453.0A CN104375778B (zh) 2014-11-25 2014-11-25 智能交互式水族箱展示系统

Publications (2)

Publication Number Publication Date
CN104375778A CN104375778A (zh) 2015-02-25
CN104375778B true CN104375778B (zh) 2017-11-07

Family

ID=52554736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410684453.0A Expired - Fee Related CN104375778B (zh) 2014-11-25 2014-11-25 智能交互式水族箱展示系统

Country Status (1)

Country Link
CN (1) CN104375778B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105325348A (zh) * 2015-09-24 2016-02-17 上海应用技术学院 基于语音控制的智能鱼缸实现方法
CN105248349A (zh) * 2015-11-12 2016-01-20 上海理工大学 智能水族箱
CN105390032B (zh) * 2015-11-24 2018-12-18 国术科技(北京)有限公司 一种标本识别展教系统及方法
CN105335023B (zh) * 2015-11-24 2019-02-12 国术科技(北京)有限公司 一种矿物断口展示系统及方法
TWI647637B (zh) 2017-04-12 2019-01-11 緯創資通股份有限公司 基於動態影像的物品供應、訂貨以及交易方法
CN107329633A (zh) * 2017-06-27 2017-11-07 湖北久之洋信息科技有限公司 一种虚拟鱼缸及其实现方法
CN110351324A (zh) * 2018-04-08 2019-10-18 南京水晶视界文化科技有限公司 一种基于物联网系统和增强现实技术的新型鱼缸
CN109017120A (zh) * 2018-08-01 2018-12-18 中国水利水电科学研究院 一种动态的河流景观交互系统
TWI676974B (zh) * 2018-11-05 2019-11-11 友達光電股份有限公司 水中生物展示系統與水中生物展示方法
CN110809018B (zh) * 2019-09-11 2021-05-18 中国地质大学(北京) 一种植物电子牌标识系统及其方法
CN111727924B (zh) * 2020-07-14 2022-03-18 山东大学 一种立体显示环境下混合现实鱼缸系统及生成方法
CN114342865B (zh) * 2022-03-14 2023-01-10 北京猫猫狗狗科技有限公司 一种具有互动功能的鱼缸

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402390A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和使用透明显示设备提供信息的方法
CN102841187A (zh) * 2012-09-11 2012-12-26 深圳市开天源自动化工程有限公司 基于鱼类多样本统计的水质污染预警系统及预警方法
CN103176733A (zh) * 2011-12-20 2013-06-26 西安天动数字科技有限公司 电子互动鱼缸系统
CN103766259A (zh) * 2014-01-26 2014-05-07 四川大学 鱼类显微观察装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216961A (ja) * 2002-01-23 2003-07-31 Sega Corp 演出画像表示システム
CN202907635U (zh) * 2012-10-12 2013-05-01 苏州奇纬新材料科技有限公司 智能视膜式电子水族箱

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402390A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和使用透明显示设备提供信息的方法
CN103176733A (zh) * 2011-12-20 2013-06-26 西安天动数字科技有限公司 电子互动鱼缸系统
CN102841187A (zh) * 2012-09-11 2012-12-26 深圳市开天源自动化工程有限公司 基于鱼类多样本统计的水质污染预警系统及预警方法
CN103766259A (zh) * 2014-01-26 2014-05-07 四川大学 鱼类显微观察装置

Also Published As

Publication number Publication date
CN104375778A (zh) 2015-02-25

Similar Documents

Publication Publication Date Title
CN104375778B (zh) 智能交互式水族箱展示系统
JP7366196B2 (ja) 広範囲同時遠隔ディジタル提示世界
CN106484115B (zh) 用于增强和虚拟现实的系统和方法
CN105027190B (zh) 用于虚拟或增强介导视觉的射出空间成像数字眼镜
US20230041730A1 (en) Sound effect adjustment
JP2020509492A (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
CN110942518A (zh) 上下文计算机生成现实(cgr)数字助理
US20130229433A1 (en) Coherent presentation of multiple reality and interaction models
CN106662926A (zh) 普适计算环境中的姿势交互的系统和方法
CN102681293A (zh) 具有折射光学元件的照明器
JP6958570B2 (ja) 表示制御装置、表示制御方法およびプログラム
CN107066081B (zh) 一种虚拟现实系统的交互控制方法和装置及虚拟现实设备
CN103985137A (zh) 应用于人机交互的运动物体跟踪方法及系统
JP2015176578A (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
CN103977539A (zh) 颈椎康复保健辅助训练系统
Mi et al. Comparison of tracking techniques on 360-degree videos
US20230368688A1 (en) Method and system for implementing ai-powered augmented reality learning devices
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
CN104777908A (zh) 一种用于多人同步定位的装置和方法
CN203630822U (zh) 虚拟影像与真实场景相结合的舞台交互集成系统
CN114930273A (zh) 包括角度敏感检测器的头戴式显示系统的位置跟踪系统
CN209895305U (zh) 手势交互系统
CN104217619A (zh) 一种多人舞蹈教学互动投影装置
KR20120074977A (ko) 음성인식 및 명령을 수행하는 증강현실용 교육자재 및 그 사용방법
CN104933278A (zh) 一种用于言语障碍康复训练的多通道交互方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171107

Termination date: 20181125

CF01 Termination of patent right due to non-payment of annual fee