KR101291602B1 - Mixed Object, Tangible Science Experiment System and Providing Method Thereof - Google Patents

Mixed Object, Tangible Science Experiment System and Providing Method Thereof Download PDF

Info

Publication number
KR101291602B1
KR101291602B1 KR1020110106393A KR20110106393A KR101291602B1 KR 101291602 B1 KR101291602 B1 KR 101291602B1 KR 1020110106393 A KR1020110106393 A KR 1020110106393A KR 20110106393 A KR20110106393 A KR 20110106393A KR 101291602 B1 KR101291602 B1 KR 101291602B1
Authority
KR
South Korea
Prior art keywords
experiment
module
digital
information
experimental
Prior art date
Application number
KR1020110106393A
Other languages
Korean (ko)
Other versions
KR20130042219A (en
Inventor
김건희
송교현
하성도
박지형
한인규
김형년
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020110106393A priority Critical patent/KR101291602B1/en
Publication of KR20130042219A publication Critical patent/KR20130042219A/en
Application granted granted Critical
Publication of KR101291602B1 publication Critical patent/KR101291602B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Abstract

본 발명은 혼합 객체로 형성되는 실험 기구와, 실험 기구에 대응하는 가상 객체를 활용하여 가상 공간에서 진행되는 과학실험을 실제 실험과 유사한 방법으로 수행할 수 있도록 하는 혼합 객체, 실감 과학실험 시스템 및 그 제공 방법에 관한 것이다. 이를 위해 본 발명의 일실시예에 따른 실감 과학실험 시스템은 물리 객체로 형성되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 실험기구와, 사용자의 실험 조작 상황에 대응되는 정보를 표시하는 디지털 실험대와, 실험기구로부터 인터랙션 정보를 수신하여 사용자의 실험 조작 상황을 판단하고, 판단된 실험 조작 상황을 기초로 실험 기구에 대응하는 가상 객체를 디지털 실험대에 표시하는 제어부를 포함한다.The present invention provides an experimental apparatus formed of a mixed object, and a mixed object, a realistic scientific experiment system, and a mixed object for performing a scientific experiment conducted in a virtual space using a virtual object corresponding to the experimental apparatus in a manner similar to the actual experiment. It is about a provision method. To this end, the sensory science experiment system according to an embodiment of the present invention is an experimental apparatus that is formed of a physical object to generate interaction information according to a user's manipulation, a digital lab table displaying information corresponding to a user's experimental manipulation situation, And a control unit configured to receive the interaction information from the experiment apparatus to determine a user's experiment manipulation situation, and to display a virtual object corresponding to the experiment apparatus on the digital experiment table based on the determined experiment manipulation situation.

Description

혼합 객체, 실감 과학실험 시스템 및 그 제공 방법{Mixed Object, Tangible Science Experiment System and Providing Method Thereof}Mixed Object, Tangible Science Experiment System and Providing Method Thereof}

본 발명은 가상의 과학실험 시스템 및 그 제공 방법에 관한 것으로, 특히 만질 수 있는 물리 객체를 활용하여 가상 공간에서 진행되는 과학실험을 실제 실험과 유사한 방법으로 수행할 수 있도록 하는 혼합 객체, 실감 과학실험 시스템 및 그 제공 방법에 관한 것이다.The present invention relates to a virtual science experiment system and a method for providing the same, and in particular, a mixed object, a realistic science experiment, which enables a scientific experiment performed in a virtual space to be performed in a similar manner to a real experiment by using a touchable physical object. A system and a method of providing the same.

사람-컴퓨터 인터랙션(Human-Computer Interaction, HCI)은 사용자와 컴퓨터 간의 의사소통을 제공하는 방법으로, 사용자가 새로운 인터페이스를 통해 가상 공간의 컨텐츠와 인터랙션을 손쉽고 직관적으로 수행할 수 있도록 해준다.Human-Computer Interaction (HCI) is a way to provide communication between a user and a computer, allowing users to easily and intuitively perform content and interaction in virtual space through a new interface.

일반적으로, 사람-컴퓨터 인터랙션은 현실 공간에 존재하며 컨트롤러 역할을 하는 키보드 또는 마우스 등으로부터의 컨트롤에 의해 가상 공간, 즉 화면 상에 존재하는 객체가 반응하여 변화를 표현할 수 있도록 해주는 사용자 인터페이스를 제공하고 있다.In general, a human-computer interaction exists in the real space and provides a user interface that allows the object on the virtual space, that is, the screen, to respond to changes by a control from a keyboard or a mouse that acts as a controller. have.

그러나, 이러한 사용자 인터페이스는 키보드 또는 마우스 등과 같은 컨트롤러를 사용함에 있어 사용자가 컨트롤러의 조작 방법 등을 별도로 숙지하여 익숙해져야 하며, 특정한 모양 및 조작 형태로 제작된 하나의 컨트롤러가 여러 기능을 수행해야 하기 때문에, 사용자가 각 기능에 연관된 실제 물체를 만지거나 조작하는 느낌을 경험할 수 없는 문제점이 있다.However, such a user interface requires a user to be familiar with a controller's operation method and the like in using a controller such as a keyboard or a mouse, and a single controller manufactured in a specific shape and operation form must perform various functions. However, there is a problem that the user cannot experience the feeling of touching or manipulating the real object associated with each function.

최근에는 이러한 문제점을 해결하기 위해 사용자에게 실제 물체를 조작하는 경험을 느낄 수 있도록 하기 위해 실감형 사용자 인터페이스(Tangible User Interface, TUI)에 대한 연구가 활발히 이루어지고 있다.Recently, researches on a tangible user interface (TUI) have been actively conducted in order to solve a problem such that a user can feel an experience of operating a real object.

실감형 사용자 인터페이스는 키보드, 마우스 또는 펜 모양 마우스 등의 원격 컨트롤러를 사용하지 않고 실제 조작해야 할 가상 공간, 즉 화면 상에 존재하는 대상의 위치에서 특정한 물리적 객체를 활용하는 인터페이스를 말한다. 예를 들어, 붓 형태의 디바이스를 사용하여 화면 상에 직접 그림을 그리는 인터페이스가 대표적이라 할 수 있다.An immersive user interface refers to an interface that utilizes a specific physical object in a virtual space to be manipulated, i.e., a location on a screen, without using a remote controller such as a keyboard, a mouse, or a pen-shaped mouse. For example, the interface for drawing directly on the screen using a brush-type device is representative.

위험하고 번거로운 실제 과학실험을 대신하기 위해, 컴퓨터를 활용하여 가상의 실험을 수행하고 결과를 살펴볼 수 있는 과학실험 시뮬레이션 소프트웨어들이 개발되어 왔다. 하지만, 이러한 소프트웨어들은 모든 실험기구들이 가상의 컨텐츠로 존재하기 때문에 실제 실험과 같은 물리적 경험을 제공할 수 없다. 따라서, 사용자들은 실제 실험을 수행하고 있다는 느낌을 받는데 한계가 있으며, 실제 실험을 통해 얻을 수 있는 실험 경험을 학습하는데 제한이 많다.To replace dangerous and cumbersome real science experiments, scientific experiment simulation software has been developed to perform virtual experiments using a computer and view the results. However, these softwares cannot provide the physical experience like real experiments because all the experimental instruments exist as virtual contents. Therefore, users have a limit in getting a feeling that they are performing an actual experiment, and there are many limitations in learning an experimental experience that can be obtained through an actual experiment.

한국공개특허 제10-2007-0041790호 “실험장치와 연동시키는 가상실험 인터페이스” 역시 실험계측 장치로부터 얻어지는 데이터를 기초로 데이터 출력부를 통하여 이미지 등으로 출력시키는 시뮬레이션 방법을 개시하고 있으나, 역시 기존의 가상 이미지를 이용함으로써 실감이 떨어진다.Korean Patent Laid-Open Publication No. 10-2007-0041790 "Virtual Experiment Interface for Interfacing with Experimental Device" also discloses a simulation method for outputting an image through a data output unit based on data obtained from an experimental measurement device. By using an image, the sense of reality is reduced.

한국공개특허 제10-2007-0041790호Korean Patent Publication No. 10-2007-0041790

본 발명은 전술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 손으로 직접 잡고 조작할 수 있는 실감 과학기구를 사용하여 가상의 과학실험을 실제 과학실험과 유사한 방법으로 수행하여 실제 비슷한 경험을 제공하는 실감 과학실험 시스템 및 그 제공 방법을 제시하는데 그 목적이 있다.The present invention has been made to solve the problems described above, using a realistic scientific apparatus that can be held and manipulated by hand to perform a virtual scientific experiment in a similar manner to the actual scientific experiments to provide a practical experience The purpose of this study is to present a realistic scientific experiment system and its provision method.

이를 위해 본 발명의 일실시예에 따른 실감 과학실험 시스템은 물리 객체로 형성되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 실험기구와, 사용자의 실험 조작 상황에 대응하는 정보를 표시하는 디지털 실험대와, 실험기구로부터 인터랙션 정보를 수신하여 사용자의 실험 조작 상황을 판단하고, 상기 판단된 실험 조작 상황을 기초로 상기 실험 기구에 대응하는 가상 객체를 생성하고, 상기 생성된 가상 객체를 상기 디지털 실험대에 표시하는 제어부를 포함한다.To this end, the sensory science experiment system according to an embodiment of the present invention is an experimental apparatus that is formed of a physical object to generate interaction information according to a user's manipulation, a digital lab table displaying information corresponding to a user's experimental manipulation situation, Receiving the interaction information from the experiment apparatus to determine the user's experimental operation situation, to generate a virtual object corresponding to the experimental apparatus based on the determined experimental operation situation, and to display the generated virtual object on the digital lab table It includes a control unit.

이때, 상기 제어부는 상기 판단된 실험 조작 상황을 기초로 실험 결과 또는 실험 관련 정보를 포함하는 이벤트 정보를 상기 디지털 실험대에 더 표시할 수 있다.In this case, the controller may further display event information including an experiment result or experiment related information on the digital experiment bench based on the determined experimental manipulation situation.

또한, 실감 과학실험 시스템은 사용자의 상기 실험 기구의 조작 및 상기 디지털 실험대를 촬영하여 영상 정보를 생성하는 촬영부를 더 포함하고, 상기 제어부는 상기 촬영부에서 생성된 상기 영상 정보를 이용하여 실험 조작 상황을 판단할 수 있다.The sensory science experiment system may further include a photographing unit configured to generate image information by photographing the digital lab table and the user's manipulation of the experiment apparatus, and the controller controls the experiment operation using the image information generated by the photographing unit. Can be judged.

이때, 상기 실험 기구, 상기 디지털 실험대, 상기 제어부, 상기 촬영부는 각각 유선 또는 무선 통신을 수행하는 통신 모듈을 구비하며, 상기 구비된 통신 모듈을 통해 상호간에 정보를 송수신할 수 있다.In this case, the experiment apparatus, the digital experiment table, the control unit, the photographing unit is provided with a communication module for performing wired or wireless communication, respectively, and can transmit and receive information between each other via the provided communication module.

또한, 상기 제어부는 상기 통신 모듈을 통하여 상기 실험 기구의 ID 정보를 수신함으로써 상기 실험 기구를 인식할 수 있다.The controller may recognize the test apparatus by receiving ID information of the test apparatus through the communication module.

상기 실험 기구는 가속도, 기울기, 압력, 온도 중 어느 하나 이상을 센싱할 수 있는 센서 모듈과, 출력 모듈을 더 포함하고, 상기 제어부는 상기 인터랙션 정보에 대응하는 디지털 피드백을 상기 출력 모듈을 통하여 출력시킬 수 있다.The experimental apparatus further includes a sensor module capable of sensing any one or more of acceleration, tilt, pressure, and temperature, and an output module, wherein the controller is configured to output digital feedback corresponding to the interaction information through the output module. Can be.

또한, 상기 디지털 실험대는 터치스크린 장치를 포함하여 형성되며, 상기 제어부는 상기 실험 기구와 상기 터치스크린 장치와의 접촉 위치를 감지하고, 상기 접촉 위치에 상기 가상 객체를 표시할 수 있다.In addition, the digital experiment table is formed including a touch screen device, the control unit may detect a contact position between the experiment apparatus and the touch screen device, and display the virtual object on the contact position.

또한, 실감 과학실험 시스템은 상기 디지털 실험대에 가상 객체가 표시되도록 영상을 투영하는 프로젝션 장치를 더 포함할 수 있다.The sensory science experiment system may further include a projection device for projecting an image such that a virtual object is displayed on the digital experiment bench.

또한, 상기 디지털 실험대는 사운드 출력부를 더 포함하고, 상기 제어부는 상기 판단된 실험 조작 상황을 기초로 상기 사운드 출력부를 통하여 안내 음성을 제공할 수 있다.The digital lab table may further include a sound output unit, and the controller may provide a guide voice through the sound output unit based on the determined experimental operation situation.

또한, 상기 실험 기구와 상기 가상 객체는 하나의 물체를 구성할 수 있다.In addition, the experiment apparatus and the virtual object may constitute one object.

본 발명의 다른 일실시예에 따른 실감 과학실험 시스템은 물리 객체와, 상기 물리 객체에 설치되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 센서 모듈과, 상기 물리 객체에 설치되는 출력 모듈을 포함하는 실험 기구와, 상기 실험 기구로부터 상기 인터랙션 정보를 수신하여, 상기 인터랙션 정보에 대응하는 디지털 피드백을 상기 출력 모듈을 통하여 출력시키는 제어부를 포함할 수 있다.Experimental scientific experiment system according to another embodiment of the present invention is an experiment comprising a physical object, a sensor module installed in the physical object to generate interaction information according to the user's operation, and an output module installed in the physical object And a controller configured to receive the interaction information from the experimental instrument and output digital feedback corresponding to the interaction information through the output module.

이때, 실감 과학실험 시스템은 사용자의 실험 조작 상황에 대응하는 정보를 표시하는 디지털 실험대를 더 포함하고, 상기 제어부는 상기 판단된 실험 조작 상황을 기초로 상기 실험 기구에 대응하는 가상 객체를 생성하고, 상기 생성된 가상 객체를 상기 디지털 실험대에 표시할 수 있다.In this case, the sensory science experiment system may further include a digital lab table displaying information corresponding to a user's experimental manipulation situation, and the controller generates a virtual object corresponding to the experimental apparatus based on the determined experimental manipulation situation. The generated virtual object may be displayed on the digital experiment bench.

또한, 상기 제어부는 상기 판단된 실험 조작 상황을 기초로 실험 결과 또는 실험 관련 정보를 포함하는 이벤트 정보를 상기 디지털 실험대에 더 표시할 수 있다.The controller may further display event information including an experiment result or experiment related information on the digital experiment bench based on the determined experimental manipulation situation.

또한, 본 발명의 일실시예에 따른 혼합 객체는 물리객체와, 상기 물리 객체에 설치되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 센서 모듈과, 상기 물리 객체에 설치되는 출력 모듈과, 상기 센서 모듈에서 생성된 상기 인터랙션 정보를 수신하여, 상기 인터랙션 정보에 대응하는 디지털 피드백을 상기 출력 모듈을 통하여 출력시키는 마이크로 컨트롤러 유닛을 포함할 수 있다.In addition, the mixed object according to an embodiment of the present invention is a physical object, a sensor module installed in the physical object to generate interaction information according to the user's operation, an output module installed in the physical object, the sensor module And a microcontroller unit configured to receive the interaction information generated by the controller and output digital feedback corresponding to the interaction information through the output module.

이때, 상기 센서 모듈은 통신 모듈, 가속도 센서 모듈, 기울기 센서 모듈, 압력 센서 모듈, 온도 센서 모듈 중 하나일 수 있다.In this case, the sensor module may be one of a communication module, an acceleration sensor module, a tilt sensor module, a pressure sensor module, and a temperature sensor module.

또한, 상기 출력 모듈은 디스플레이 모듈, 사운드 출력 모듈, 발광 모듈, 액츄에이터 모듈 중 하나 일 수 있다. In addition, the output module may be one of a display module, a sound output module, a light emitting module, and an actuator module.

또한, 본 발명의 일실시예에 따른 실감 과학실험 제공 방법은 사용자의 실험기구 조작에 따른 인터랙션 정보를 실험 기구로부터 수신하는 단계와, 상기 인터랙션 정보로부터 사용자의 실험 조작 상황을 판단하는 단계와, 상기 판단된 실험 조작 상황을 기초로 상기 실험 기구에 대응하는 가상 객체를 생성하는 단계와, 상기 가상 객체를 디지털 실험대에 표시하는 단계를 포함한다.In addition, the method for providing a realistic scientific experiment according to an embodiment of the present invention comprises the steps of receiving the interaction information according to the user's operation of the experimental instrument from the experiment apparatus, determining the user's experiment operation situation from the interaction information, Generating a virtual object corresponding to the experimental apparatus based on the determined experimental manipulation situation, and displaying the virtual object on a digital bench.

또한, 실감 과학실험 제공 방법은, 상기 판단된 실험 조작 상황을 기초로 실험 결과 또는 실험 관련 정보를 포함하는 이벤트 정보를 상기 디지털 실험대에 표시하는 단계와, 상기 인터랙션 정보에 대응하는 디지털 피드백을 상기 실험 기구의 출력 모듈을 통하여 출력시키는 단계를 더 포함할 수 있다.The sensory science experiment providing method may further include displaying event information including an experiment result or experiment related information on the digital experiment table based on the determined experimental manipulation situation, and performing digital experiment corresponding to the interaction information. Outputting through an output module of the instrument.

이때, 상기 인터랙션 정보를 상기 실험기구에 부착된 센서 모듈로부터 센싱되는 가속도, 기울기, 압력, 온도 중 하나 이상의 정보일 수 있다.In this case, the interaction information may be at least one of acceleration, tilt, pressure, and temperature sensed by the sensor module attached to the test apparatus.

또한, 실감 과학실험 제공 방법은 사용자의 상기 실험 기구의 조작 및 상기 디지털 실험대를 촬영하여 영상 정보를 생성하는 단계와, 상기 영상 정보를 이용하여 실험 조작 상황을 판단하는 단계와, 상기 실험 기구의 ID 정보를 수신함으로써 상기 실험 기구를 인식하는 단계를 더 포함할 수 있다.In addition, the method for providing a realistic scientific experiment includes the steps of generating the image information by the user's operation of the experimental instrument and the digital lab table, the step of determining the experimental operation situation using the image information, and the ID of the experimental instrument Recognizing the experimental apparatus may be further included by receiving information.

이때, 상기 가상 객체를 생성하는 단계는, 상기 실험 기구와 상기 디지털 실험대에 형성되는 터치스크린 장치와의 접속 위치에 상기 가상 객체를 표시하는 단계를 포함할 수 있다.In this case, the generating of the virtual object may include displaying the virtual object at a connection position between the test apparatus and the touch screen device formed in the digital lab table.

또한, 실감 과학실험 제공 방법은, 상기 판단된 실험 조작 상황을 기초로 사운드 출력부를 통하여 안내 음성을 제공하는 단계를 더 포함할 수 있으며, 상기 실험 기구와 상기 가상 객체를 하나의 물체를 구성할 수 있다.In addition, the method for providing a realistic scientific experiment may further include providing a guide voice through a sound output unit based on the determined experimental manipulation situation, wherein the experimental apparatus and the virtual object may constitute one object. have.

본 발명에 따른 실감 과학실험 시스템 및 그 제공 방법에 의하면, 실제 실험과 유사한 과학실험 경험을 제공하면서도 눈에 보이지 않는 실험 과정을 디지털로 가시화함으로써 실험자가 물리적, 이론적 경험을 모두 배울 수 있는 효과가 있다. 특히, 위험하거나 비용이 많이 발생하는 실험, 그리고 실험 준비가 복잡한 실험의 경우, 실감 과학실험 시스템 도입을 통하여 보다 안전하고, 가격이 저렴하며, 간단한 준비를 통해 다양한 실험을 경험할 수 있는 장점이 있다.According to the sensory science experiment system and the method of providing the same, the experimenter can learn both physical and theoretical experiences by providing a visual experiment process similar to the actual experiment and visualizing the invisible experiment process digitally. . In particular, in the case of dangerous or expensive experiments, and complex experiment preparations, there is an advantage that a variety of experiments can be experienced through safer, cheaper, and simpler preparation through the introduction of a realistic scientific experiment system.

도 1은 본 발명의 일실시예에 따른 혼합 객체의 개략 구성도이다.
도 2는 본 발명의 일실시예에 따른 혼합 객체의 예로서 비커를 도시한 도면이다.
도 3는 도 2의 비커를 기울인 경우 출력되는 디지털 피드백을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 혼합 객체의 동작을 설명하는 순서도이다.
도 5은 본 발명의 일실시예에 따른 실감 과학실험 시스템의 개략 구성도이다.
도 6는 본 발명의 일실시예에 따른 실감 과학실험 시스템의 상세 구성도이다.
도 7은 본 발명의 일실시예에 따른 실감 과학실험 제공 방법을 설명하는 순서도이다.
도 8는 본 발명의 일실시예에 따른 실감 과학실험 시스템을 이용한 과학실험의 예를 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 실감 과학실험 시스템에 사용되는 스포이트를 나타내는 도면이다.
도 10는 도 5의 스포이트를 이용하여 과학실험을 하는 경우 디지털 실험대에 생성되는 가상 객체를 나타내는 도면이다.
도 11은 비커를 이용하여 과학실험은 하는 경우 가상 객체 및 이벤트 정보가 표시된 디지털 실험대를 나타내는 도면이다.
도 12은 본 발명의 일실시예에 따른 실감 과학실험 시스템을 이용하여 과학실험을 수행한 경우 디지털 실험대에 최종 결과가 도시된 상태를 나타내는 도면이다.1 is a schematic structural diagram of a mixed object according to an embodiment of the present invention.
2 illustrates a beaker as an example of a mixed object according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating digital feedback output when the beaker of FIG. 2 is tilted. FIG.
4 is a flowchart illustrating an operation of a mixed object according to an embodiment of the present invention.
5 is a schematic diagram of a sensory science experiment system according to an embodiment of the present invention.
6 is a detailed block diagram of a sensory science experiment system according to an embodiment of the present invention.
7 is a flowchart illustrating a sensory science experiment providing method according to an embodiment of the present invention.
8 is a diagram illustrating an example of a scientific experiment using a realistic scientific experiment system according to an embodiment of the present invention.
9 is a view showing the dropper used in the sensory science experiment system according to an embodiment of the present invention.
FIG. 10 is a diagram illustrating a virtual object generated in a digital lab table when performing a scientific experiment using the dropper of FIG. 5.
FIG. 11 is a diagram illustrating a digital experiment bench in which virtual objects and event information are displayed when performing a scientific experiment using a beaker.
12 is a diagram illustrating a state in which a final result is shown on a digital bench when a scientific experiment is performed using a realistic scientific experiment system according to an embodiment of the present invention.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 실감 과학실험 시스템 및 그 제공 방법의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 아래의 내용에 의해 한정되지 아니한다.
Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. However, the accompanying drawings and the following description are only possible embodiments of the sensory science experiment system and the method of providing the same according to the present invention, and the technical idea of the present invention is not limited to the following.

도 1은 본 발명의 일실시예에 따른 혼합 객체의 개략 구성도이다.1 is a schematic structural diagram of a mixed object according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 혼합 객체(1)는 물리 객체(2)와, 센서 모듈(3)과, 출력 모듈(4)과, 통신 모듈(5)과, 마이크로 컨트롤러 유닛(6)을 포함하여 구성된다.Referring to FIG. 1, a mixed object 1 according to an embodiment of the present invention may include a physical object 2, a sensor module 3, an output module 4, a communication module 5, and a microcontroller. It comprises a unit 6.

물리 객체(2)는 특정 물체의 전체 또는 일부를 구성하도록 형성된다. 예를 들어, 물리 객체(2)는 과학실험 기구의 한 종류가 될 수 있으며, 스포이트를 예로 드는 경우 고무 손잡이 부분만 물리 객체(2)로 형성될 수 있으며, 나머지 부분은 후술할 가상 객체로 표현될 수 있다.The physical object 2 is formed to constitute all or part of a specific object. For example, the physics object 2 may be a kind of scientific experiment apparatus. In the case of the dropper, only the rubber handle portion may be formed of the physics object 2, and the rest of the physics object 2 is represented by a virtual object to be described later. Can be.

센서 모듈(3)은 물리 객체(2)에 설치되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 역할을 한다. 여기서 ‘인터랙션 정보(Interaction Information)’라 함은 사용자가 물리 객체(2)를 조작하는 경우 사용자의 물리 객체(2) 조작과 관련되는 일련의 정보를 의미한다. 자세한 내용은 후술하기로 한다.The sensor module 3 is installed in the physical object 2 and serves to generate interaction information according to a user's manipulation. Here, the term "interaction information" refers to a series of information related to the manipulation of the user's physical object 2 when the user manipulates the physical object 2. Details will be described later.

이때, 센서 모듈(3)는 통신 모듈(블루투스 모듈, RFID 센서 모듈, GPS 센서 모듈 등)과, 가속도 센서 모듈, 기울기 센서 모듈, 압력 센서 모듈, 온도 센서 모듈 등이 될 수 있다. 이러한 센서 모듈(3)로부터 센싱되는 정보는 후술할 마이크로 컨트롤러 유닛(MCU: 6)로 전달되어 물리 객체(2)의 조작 상황을 판단하는데 이용된다.In this case, the sensor module 3 may be a communication module (Bluetooth module, RFID sensor module, GPS sensor module, etc.), an acceleration sensor module, a tilt sensor module, a pressure sensor module, a temperature sensor module, and the like. The information sensed by the sensor module 3 is transferred to the microcontroller unit (MCU) 6 to be described later, and used to determine the operation status of the physical object 2.

출력 모듈(4)은 물리 객체(2)에 설치되어 물리 객체(2)의 조작 상황에 맞는 디지털 피드백을 출력하는 역할을 한다. 여기서 ‘디지털 피드백(Digital Feedback)을 출력한다’라 함은 물리 객체(2)의 조작 상황에 맞는 화면 정보, 소리 정보, 진동 등의 정보를 사용자에게 제공하는 것을 의미한다.The output module 4 is installed in the physical object 2 and serves to output digital feedback suitable for the operation situation of the physical object 2. Herein, the term “outputting digital feedback” means providing the user with information such as screen information, sound information, vibration, and the like in accordance with an operation situation of the physical object 2.

출력 모듈(4)은 디스플레이 모듈, 사운드 출력 모듈, 발광 모듈, 액츄에이터 모듈 등이 될 수 있다. 디스플레이 모듈은 LCD 패널과 같은 것으로 구성되어 각종 정보를 영상으로 사용자에게 제공할 수 있다. 사운드 출력 모듈은 상황에 맞는 특정 소리 정보를 사용자에게 제공할 수 있으며, 발광 모듈은 상황에 맞는 색깔의 빛을 사용자에게 제공할 수 있다. 액츄에이터 모듈은 진동 등의 움직임 정보를 사용자게 제공할 수 있다.The output module 4 may be a display module, a sound output module, a light emitting module, an actuator module, or the like. The display module may be configured such as an LCD panel to provide various types of information to the user as an image. The sound output module may provide the user with specific sound information suitable for the situation, and the light emitting module may provide the user with light of a color suitable for the situation. The actuator module may provide movement information such as vibration to the user.

마이크로 컨트롤러 유닛(MCU: 6)은 센서 모듈(3)에서 생성된 인터랙션 정보를 수신하여, 인터랙션 정보에 대응하는 디지털 피드백을 출력 모듈(4)를 통하여 출력시키는 역할을 한다. 즉, MCU(6)는 수신된 인터랙션 정보를 이용하여 현재 물리 객체(2)의 조작 상황에 맞는 디지털 피드백의 종류를 결정하여 상기 출력 모듈(4)를 통해 출력시킨다.
The microcontroller unit (MCU) 6 receives interaction information generated by the sensor module 3 and outputs digital feedback corresponding to the interaction information through the output module 4. That is, the MCU 6 uses the received interaction information to determine the type of digital feedback suitable for the operation situation of the current physical object 2 and output the same through the output module 4.

도 2는 본 발명의 일실시예에 따른 혼합 객체의 예로서 비커를 도시한 도면이며, 도 3은 도 2의 비커를 기울인 경우 출력되는 디지털 피드백을 나타내는 도면이다.FIG. 2 is a diagram illustrating a beaker as an example of a mixed object according to an embodiment of the present invention, and FIG. 3 is a diagram illustrating digital feedback output when the beaker of FIG. 2 is tilted.

도 2를 참조하면, 혼합 객체의 예인 비커(1)는 유리 또는 플라스틱으로 형성되는 물리 객체(2)와, 기울기 또는 가속도 등의 동작 센서의 하나인 센서 모듈(3)과, 발광 모듈로 이루어지는 출력 모듈(4)과, 외부와 정보를 송수신할 수 있는 통신 모듈(5)과, 출력할 디지털 피드백을 결정하여 출력 모듈(4)를 통하여 디지털 피드백을 출력시키는 MCU(6)를 포함하여 구성된다.Referring to FIG. 2, a beaker 1 as an example of a mixed object includes a physical object 2 formed of glass or plastic, a sensor module 3 which is one of motion sensors such as tilt or acceleration, and an output consisting of a light emitting module. Module 4, a communication module 5 capable of transmitting and receiving information to and from the outside, and an MCU 6 for determining the digital feedback to be output and outputting the digital feedback through the output module 4.

비커(1)가 이와 같은 방식으로 구성되는 경우, 도 3에 도시된 바와 같이 사용자가 비커(1)를 기울이면, 센서 모듈(3)는 비커(1)의 기울기를 감지하여, 이 기울기 정보를 MCU(6)로 전송한다. MCU(6)는 기울기 정보를 입력 받아 비커(1)의 하단부에 설치된 다수의 발광 모듈(4)을 이용하여 실제 용액이 기울어진 모양을 형성하도록 LED 등의 빛을 발광하여 사용자에게 제공한다. 도 3을 참조하면, 실제 용액의 색깔로서 용액이 기울어져 비커(1)에 담겨 있는 형상이 나타나 있음을 확인할 수 있다.When the beaker 1 is configured in this manner, as shown in FIG. 3, when the user tilts the beaker 1, the sensor module 3 detects the inclination of the beaker 1 to obtain this inclination information. Transmit to MCU (6). MCU 6 receives the inclination information and uses the plurality of light emitting modules 4 installed at the lower end of the beaker 1 to emit light such as an LED so as to form an inclined shape of the actual solution and provide it to the user. Referring to FIG. 3, it can be seen that the shape contained in the beaker 1 is shown as the solution is inclined as the color of the actual solution.

만약, 별도의 외부 컨트롤러가 존재하는 경우에는 센서 모듈(4)에서 센싱된 정보는 통신 모듈(5)을 통하여 외부 컨트롤러로 전송될 수 있으며, 외부 컨트롤러가 제어 신호를 전송하면, 통신 모듈(5)을 통하여 수신하여 MCU(6)는 출력 모듈(6)을 통하여 디지털 피드백을 출력시킬 수도 있다.
If there is a separate external controller, information sensed by the sensor module 4 may be transmitted to the external controller through the communication module 5, and when the external controller transmits a control signal, the communication module 5 By receiving through the MCU 6 may output the digital feedback through the output module (6).

도 4는 본 발명의 일실시예에 따른 혼합 객체의 동작을 설명하는 순서도이다.4 is a flowchart illustrating an operation of a mixed object according to an embodiment of the present invention.

본 발명에 따른 혼합 객체(1)의 MCU(6)는 센서 모듈(3)로부터 인터랙션 정보를 수신한다(100). MCU(6)는 인터랙션 정보를 수신하여 사용자의 물리 객체(2)의 조작 상황을 판단하고(120), 출력할 디지털 피드백의 종류 및 방법을 결정한다(140). 출력할 디지털 피드백이 결정되면 MCU(6)는 출력 모듈(4)를 통하여 디지털 피드백을 출력시킨다(160)The MCU 6 of the mixed object 1 according to the present invention receives the interaction information from the sensor module 3 (100). The MCU 6 receives the interaction information to determine an operation state of the user's physical object 2 (120), and determines the type and method of digital feedback to be output (140). When the digital feedback to be output is determined, the MCU 6 outputs the digital feedback through the output module 4 (160).

본 발명에 따른 혼합 객체(1)는 이와 같은 방식으로 사용자에게 실제 실험 하는 것과 같은 유사한 환경을 제공하게 된다. 이렇게, 혼합 객체(1)에 설치된 MCU(6)를 통하여 출력할 디지털 피드백을 제어할 수도 있지만, 앞에서 언급한 바와 같이 외부 컨트롤러에 의해 제어될 수도 있음은 물론이다. 아래에서는 외부 컨트롤러와, 가상 객체를 표시할 수 있는 별도의 출력부를 구비하는 과학실험 시스템과 함께 혼합 객체(1)가 동작하는 경우를 상세히 설명하기로 한다.
The mixed object 1 according to the present invention provides the user with a similar environment as in actual experimentation. In this way, the digital feedback to be output through the MCU (6) installed in the mixed object (1) may be controlled, as described above may also be controlled by an external controller. Hereinafter, a case in which the mixed object 1 operates together with a scientific experiment system having an external controller and a separate output unit capable of displaying a virtual object will be described in detail.

도 5은 본 발명의 일실시예에 따른 실감 과학실험 시스템의 개략 구성도이다.5 is a schematic diagram of a sensory science experiment system according to an embodiment of the present invention.

도 5을 참조하면, 본 발명의 일실시예에 따른 실감 과학실험 시스템은 촬영부(10)와, 실험 기구(20)와, 디지털 실험대(30)와, 제어부(40)를 포함하여 구성된다.Referring to FIG. 5, the sensory science experiment system according to an exemplary embodiment of the present invention includes a photographing unit 10, an experiment apparatus 20, a digital lab table 30, and a controller 40.

실험 기구(20)는 물리 객체로 형성되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 역할을 한다. 실험 기구(20)는 앞에서 언급한 혼합 객체(1)와 같이 내부에 센서 모듈, 출력 모듈, 통신 모듈, MCU가 존재한다. 실감 과학실험의 예로 화학실험을 구현하는 경우, 물리적 실험 기구(20)는 비커, 스포이트, 피펫, 뷰렛, 스푼, 유리막대 등이 될 수 있으며, ‘인터랙션 정보’는 ‘사용자가 비커를 기울이는 정도’, ‘사용자가 스포이트의 고무 손잡이를 누르는 압력 정보’ 등이 될 수 있다.The experiment apparatus 20 is formed of a physical object and serves to generate interaction information according to a user's manipulation. The experimental apparatus 20 has a sensor module, an output module, a communication module, and an MCU inside the same as the mixed object 1 mentioned above. In the case of implementing a chemical experiment as an example of a realistic scientific experiment, the physical experiment apparatus 20 may be a beaker, a dropper, a pipette, a burette, a spoon, a glass rod, and the like. For example, 'pressure information when the user presses the dropper's rubber handle'.

디지털 실험대(30)는 사용자의 실험 조작 상황에 대응하는 정보를 표시하는 역할을 한다. 이때, 디지털 실험대(30)는 자체적으로 실험 조작 상황을 시각적으로 표시하는 디스플레이부(미도시)와, 실험 조작 상황을 청각적으로 안내하는 사운드 출력부(미도시)를 포함할 수 있다. 이때, 디스플레이부는 터치스크린 장치로 이루어질 수 있으며 실험 기구(20)가 터치스크린 장치에 놓여지는 경우, 터치되는 좌표를 후술할 제어부(40)로 전송할 수 있다.The digital bench 30 serves to display information corresponding to the user's experiment operation situation. In this case, the digital lab table 30 may include a display unit (not shown) that visually displays the experiment operation situation by itself, and a sound output unit (not shown) that visually guides the experiment operation situation. In this case, the display unit may be formed of a touch screen device, and when the experiment apparatus 20 is placed on the touch screen device, the display unit may transmit the touched coordinates to the controller 40 to be described later.

촬영부(10)는 사용자의 실험 기구의 조작 및 디지털 실험대(30)의 디스플레이부을 촬영하여 영상 정보를 생성하는 역할을 한다. 촬영부(10)는 카메라로 이루어질 수 있으며, 자세하게는 RGB 정보를 그대로 활용하는 일반 카메라와 또는 적외선(IR) 카메라로 이루어질 수 있다. 또한, 촬영부(10)는 하나의 카메라로 이루어질 수 도 있지만, 보다 정확한 인식을 위해 다수의 스테레오 카메라로 이루어질 수 있다. 또한, 촬영부(10)는 디지털 실험대(30)와 일체로 결합되어 설치되거나, 디지털 싫머대(30)와 분리되어 사용자의 실험 조작 및 디지털 실험대(30)의 디시플레이부를 촬영할 수 있도록 디지털 실험대(30)의 상부 또는 하부에 별도로 설치될 수 있다.The photographing unit 10 serves to generate image information by photographing a display unit of the manipulation apparatus of the user and the digital lab table 30. The photographing unit 10 may be formed of a camera, and in detail, may be formed of a general camera or an infrared (IR) camera that utilizes RGB information as it is. In addition, the photographing unit 10 may be formed of a single camera, but may be formed of a plurality of stereo cameras for more accurate recognition. In addition, the photographing unit 10 may be installed integrally with the digital lab table 30, or may be separated from the digital flock table 30 so that the user can manipulate the experiment and the display unit of the digital lab table 30. 30) may be installed separately on the upper or lower portion.

제어부(40)는 실험 기구(30)로부터 수신되는 인터랙션 정보 및 촬영부(10)로부터 수신되는 영상 정보를 이용하여 사용자의 실험 조작 상황을 판단하고, 판단된 실험 조작 상황을 기초로 실험 기구(30)에 대응하는 가상 객체와 실험 결과 또는 실험 관련 정보를 포함하는 이벤트 정보를 생성하고, 생성된 가상 객체와 이벤트 정보를 디지털 실험대(30)에 표시하는 역할을 한다. 제어부(40)는 혼합 객체인 실험 기구(30) 내부에 존재하는 MCU와는 별도로 존재하여 전체 시스템을 제어하는 외부 컨트롤러에 해당한다. The controller 40 determines the experimental manipulation situation of the user by using the interaction information received from the experiment apparatus 30 and the image information received from the photographing unit 10, and based on the determined experimental manipulation situation, the experiment apparatus 30 is determined. It generates the event information including the virtual object corresponding to the) and the experimental result or the experiment-related information, and displays the generated virtual object and the event information on the digital bench 30. The controller 40 corresponds to an external controller that exists separately from the MCU existing in the experimental apparatus 30 that is a mixed object and controls the entire system.

이때, 실험 기구(20) 및 가상 객체는 하나의 특정 물체를 구성할 수 있다. 즉, 물리 객체로 형성되는 실험 기구(20)는 특정 물체의 일부분에 해당하며, 가상 객체는 특정 물체에서 실험 기구(20)에 해당하는 부분을 제외한 나머지 부분에 해당한다. 예를 들어, 실험 기구(20)는 스포이트나, 비커, 또는 플라스크 등의 손잡이 부분, 가상 객체는 스포이트나 비커 또는 플라스크 등의 손잡이 부분을 제외한 나머지 부분에 해당한다.In this case, the experiment apparatus 20 and the virtual object may constitute one specific object. That is, the experimental apparatus 20 formed of a physical object corresponds to a part of a specific object, and the virtual object corresponds to a part of the specific object except for a part corresponding to the experimental apparatus 20. For example, the experimental instrument 20 corresponds to a handle portion such as a dropper, a beaker, or a flask, and the virtual object corresponds to a remaining portion except for a handle portion such as a dropper, a beaker or a flask.

본 발명의 실감 과학실험 시스템은 특정 물체의 일부분에 해당하고, 고정되는 물리 객체를 실험 기구(20)로 구성하고, 사용자의 실험 조작에 따라 가변되는 가상 객체를 디지털 실험대(30)에 표시하고, 실험 기구(20)에 구비된 출력 모듈을 통하여 다양한 디지털 피드백을 사용자에게 제공함으로써 실제 실험과 유사한 방법으로 과학실험을 수행할 수 있도록 한다.The realistic scientific experiment system of the present invention comprises a physical object that corresponds to a part of a specific object, and is fixed to the experimental instrument 20, and displays a virtual object that is variable according to a user's experimental operation on the digital experiment bench 30, By providing a variety of digital feedback to the user through the output module provided in the experimental instrument 20 it is possible to perform a scientific experiment in a manner similar to the actual experiment.

예를 들어, 비커는 실제 비커의 상단 부분의 모양을 취할 수 있으며, 사용자는 실제 비커를 사용하는 것과 같이 비커를 손으로 잡고 들고, 이동하고, 기울이고, 흔들 수 있다. 사용자가 비커를 디지털 실험대(30)에 올려 놓으면 비커의 하단 부분이 디지털 실험대(30)의 디스플레이부에 표시되어 하나의 온전한 비커 모양 형태를 가지게 되며, 인터랙션 결과로 담긴 용액이 색깔 정보와 함께 표현될 수 있다. 또한, 앞에서 도 2 내지 도 3과 관련하여 설명한 바와 같이 비커를 기울이는 경우 LED 발광 모듈을 통하여 용액이 기울어진 모양의 디지털 피드백을 사용자에게 제공할 수 있다.For example, the beaker may take the shape of the upper portion of the actual beaker, and the user may hold, move, tilt, and shake the beaker by hand, such as using a real beaker. When the user places the beaker on the digital bench 30, the lower part of the beaker is displayed on the display of the digital bench 30 to have a single beaker shape, and the solution containing the interaction result is expressed with the color information. Can be. In addition, when the beaker is inclined as described above with reference to FIGS. 2 and 3, the user may be provided with digital feedback in which the solution is inclined through the LED light emitting module.

이하 도 6를 참조하여 본 발명의 동작에 대해서 상세히 설명한다.
Hereinafter, the operation of the present invention will be described in detail with reference to FIG. 6.

도 6는 본 발명의 일실시예에 따른 실감 과학실험 시스템의 상세 구성도이다.6 is a detailed block diagram of a sensory science experiment system according to an embodiment of the present invention.

도 6에서 볼 수 있듯이, 촬영부(10)는 카메라로 형성되며, 실험 기구(20)는 비커 등의 물체로 형성될 수 있으며, 디지털 실험대(30)는 터치스크린 장치로 이루어지는 테이블탑 디스플레이 장치로 형성될 수 있다. As shown in FIG. 6, the photographing unit 10 may be formed of a camera, the experiment apparatus 20 may be formed of an object such as a beaker, and the digital experiment table 30 is a tabletop display device formed of a touch screen device. Can be formed.

실험 기구(20)에는 블루투스 등의 통신 모듈과, 가속도, 기울기, 압력, 온도 증을 센싱할 수 있는 센서 모듈이 부착될 수 있다. 또한, 출력 모듈로서 디스플레이 모듈, 사운드 출력 모듈, 발광 모듈, 액츄에이터 모듈 등도 설치될 수 있다. 각 센서 모듈의 역할에 대해서는 제어부(40)의 동작과 관련하여 후술하기로 한다. The experimental apparatus 20 may be attached with a communication module such as Bluetooth and a sensor module capable of sensing acceleration, tilt, pressure, and temperature increase. In addition, a display module, a sound output module, a light emitting module, an actuator module, and the like may also be installed as the output module. The role of each sensor module will be described later with reference to the operation of the controller 40.

촬영부(10)는 사용자의 실험 기구(20)의 조작 및 디지털 실험대(30)의 디스플레이부를 촬영하여 영상 정보를 생성하여 제어부(40)의 영상 처리 모듈(41)로 전송한다. 즉, 촬영부(10)는 사용자의 실험 기구(20)의 조작, 즉 인터랙션 영상 정보를 촬영하며, 디지털 실험대(30)의 디스플레이부의 디스플레이 영상 정보를 촬영한다. The photographing unit 10 photographs the operation of the user's experiment apparatus 20 and the display unit of the digital lab table 30 to generate image information and transmit the image information to the image processing module 41 of the controller 40. That is, the photographing unit 10 photographs the operation of the user's experiment apparatus 20, that is, the interactive image information, and photographs the display image information of the display unit of the digital lab table 30.

이렇게 촬영부(10)에서 생성된 영상 정보는 제어부(40)의 영상 처리 모듈(41)로 전송된다. 영상 처리 모듈(41)은 영상 인식 기술 등을 통해 영상 정보 내의 실험 기구(20)의 위치 및 동작을 인식한다. 즉, 제어부(40)는 실험 기구(20)의 조작 영상 정보와 디지털 실험대(30)의 디스플레이부의 영상 정보를 비교하여 그 차이값을 통해 실험 기구(20)의 위치 및 동작을 트래킹한다. The image information generated by the photographing unit 10 is transmitted to the image processing module 41 of the controller 40. The image processing module 41 recognizes the position and operation of the experimental apparatus 20 in the image information through image recognition technology. That is, the control unit 40 compares the operation image information of the experiment apparatus 20 with the image information of the display unit of the digital experiment table 30 and tracks the position and operation of the experiment apparatus 20 through the difference value.

또한, 제어부(40)는 이와 더불어 실험 기구(20)에 설치될 수 있는 RFID 센서 모듈, GPS 센서 모듈 등의 각종 센서 모듈로부터 ID 정보, 위치 정보를 추가적으로 수신하여 실험 기구(20)의 보다 정확한 상태 정보를 인식할 수도 있다.In addition, the control unit 40 additionally receives ID information and position information from various sensor modules such as an RFID sensor module and a GPS sensor module that can be installed in the test apparatus 20 to more accurately state the test apparatus 20. It can also recognize information.

실험 기구(20)에 부착된 각종 센서 모듈에서 센싱되는 인터랙션 센서 정보는 제어부(40)의 센서 처리 모듈(43)로 전송된다. 이때, 인터랙션 센서 정보에는 실험 기구(20)의 위치, 상태(놓여짐, 손에 잡힘, 기울여짐, 움직임 등) 정보일 수 있다. 센서 처리 모듈(43)은 이러한 인터랙션 센서 정보를 수신하여 실험 기구(20)의 종류, 위치, 동작 등을 인식할 수 있다.The interaction sensor information sensed by the various sensor modules attached to the experiment apparatus 20 is transmitted to the sensor processing module 43 of the controller 40. In this case, the interaction sensor information may be information about a position and a state (released, held by a hand, inclined, movement, etc.) of the experiment apparatus 20. The sensor processing module 43 may receive the interaction sensor information to recognize the type, position, operation, and the like of the test apparatus 20.

예를 들어 센서 처리 모듈(43)은 가속도 센서 모듈로부터 수신되는 정보를 이용하여 실험 기구(20)의 동작 상태를 인식할 수 있으며, 기울기 센서 모듈로부터 수신되는 정보를 이용하여 비커와 같은 실험 기구(20)의 기울여진 상태를 인식할 수 있으며, 압력 센서 모듈로부터 수신되는 정보를 이용하여 스포이트 고문 손잡이 등의 압력 상태를 인식할 수 있으며, 온도 센서 모듈로부터 수신되는 정보를 이용하여 실험 기구(20)의 온도를 인식할 수 있다. 영상 처리 모듈(41)과 센서 처리 모듈(43)은 상호보완적이며 환경에 따라 같이 사용할 수도 있으며, 어느 하나만 단독으로 사용할 수도 있다. For example, the sensor processing module 43 may recognize the operation state of the experiment apparatus 20 by using the information received from the acceleration sensor module, and may use an experiment apparatus such as a beaker by using the information received from the tilt sensor module. The tilted state of 20) can be recognized, and the pressure state such as the dropper torture handle can be recognized using the information received from the pressure sensor module, and the experimental instrument 20 can be recognized using the information received from the temperature sensor module. Can recognize the temperature of The image processing module 41 and the sensor processing module 43 may be complementary to each other and may be used together according to the environment, or only one of them may be used alone.

이러한 방식으로 영상 처리 모듈(41)과 센서 처리 모듈(43)이 각각 영상 정보와 인터랙션 센서 정보로부터 실험 기구(20)의 종류, 위치, 동작 등을 인식하고 이 정보들을 상황 인식 모듈(45)로 전달한다.In this manner, the image processing module 41 and the sensor processing module 43 recognize the type, position, and operation of the experiment apparatus 20 from the image information and the interaction sensor information, respectively, and transfer the information to the situation recognition module 45. To pass.

도 6를 참조하면, 본 발명의 일실시예에 따른 실감 과학실험 시스템의 제어부(40)는 영상 처리 모듈(41)과, 센서 처리 모듈(43)과, 상황 인식 모듈(45)과, 의사 결정 모듈(47)과, 출력 제어 모듈(49)를 포함하여 구성된다.Referring to FIG. 6, the controller 40 of the sensory science experiment system according to an embodiment of the present invention includes an image processing module 41, a sensor processing module 43, a situation recognition module 45, and a decision making process. The module 47 and the output control module 49 are comprised.

상황 인식 모듈(45)은 영상 처리 모듈(41)과 센서 처리 모듈(43)로부터 수신한 정보를 바탕으로 사용자의 실험 조작 상황을 종합적으로 판단한다. 또한, 상황 인식 모듈은 디지털 실험대(30)로부터 실험 기구(20)와 디지털 실험대(30)의 디스플레이부와의 접촉 지점인 터치 위치 정보를 수신하여 이를 실험 조작 상황 판단에 이용할 수 있다.The context recognition module 45 comprehensively determines a user's experiment operation situation based on the information received from the image processing module 41 and the sensor processing module 43. In addition, the situation recognition module may receive touch position information, which is a contact point between the experiment apparatus 20 and the display unit of the digital lab bench 30, from the digital lab bench 30 and use the same to determine an experiment operation situation.

예를 들어, 사용자가 비커를 기울이거나 스포이트의 고무 부분을 누르는 등의 실험 조작을 수행하면, 비커에 부착된 기울기 센서 모듈과 스포이트에 부착된 공기압 센서 모듈로부터 기울기 정보 및 공기압 정보가 센서 처리 모듈(43)로 전송된다. 또한, 사용자의 비커 또는 스포이트 조작 상황에 대한 영상 정보와 디지털 실험대(30)에 출력되는 디스플레이 정보는 촬영부(10)를 통하여 영상 처리 모듈(41)로 전달되고, 비커 또는 스포이트가 디지털 실험대(30)의 디스플레이부와 접촉하는 경우 터치 위치 정보는 상황 인식 모듈(45)로 전송된다. 물론, 이 경우 디지털 실험대(30)의 터치 위치 정보는 센서 처리 모듈(43)로 전송되어 처리될 수도 있다. 비커 또는 스포이트에 블루투스 통신 모듈이 설치된 경우에는 센서 처리 모듈(43) 또는 제어부(40)에 설치된 통신 모듈(미도시)은 블루투스 통신 모듈로부터 비커 또는 스포이트의 ID 정보를 수신하여 비커 또는 스포이트를 인식할 수 있다. 또한, 비커 또는 스포이트에 RFID 센서 모듈 또는 GPS 센서 모듈이 설치된 경우에는 센서 처리 모듈(43)은 이 센서 모듈로부터 비커 또는 스포이트의 위치, 동작 상태에 관한 정보를 얻을 수도 있다.의사 결정 모듈(47)은 상황 인식 모듈(45)로부터 수신한 실험 조작 상황 정보를 기초로 디지털 실험대(30)의 디스플레이부에 표현할 가상 객체 및 이벤트 정보와 실험 기구(20)에 출력할 디지털 피드백을 결정하고, 이를 출력 제어 모듈(49)로 전달하는 역할을 한다. 이때, 가상 객체는 앞에서 언급한 바와 같이 실험 기구(20)와 결합하여 하나의 물체를 구성하는 디지털 출력 부분에 해당하며, 이벤트 정보는 이 가상 객체와 더불어 실험 조작의 결과, 실험 관련 정보를 표시하는 출력 정보를 의미한며, 디지털 피드백은 실험 기구(20)를 통하여 사용자에게 제공할 출력 정보에 해당한다. 이때, 이벤트 정보는 필요에 따라 글자, 그림 등으로 현재 진행중인 실험에 대한 관련 정보를 표현할 수 있다.For example, when the user performs an experimental operation such as tilting the beaker or pressing the rubber part of the dropper, the tilt information and the air pressure information are obtained from the tilt sensor module attached to the beaker and the air pressure sensor module attached to the dropper. 43). In addition, the image information about the beaker or the dropper operation situation of the user and the display information output to the digital lab table 30 is transmitted to the image processing module 41 through the photographing unit 10, the beaker or the dropper is digital lab bench 30 In the case of contact with the display unit of), the touch location information is transmitted to the situation recognition module 45. Of course, in this case, the touch position information of the digital lab table 30 may be transmitted to the sensor processing module 43 for processing. When the Bluetooth communication module is installed in the beaker or the dropper, the communication module (not shown) installed in the sensor processing module 43 or the control unit 40 may receive ID information of the beaker or the dropper from the Bluetooth communication module to recognize the beaker or the dropper. Can be. In addition, when the RFID sensor module or the GPS sensor module is installed in the beaker or the dropper, the sensor processing module 43 may obtain information on the position and operation state of the beaker or the dropper from the sensor module. Determines the virtual object and event information to be displayed on the display unit of the digital lab table 30 and the digital feedback to be output to the experiment apparatus 20 based on the experiment operation context information received from the context recognition module 45, and outputs the control. It serves to deliver to the module 49. In this case, the virtual object corresponds to the digital output part that forms one object in combination with the experiment apparatus 20 as mentioned above, and the event information indicates the result of the experiment operation and the experiment related information together with the virtual object. Meaning the output information, the digital feedback corresponds to the output information to be provided to the user through the experimental instrument (20). In this case, the event information may express related information about the current experiment in the form of letters, pictures, etc. as necessary.

출력 제어 모듈(49)은 의사 결정 모듈(47)로부터 가상 객체, 이벤트 정보 및를 디지털 피드백 정보를 수신하여 디지털 실험대(30)의 디스플레이부 및 실험 기구(20)에 출력시키는 역할을 한다. 이때, 출력 제어 모듈(49)은 상기 실험 기구(20)가 디지털 실험대(30)의 디스플레이부와 접촉하는 경우 상기 접촉하는 터치 위치에 가상 객체를 출력시킬 수 있다. 물론, 실험 기구(20)가 디지털 실험대(30)의 디스플레이부와 접촉하지 않는 경우라 하더라도, 실험 기구(20)의 수직 아래 쪽 위치에 대응하는 디지털 실험대(30)의 디스플레이 부분에 가상 객체를 표시할 수 있다.The output control module 49 receives the virtual object, the event information, and the digital feedback information from the decision module 47, and outputs the digital feedback information to the display unit and the experiment apparatus 20 of the digital lab table 30. In this case, the output control module 49 may output the virtual object at the touch position when the experiment apparatus 20 contacts the display unit of the digital lab table 30. Of course, even if the experiment apparatus 20 does not come into contact with the display unit of the digital lab bench 30, the virtual object is displayed on the display portion of the digital lab bench 30 corresponding to the vertically lower position of the lab apparatus 20. can do.

예를 들어, 비커나 스포이트를 디지털 실험대(30)의 디스플레이부에 놓아 두는 경우, 비커나 스포이트와 디스플레이부와의 접촉 지점에 비커에 담긴 용액을 포함하는 가상 객체와 스포이트의 아래 유리관 부분과 거치대 부분의 가상 객체가 표시될 수 있다. 한편, 비커를 또 다른 비커 위에서 기울이는 동작을 수행하거나, 스포이트를 이용하여 비커 위에서 용액을 흡수하기 위해 스포이트의 고무 손잡이를 누르는 동작을 수행하는 경우에는 실험 기구(20)가 디스플레이부와 접촉하지 않는 경우에도 디스플레이부에 실험 조작 상황에 대응하는 가상 객체를 출력시킬 수 있다. 이때는 실험 기구(20)의 실제 위치를 촬영부(10)의 영상 정보 또는 실험 기구(20)에 부착된 RFID 센서 모듈, GPS 센서 모듈로부터 알아 내어 특정 위치에 진입하는 경우에 가상 객체를 출력시키도록 설정하는 방식을 이용할 수 있다.
For example, if the beaker or the dropper is placed on the display of the digital lab table 30, the virtual object containing the solution contained in the beaker at the point of contact between the beaker or the dropper and the display unit, the lower glass tube portion and the cradle portion of the dropper The virtual object of may be displayed. On the other hand, when performing the operation of tilting the beaker on another beaker, or pressing the rubber handle of the dropper to absorb the solution on the beaker using the dropper when the experimental instrument 20 does not contact the display unit In addition, the display unit may output a virtual object corresponding to the experimental operation situation. In this case, the actual position of the experiment apparatus 20 is detected from the image information of the photographing unit 10 or the RFID sensor module and the GPS sensor module attached to the experiment apparatus 20 so that a virtual object is outputted when entering a specific position. You can use the setting method.

도 7은 본 발명의 일실시예에 따른 실감 과학실험 제공 방법을 설명하는 순서도로써, 도 7을 참조하여 본 발명에 따른 실감 과학실험 시스템의 동작을 설명하면 다음과 같다.7 is a flowchart illustrating a sensory science experiment providing method according to an exemplary embodiment of the present invention. Referring to FIG. 7, the operation of the sensory science experiment system according to the present invention will be described below.

본 발명의 일실시예에 따른 실감 과학실험 시스템의 제어부(40)는 촬영부(10)의 인터랙션 영상 정보와 실험 기구(20)의 인터랙션 센서 정보를 포함하는 인터랙션 정보를 수신한다(200). 제어부(40)의 상황 인식 모듈(45)는 이 인터랙션 센서 종보를 기초로 하여 사용자의 실험 조작 상황을 종합적으로 판단한다(220).The control unit 40 of the sensory science experiment system according to an embodiment of the present invention receives the interaction information including the interaction image information of the photographing unit 10 and the interaction sensor information of the experiment apparatus 20 (200). The situation recognition module 45 of the control unit 40 comprehensively determines an experiment operation situation of the user based on the interaction sensor final report (220).

제어부(40)의 의사 결정 모듈(47)은 사용자의 실험 조작 상황을 기초로 디지털 실험대(30)의 디스플레이부에 표시할 가상 객체 및 이벤트 정보와 실험 기구(20)에 출력할 디지털 피드백 정보를 생성한다(240). 출력 제어 모듈(49)은 이 가상 객체 및 이벤트 정보와 출력 인터페이스 정보를 수신하여 디지털 실험대(30)의 디스플레이부 및 실험 기구(20)의 출력 모듈에 표시한다(260). The decision module 47 of the control unit 40 generates virtual object and event information to be displayed on the display unit of the digital lab table 30 and digital feedback information to be output to the experiment apparatus 20 based on the user's experiment operation situation. (240). The output control module 49 receives the virtual object and event information and the output interface information and displays them on the display unit of the digital bench 30 and the output module of the experimental instrument 20 (260).

이러한 방법으로 본 발명에 따른 실감 과학실험 시스템은 물리 객체 부분인 실험 기구(20)와 디지털 출력 부분인 가상 객체를 이용하여 실제 실험하는 것과 유사한 과학실험을 사용자에게 제공한다. 이하, 도 8 내지 도 12을 기초로 본 발명의 일실시예에 따른 실감 과학실험 시스템을 이용한 과학실험을 예를 들어 설명하기로 한다.
In this way, the sensory science experiment system according to the present invention provides the user with a science experiment similar to the actual experiment using the experiment apparatus 20 as the physical object part and the virtual object as the digital output part. Hereinafter, a scientific experiment using a sensory science experiment system according to an embodiment of the present invention will be described with reference to FIGS. 8 to 12.

도 8는 본 발명의 일실시예에 따른 과학실험 시스템을 이용하여 사용자들이 과학실험을 수행하고 있는 개략도이다. 8 is a schematic diagram of a user performing a scientific experiment using a scientific experiment system according to an embodiment of the present invention.

터치스크린 장치가 설치된 테이블탑 디스플레이 장치 위에 사용자들이 물리 객체로 형성되는 각종 실험 기구들을 올려 놓고 실험을 수행하고 있음을 확인할 수 있다. 각 실험 기구들과 디스플레이 장치가 접촉하는 부분에는 각 실험 기구에 대응하는 가상 객체가 표현되어 하나의 특정 물체를 형성하고 있으며, 실험 관련 정보인 이벤트 정보 또한 표시되어 있음을 알 수 있다.
It can be seen that users are carrying out experiments by placing various experimental instruments formed of physical objects on a tabletop display device where a touch screen device is installed. It can be seen that a virtual object corresponding to each experiment apparatus is represented to form one specific object in the contact portion between each experiment apparatus and the display apparatus, and event information which is experiment related information is also displayed.

도 9는 본 발명의 일실시예에 따른 과학실험 시스템에 사용되는 스포이트(25)를 나타내는 도면이다.9 is a view showing the dropper 25 used in the scientific experiment system according to an embodiment of the present invention.

스포이트(25)는 실험 기구(20)의 한 예로서, 고무 손잡이(25a)와, 공기압 센서 모듈(25b)과, 통신 모듈(25c)와 마이크로 컨트롤러 유닛(MCU, 25d)과, 배터리(25e)를 포함하여 구성된다. 사용자는 고무 손잡이(25a)를 누르는 동작을 수행함으로써, 비커 속의 용액을 흡수하거나, 흡수한 용액을 비커에 배출하게 된다. 이때, 공기압 센서 모듈(25b)는 사용자가 스포이트(25)의 고무 손잡이(25a)를 눌렀는지 떼었는지를 판단할 수 있으며, 이러한 공기압 정보는 블루투스 통신 모듈 등으로 구성되는 통신 모듈(25c)를 통하여 제어부(40)로 전달되게 된다. The dropper 25 is an example of the experimental instrument 20, and includes a rubber handle 25a, an air pressure sensor module 25b, a communication module 25c, a microcontroller unit (MCU, 25d), and a battery 25e. It is configured to include. The user performs an operation of pressing the rubber knob 25a to absorb the solution in the beaker or to discharge the absorbed solution into the beaker. At this time, the pneumatic pressure sensor module 25b may determine whether the user has pressed or released the rubber handle 25a of the dropper 25, and the pneumatic pressure information may be provided through a communication module 25c configured as a Bluetooth communication module. It is delivered to the control unit 40.

이러한, 방법은 스포이트를 구현하는 하나의 예이며, 비전 시스템만을 사용하여 스포이트의 위치를 트래킹하고 고무부분을 눌렀는지를 판단하는 방법을 사용할 수도 있다. 후술하겠지만, 스포이트(25)의 거치대 부분과 유리관 부분은 가상 객체로 디지털 실험대(30)에 디지털 출력으로 표시된다.
This method is one example of implementing the dropper, and may use a vision system to track the position of the dropper and determine whether the rubber portion has been pressed. As will be described later, the cradle portion and the glass tube portion of the dropper 25 is displayed as a digital output on the digital bench 30 as a virtual object.

도 10은 도 5의 스포이트(25)를 이용하여 과학실험을 하는 경우 디지털 실험대(30)에 생성되는 가상 객체를 나타내는 도면이다.FIG. 10 is a diagram illustrating a virtual object generated in the digital lab table 30 when performing a scientific experiment using the dropper 25 of FIG. 5.

도 10을 참조하면 물리 객체 부분으로 형성되는 스포이트(25)를 사용자가 손가락으로 집어서 디지털 실험대(30)의 디스플레이부에 놓으면 유리관 모양의 가상 객체가 표시된다. 이때, 사용자가 스포이트(25)의 고무 손잡이(25a) 부분을 눌렀다가 때면 용액이 스포이트(25)의 유리관 모양에 흡입되는 것이 가상 객체로 표시된다. Referring to FIG. 10, when a user picks up a dropper 25 formed of a physical object part with a finger and places it on a display unit of the digital lab table 30, a virtual object in a glass tube shape is displayed. At this time, when the user presses a portion of the rubber handle 25a of the dropper 25, the solution is sucked into the glass tube shape of the dropper 25 as a virtual object.

도 10에는 비커가 도시되지는 않았지만, 비커에 용액이 담겨져 있는 경우에 사용자가 스포이트(25)를 비커 위에 올려 놓고 위와 같이 고무 손잡이(25a) 부분을 눌렀다가 떼면 용액이 스포이트(25)의 유리관에 흡입되는 것이 가상 객체로 디지털 실험대(30)의 디스플레이부에 표시되게 된다.
Although the beaker is not shown in FIG. 10, when the solution is contained in the beaker, when the user places the dropper 25 on the beaker and presses and releases the rubber handle 25a as described above, the solution is placed on the glass tube of the dropper 25. The suctioned virtual object is displayed on the display unit of the digital lab table 30.

도 11은 비커를 이용하여 과학실험을 하는 경우 가상 객체 및 이벤트 정보가 표시된 디지털 실험대와 디지털 피드백이 출력되는 실험 기구를 나타내는 도면이다.FIG. 11 is a diagram illustrating a digital lab table on which virtual objects and event information are displayed and an experimental device on which digital feedback is output when performing a scientific experiment using a beaker.

디지털 실험대(30)의 디스플레이부 위에는 비커가 놓여져 있으며 비커와 디스플레이부가 접촉하는 지점에 비커에 담긴 용액이 표시된 비커 모양으로 가상 객체가 표시되어 있는 것을 확인할 수 있다. 이때, 사용자가 손으로 다른 비커를 들어 이 비커 위에서 기울이는 동작을 하면, 이 기울기 정보가 제어부(40)로 전송되어 디스플레이부에 놓여진 비커에 다른 비커의 용액이 첨가되는 상황임을 인식하게 된다. 그러면, 제어부(40)는 디스플레이부에 표시된 비커의 용액이 증가하고, 또한 서로 다른 용액의 혼합으로 인해 색깔의 변화가 발생하는 경우 색 정보도 함께 표시하게 한다. 이때, 실험 기구(20)의 LED 발광부 등의 출력 모듈을 통하여 용액의 기울기 및 양의 정보가 변화되도록 표현될 수 있다.The beaker is placed on the display unit of the digital lab table 30 and the virtual object is displayed in a beaker shape in which the solution contained in the beaker is displayed at the point where the beaker and the display unit come into contact with each other. In this case, when the user lifts another beaker by hand and tilts the beaker, the tilt information is transmitted to the controller 40 to recognize that a solution of another beaker is added to the beaker placed on the display unit. Then, the control unit 40 causes the solution of the beaker displayed on the display unit to increase, and also displays color information together when a change in color occurs due to mixing of different solutions. At this time, it can be expressed so that the information on the slope and the amount of the solution through the output module, such as the LED light emitting unit of the experimental instrument 20.

또한, 용액의 혼합과 관련하여 화학 결합 구조, Ph 정보, 온도 정보, 화학식 정보 등을 포함하는 이벤트 정보가 디스플레이부의 상단에 표시되어 사용자에게 실험에 대한 결과 및 실험 관련 정보를 제공하게 된다.
In addition, event information including chemical bonding structure, Ph information, temperature information, chemical formula information, and the like may be displayed at the top of the display unit in connection with the mixing of the solution to provide the user with the results of the experiment and the experiment related information.

도 12은 본 발명의 일실시예에 따른 실감 과학실험 시스템을 이용하여 과학실험을 수행한 경우 디지털 실험대에 최종 결과가 도시된 상태를 나타내는 도면이다.12 is a diagram illustrating a state in which a final result is shown on a digital bench when a scientific experiment is performed using a realistic scientific experiment system according to an embodiment of the present invention.

즉, 디스플레이부 좌측에 표시된 가상 객체인 3개의 용액을 비커를 이용하여 혼합한 경우의 결과를 도시하고 있다. 화학 반응이 끝난 후의 결과를 가상 객체 및 예시 도면 및 설명 문구를 포함한 이벤트 정보를 이용하여 사용자에게 제공하고 있음을 확인할 수 있다. That is, the result when the three solutions which are the virtual objects displayed on the left side of the display part were mixed using the beaker is shown. It can be seen that the result after the chemical reaction is provided to the user by using the event information including the virtual object, an example drawing, and description text.

본 발명의 일실시예에 따른 실감과학시스템은 이러한 방법으로 사용자에게 실제 실험을 하는 것과 같은 직관적인 과학실험 인터페이스를 제공할 수 있다.The sensory science system according to an embodiment of the present invention may provide an intuitive scientific experiment interface to the user, such as performing an actual experiment.

1: 혼합 객체 2: 물리 객체
3: 센서 모듈 4: 출력 모듈
5: 통신 모듈 6: MCU
10: 촬영부 20: 실험 기구
25 : 스포이트 25a: 고무 손잡이
25b: 공기압 센서 25c: 통신 모듈
25d: MCU 25e: 배터리
30: 디지털 실험대 40: 제어부
41: 영상 처리 모듈 43: 센서 처리 모듈
45: 상황 인식 모듈 47: 의사 결정 모듈
49: 출력 제어 모듈1: mixed object 2: physical object
3: sensor module 4: output module
5: communication module 6: MCU
10: photographing unit 20: experimental apparatus
25: dropper 25a: rubber handle
25b: air pressure sensor 25c: communication module
25d: MCU 25e: Battery
30: digital lab 40: control unit
41: image processing module 43: sensor processing module
45: context awareness module 47: decision module
49: output control module

Claims (26)

물리 객체로 형성되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 실험기구;
사용자의 실험 조작 상황에 대응하는 정보를 표시하는 디지털 실험대;
상기 실험기구로부터 상기 인터랙션 정보를 수신하여 사용자의 실험 조작 상황을 판단하고, 상기 판단된 실험 조작 상황을 기초로 상기 실험 기구에 대응하는 가상 객체를 생성하고, 상기 생성된 가상 객체를 상기 디지털 실험대에 표시하는 제어부; 및
사용자의 상기 실험기구의 조작 및 상기 디지털 실험대를 촬영하여 3차원 영상정보를 생성하는 촬영부를 포함하고,
상기 제어부는 상기 촬영부에서 생성된 상기 3차원 영상정보를 이용하여 실험 조작상황을 판단하되,
상기 실험기구는 가속도, 기울기, 압력, 온도 중 어느 하나 이상을 센싱할 수 있는 센서 모듈을 포함하고,
상기 실험기구는 출력 모듈을 더 포함하고,
상기 제어부는 상기 인터랙션 정보에 대응하는 디지털 피드백을 상기 출력 모듈을 통하여 출력시키되,
상기 출력 모듈은 디스플레이 모듈, 사운드 출력 모듈, 발광 모듈, 액츄에이터 모듈을 포함하는 것을 특징으로 하는 실감 과학실험 시스템.An experimental apparatus formed of a physical object to generate interaction information according to a user's manipulation;
A digital experiment table displaying information corresponding to an experiment operation situation of a user;
Receiving the interaction information from the experiment apparatus to determine a user's experiment manipulation situation, based on the determined experiment manipulation situation, generates a virtual object corresponding to the experiment apparatus, and the generated virtual object to the digital experiment bench A control unit to display; And
A photographing unit configured to generate a 3D image information by photographing a digital lab table and a manipulation of the apparatus of a user;
The controller determines an experimental operation situation using the 3D image information generated by the photographing unit.
The experiment apparatus includes a sensor module that can sense any one or more of acceleration, slope, pressure, temperature,
The laboratory apparatus further includes an output module,
The control unit outputs digital feedback corresponding to the interaction information through the output module,
The output module is a sensory science experiment system, characterized in that it comprises a display module, a sound output module, a light emitting module, an actuator module. 제1항에 있어서,
상기 제어부는 상기 판단된 실험 조작 상황을 기초로 실험 결과 또는 실험 관련 정보를 포함하는 이벤트 정보를 상기 디지털 실험대에 더 표시하는 것을 특징으로 하는 실감 과학실험 시스템.The method of claim 1,
And the control unit further displays event information including an experiment result or experiment related information on the digital experiment bench based on the determined experimental manipulation situation. 삭제delete 제1항에 있어서,
상기 실험기구, 상기 디지털 실험대, 상기 제어부, 상기 촬영부는 각각 유선 또는 무선 통신을 수행하는 통신 모듈을 구비하며, 상기 구비된 통신 모듈을 통해 상호간에 정보를 송수신하는 것을 특징으로 하는 실감 과학실험 시스템.The method of claim 1,
The experiment apparatus, the digital experiment table, the control unit, the photographing unit is provided with a communication module for performing wired or wireless communication, respectively, the sensory science experiment system, characterized in that for transmitting and receiving information between each other via the provided communication module. 제4항에 있어서,
상기 제어부는 상기 통신 모듈을 통하여 상기 실험기구의 ID 정보를 수신함으로써 상기 실험기구를 인식하는 것을 특징으로 하는 실감 과학실험 시스템.5. The method of claim 4,
And the control unit recognizes the test apparatus by receiving ID information of the test apparatus through the communication module. 삭제delete 삭제delete 제1항에 있어서,
상기 디지털 실험대는 터치스크린 장치를 포함하여 형성되며,
상기 제어부는 상기 실험기구와 상기 터치스크린 장치와의 접촉 위치를 감지하고, 상기 접촉 위치에 상기 가상 객체를 표시하는 것을 특징으로 하는 실감 과학실험 시스템.The method of claim 1,
The digital lab table is formed including a touch screen device,
The controller detects a contact position between the test apparatus and the touch screen device and displays the virtual object at the contact position. 제1항에 있어서,
상기 디지털 실험대에 상기 가상 객체가 표시되도록 영상을 투영하는 프로젝션 장치를 더 포함하는 것을 특징으로 하는 실감 과학실험 시스템.The method of claim 1,
And a projection device for projecting an image such that the virtual object is displayed on the digital experiment table. 제1항에 있어서,
상기 디지털 실험대는 사운드 출력부를 더 포함하고,
상기 제어부는 상기 판단된 실험 조작 상황을 기초로 상기 사운드 출력부를 통하여 안내 음성을 제공하는 것을 특징으로 하는 실감 과학실험 시스템.The method of claim 1,
The digital lab table further includes a sound output unit,
And the control unit provides a guide voice through the sound output unit based on the determined experimental operation situation. 제1항에 있어서,
상기 실험기구와 상기 가상 객체는 하나의 물체를 구성하는 것을 특징으로 하는 실감 과학실험 시스템. The method of claim 1,
Feeling scientific experiment system, characterized in that the experiment apparatus and the virtual object constitutes an object. 물리 객체와, 상기 물리 객체에 설치되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 센서 모듈과, 상기 물리 객체에 설치되는 출력 모듈을 포함하는 실험기구;
상기 실험기구로부터 상기 인터랙션 정보를 수신하여, 상기 인터랙션 정보에 대응하는 디지털 피드백을 상기 출력 모듈을 통하여 출력시키는 제어부; 및
사용자의 상기 실험기구의 조작 및 상기 디지털 실험대를 촬영하여 3차원 영상정보를 생성하는 촬영부를 포함하고,
상기 제어부는 상기 촬영부에서 생성된 상기 3차원 영상정보를 이용하여 실험 조작 상황을 판단하되,
상기 센서모듈은 가속도, 기울기, 압력, 온도 중 어느 하나 이상을 센싱하고,
상기 출력 모듈은 디스플레이 모듈, 사운드 출력 모듈, 발광 모듈, 액츄에이터 모듈을 포함하는 것을 특징으로 하는 실감 과학실험 시스템.An experiment apparatus including a physical object, a sensor module installed on the physical object to generate interaction information according to a user's operation, and an output module installed on the physical object;
A control unit for receiving the interaction information from the experiment apparatus and outputting digital feedback corresponding to the interaction information through the output module; And
A photographing unit configured to generate a 3D image information by photographing a digital lab table and a manipulation of the apparatus of a user;
The controller determines an experimental manipulation situation using the 3D image information generated by the photographing unit.
The sensor module senses any one or more of acceleration, tilt, pressure, temperature,
The output module is a sensory science experiment system, characterized in that it comprises a display module, a sound output module, a light emitting module, an actuator module. 제12항에 있어서,
사용자의 실험 조작 상황에 대응하는 정보를 표시하는 디지털 실험대를 더 포함하고,
상기 제어부는 상기 판단된 실험 조작 상황을 기초로 상기 실험기구에 대응하는 가상 객체를 생성하고, 상기 생성된 가상 객체를 상기 디지털 실험대에 표시하는 것을 특징으로 하는 실감 과학실험 시스템.The method of claim 12,
Further comprising a digital experiment table for displaying information corresponding to the user's experimental operation situation,
The controller generates a virtual object corresponding to the experimental apparatus based on the determined experimental manipulation situation, and displays the generated virtual object on the digital experiment bench. 제13항에 있어서,
상기 제어부는 상기 판단된 실험 조작 상황을 기초로 실험 결과 또는 실험 관련 정보를 포함하는 이벤트 정보를 상기 디지털 실험대에 더 표시하는 것을 특징으로 하는 실감 과학실험 시스템.The method of claim 13,
And the control unit further displays event information including an experiment result or experiment related information on the digital experiment bench based on the determined experimental manipulation situation. 물리 객체;
상기 물리 객체에 설치되어 사용자의 조작에 따른 인터랙션 정보를 생성하는 센서 모듈;
상기 물리 객체에 설치되는 출력 모듈; 및
상기 센서 모듈에서 생성된 상기 인터랙션 정보를 수신하여, 상기 인터랙션 정보에 대응하는 디지털 피드백을 상기 출력 모듈를 통하여 출력시키는 마이크로 컨트롤러 유닛을 포함하되,
상기 출력 모듈은 디스플레이 모듈, 사운드 출력 모듈, 발광 모듈, 액츄에이터 모듈을 포함하는 것을 특징으로 하는 혼합 객체.Physical objects;
A sensor module installed in the physical object to generate interaction information according to a user's manipulation;
An output module installed in the physical object; And
A microcontroller unit which receives the interaction information generated by the sensor module and outputs digital feedback corresponding to the interaction information through the output module,
The output module includes a display module, a sound output module, a light emitting module, an actuator module. 제15항에 있어서,
상기 센서 모듈은 통신 모듈, 가속도 센서 모듈, 기울기 센서 모듈, 압력 센서 모듈, 온도 센서 모듈 중 하나인 것을 특징으로 하는 혼합 객체.16. The method of claim 15,
The sensor module may be one of a communication module, an acceleration sensor module, a tilt sensor module, a pressure sensor module, and a temperature sensor module. 삭제delete 사용자의 실험기구 조작에 따른 인터랙션 정보를 실험 기구로부터 수신하는 단계;
상기 인터랙션 정보로부터 사용자의 실험 조작 상황을 판단하는 단계;
상기 판단된 실험 조작 상황을 기초로 상기 실험 기구에 대응하는 가상 객체를 생성하는 단계; 및
상기 가상 객체를 디지털 실험대에 표시하는 단계를 포함하되,
상기 실험 조작 상황을 판단하는 단계는,
사용자의 상기 실험기구의 조작 및 상기 디지털 실험대를 촬영하여 3차원 영상정보를 생성하는 단계;
상기 3차원 영상정보를 이용하여 실험 조작상황을 판단하는 단계; 및
상기 인터랙션 정보에 대응하는 디지털 피드백을 상기 실험 기구의 출력 모듈을 통하여 출력시키는 단계를 포함하되,
상기 인터랙션 정보는 상기 실험기구에 부착된 센서 모듈로부터 센싱되는 가속도, 기울기, 압력, 온도 중 하나 이상의 정보이고,
상기 출력 모듈은 디스플레이 모듈, 사운드 출력 모듈, 발광 모듈, 액츄에이터 모듈을 포함하는 것을 특징으로 하는 실감 과학실험 제공 방법.Receiving interaction information according to a user's operation of the experiment apparatus from the experiment apparatus;
Determining an experimental manipulation situation of the user from the interaction information;
Generating a virtual object corresponding to the experimental apparatus based on the determined experimental manipulation situation; And
Displaying the virtual object on a digital bench;
The determining of the experimental operation situation,
Generating 3D image information by photographing the digital lab table and the manipulation of the test apparatus of a user;
Determining an experimental manipulation situation using the 3D image information; And
Outputting digital feedback corresponding to the interaction information through an output module of the experimental instrument,
The interaction information is one or more of acceleration, slope, pressure, temperature sensed from the sensor module attached to the laboratory apparatus,
The output module includes a display module, a sound output module, a light emitting module, an actuator module. 제18항에 있어서,
상기 판단된 실험 조작 상황을 기초로 실험 결과 또는 실험 관련 정보를 포함하는 이벤트 정보를 상기 디지털 실험대에 표시하는 단계를 더 포함하는 것을 특징으로 하는 실감 과학실험 제공 방법.19. The method of claim 18,
And displaying the event information including the experimental result or the experimental related information on the digital experiment table based on the determined experimental operation situation. 삭제delete 삭제delete 삭제delete 제18항에 있어서,
상기 실험기구의 ID 정보를 수신함으로써 상기 실험 기구를 인식하는 단계를 더 포함하는 것을 특징으로 하는 실감 과학실험 제공 방법.19. The method of claim 18,
Recognizing the experimental apparatus by receiving the ID information of the experimental apparatus further comprising a realistic scientific experiment. 제18항에 있어서,
상기 가상 객체를 생성하는 단계는,
상기 실험기구와 상기 디지털 실험대에 형성되는 터치스크린 장치와의 접속 위치에 상기 가상 객체를 표시하는 단계를 포함하는 것을 특징으로 하는 실감 과학실험 제공 방법.19. The method of claim 18,
Generating the virtual object,
And displaying the virtual object at a connection position between the test apparatus and the touch screen device formed on the digital test bench. 제18항에 있어서,
상기 판단된 실험 조작 상황을 기초로 사운드 출력부를 통하여 안내 음성을 제공하는 단계를 더 포함하는 것을 특징으로 하는 실감 과학실험 제공 방법.19. The method of claim 18,
And providing a guide voice through a sound output unit based on the determined experimental operation situation. 제18항에 있어서,
상기 실험기구와 상기 가상 객체는 하나의 물체를 구성하는 것을 특징으로 하는 실감 과학실험 제공 방법.19. The method of claim 18,
And the experiment apparatus and the virtual object constitute a single object.
KR1020110106393A 2011-10-18 2011-10-18 Mixed Object, Tangible Science Experiment System and Providing Method Thereof KR101291602B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110106393A KR101291602B1 (en) 2011-10-18 2011-10-18 Mixed Object, Tangible Science Experiment System and Providing Method Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110106393A KR101291602B1 (en) 2011-10-18 2011-10-18 Mixed Object, Tangible Science Experiment System and Providing Method Thereof

Publications (2)

Publication Number Publication Date
KR20130042219A KR20130042219A (en) 2013-04-26
KR101291602B1 true KR101291602B1 (en) 2013-07-30

Family

ID=48440977

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110106393A KR101291602B1 (en) 2011-10-18 2011-10-18 Mixed Object, Tangible Science Experiment System and Providing Method Thereof

Country Status (1)

Country Link
KR (1) KR101291602B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101360999B1 (en) * 2013-08-09 2014-02-10 코리아디지탈 주식회사 Real time data providing method and system based on augmented reality and portable terminal using the same
CN106781797A (en) * 2016-12-24 2017-05-31 深圳市虚拟现实技术有限公司 Virtual reality teaching method and wear-type virtual reality device
CN110398925B (en) * 2019-08-19 2024-01-30 上海应用技术大学 Chemistry experiment intelligent vehicle system based on Zigbee technique
KR102236256B1 (en) * 2020-04-29 2021-04-05 주식회사 비엠티 Fume hood experience device for science museum
KR102516702B1 (en) * 2020-11-09 2023-03-30 김종훈 Method for providing experimental information using artificial intelligence and apparatus using the same
CN113588859A (en) * 2021-06-24 2021-11-02 同济大学 Chemical experiment device and method for improving chemical experiment experience

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문:한국콘텐츠학회(2010) *
논문:한국콘텐츠학회(2010)*

Also Published As

Publication number Publication date
KR20130042219A (en) 2013-04-26

Similar Documents

Publication Publication Date Title
KR101291602B1 (en) Mixed Object, Tangible Science Experiment System and Providing Method Thereof
KR101338043B1 (en) Cognitive Rehabilitation System and Method Using Tangible Interaction
KR101872426B1 (en) Depth-based user interface gesture control
US9086741B2 (en) User input device
EP2352112B1 (en) Remote control system for electronic device and remote control method thereof
KR101200030B1 (en) Touch pen and touch screen apparatus using the same
CN102033702A (en) Image display device and display control method thereof
CN104765443B (en) Image type virtual interaction device and implementation method thereof
KR101019254B1 (en) apparatus having function of space projection and space touch and the controlling method thereof
KR20100106203A (en) Multi-telepointer, virtual object display device, and virtual object control method
KR101080803B1 (en) Tangibleness Interaction System and Method
KR20140058860A (en) Touch table top display apparatus for multi-user
KR20110044391A (en) Apparatus and method for input
EP2538308A2 (en) Motion-based control of a controllled device
TWI567629B (en) A method and device for controlling a display device
KR20170016695A (en) Interaction controller, system and method for providing haptic feedback using the interaction controller
KR20130057201A (en) System and method for virtual experiment using multiple user terminal
KR20100009023A (en) Apparatus and method for recognizing movement
TW201439813A (en) Display device, system and method for controlling the display device
KR20110130951A (en) Electronic device including 3-dimension virtualized remote controller and driving methed thereof
Zand et al. TiltWalker: operating a telepresence robot with one-hand by tilt controls on a smartphone
Butnariu et al. DEVELOPMENT OF A NATURAL USER INTERFACE FOR INTUITIVE PRESENTATIONS IN EDUCATIONAL PROCESS.
KR101815973B1 (en) Menu sharing system in 3-dimensional shared space and method thereof
KR20170001081U (en) Touch-type controller
KR102023187B1 (en) Detachable Touch Panel Device Equipped with Diplay Device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee