KR20070004466A - The vilture screen and mouse curcer moving method by movement of the display of hand helded information equipment - Google Patents

The vilture screen and mouse curcer moving method by movement of the display of hand helded information equipment Download PDF

Info

Publication number
KR20070004466A
KR20070004466A KR1020060108060A KR20060108060A KR20070004466A KR 20070004466 A KR20070004466 A KR 20070004466A KR 1020060108060 A KR1020060108060 A KR 1020060108060A KR 20060108060 A KR20060108060 A KR 20060108060A KR 20070004466 A KR20070004466 A KR 20070004466A
Authority
KR
South Korea
Prior art keywords
display
virtual screen
information
information terminal
screen
Prior art date
Application number
KR1020060108060A
Other languages
Korean (ko)
Inventor
희 한
Original Assignee
희 한
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 희 한 filed Critical 희 한
Priority to KR1020060108060A priority Critical patent/KR20070004466A/en
Publication of KR20070004466A publication Critical patent/KR20070004466A/en
Priority to KR1020070112106A priority patent/KR100963679B1/en
Priority to PCT/KR2007/005555 priority patent/WO2008054185A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A method for moving a mouse cursor and a virtual screen by moving a display of a small-sized information terminal is provided to be capable of overcoming restrictions on a display window of the terminal, and of expanding the display window as a virtual screen, thus menus or information can be displayed in a much wider space. A user sets an operation distance and a maximum expanding ratio(11). A module for recognizing location information of a displayer is operated to notify a processor of the recognized location information(12). The processor calculates a screen ratio in accordance with change of a distance between the user and the displayer and a location of the displayer on a virtual screen in accordance with up/down/right/left changes(13). A display controller expands or reduces portions of contents located in a memory by using the information(14), and sends the information to the displayer so that the displayer displays the information(15).

Description

소형 정보단말기의 디스플레이를 움직여 가상화면 및 마우스 커서를 이동 시키는 방법 {The Vilture Screen and Mouse Curcer Moving Method by Movement of the Display of Hand Helded Information Equipment}{The Vilture Screen and Mouse Curcer Moving Method by Movement of the Display of Hand Helded Information Equipment}

도 1은 본 발명에 따른 소형 정보 단말장치를 이동 시켜 가상화면의 다른영역을 화면에 나타내는 것을 도시한 개략도.       Figure 1 is a schematic diagram showing a different area of the virtual screen on the screen by moving the small information terminal device according to the present invention.

도 2는 본 발명에 따른 본래의 디스플레이 보다 고해상도의 데이타가 메모리에 저장된 상태에서 디스플레이의 전후 이동에 따른 가상화면 축소/확대 사용 개념을 도시한 개략도.       Figure 2 is a schematic diagram showing the concept of using a virtual screen reduction / enlargement according to the forward and backward movement of the display in a state where the data of higher resolution than the original display according to the present invention is stored.

도 3은 본 발명에 따른, 최초 설정 후 디스플레이의 위치 변화에 따른 화면 배율산정 및 화면 표시 절차 흐름도.       3 is a flowchart of screen magnification and screen display procedure according to a change in position of a display after initial setting according to the present invention;

도 4는 본 발명에 따른, 자이로 센서의 위치 정보를 이용한 가상화면 제공 방법을 예시한 구성도.       Figure 4 is a block diagram illustrating a virtual screen providing method using the position information of the gyro sensor according to the present invention.

도 5는 본 발명에 따른, 카메라를 이용한 디스플레이의 위치정보 인식 방법에 의한 가상화면 제공 방법을 예시한 구성도.       5 is a block diagram illustrating a virtual screen providing method by a method for recognizing a location information of a display using a camera according to the present invention.

도 6은 본 발명에 따른, 기준영역을 설정하고 이를 비교 영상과 비교하여 위치 이동 정보를 식별하는 사례를 도시한 개략도.       FIG. 6 is a schematic diagram illustrating an example of identifying a location movement information by setting a reference area and comparing the same with a comparison image according to the present invention. FIG.

도 7은 본 발명에 따른, 기준영역을 설정하고 이를 비교 영상과 비교하여 전방으로 위치 이동 정보를 식별하는 사례를 도시한 개략도.       FIG. 7 is a schematic diagram illustrating an example of setting a reference region and comparing the position movement information forward by comparing the reference region with the comparison image. FIG.

도 8은 본 발명에 따른, 디스플레이에 가상 커서를 소프트적으로 고정 위치 시킨 상태에서 디스플레이 이동에 따른 가상 커서의 화면 상의 이동을 예시한 개념도.        8 is a conceptual diagram illustrating a movement of a virtual cursor on a screen according to a display movement in a state in which a virtual cursor is softly fixed to a display according to the present invention.

휴대용 소형 정보단말기의 보급과 유무선 통신 수단의 발전은 휴대용 정보단말기를 통한 멀티미디어 정보제공 서비스 시장의 급속한 확대를 가져오고 있다.The proliferation of portable small information terminals and the development of wired and wireless communication means have led to the rapid expansion of the multimedia information service market through portable information terminals.

이러한 시장의 확대에도 불구 하고 휴대용 정보단말장치는 휴대의 간편성을 유지하기 위하여 소형 디스플레이를 사용하고 있다. 디스플레이 크기의 증대는 정보 가독률을 증가시키지만, 무게와 크기의 증가로 인한 휴대 간편성 저하를 방지하기 위하여 불가피하게도 여전히 작은 크기의 디스플레이를 사용하고 있는 실정이다. 그러나 이 같은 소형 디스플레이는 단위 픽셀의 크기의 제한으로 인하여 가시화면의 해상도가 크게 떨어지며 이는 사용자의 정보 가독률을 저하 시키는 주요 요인이 되고 있다. 핸드폰의 경우는 아주 열악한 디스플레이 환경에서 웹 정보를 제공하기 위하여 웹상의 사진이나 기타 정보의 해상도를 별도의 WAP 규격으로 전환해야 하는 어려움을 가지고 있어 컨텐츠 비지니스 발전의 제약 요인으로 작용하고 있다. 이 같은 문제점을 극복하기 위하여서는 단위 픽셀의 크기를 최소화하기 위한 물리적 접근을 시도하고 있으나 현재의 기술로는 이점을 극복하기 위한 물리적 한계에 직면하고 있으며 실제로 고해상도, 예를 들면 1024 X 768, 소형 디스플레이를 고가로 개발하여도 사람의 눈으로 작은 물체와 글자를 읽는 것이 어려우므로 이 또한 한계를 가지고 있다.Despite the expansion of this market, portable information terminal devices use a small display to maintain portability. Increasing the display size increases the readability of information, but inevitably still uses a small size display to prevent a decrease in portability due to an increase in weight and size. However, such a small display has a significant decrease in the resolution of the visible screen due to the limitation of the unit pixel size, which is a major factor in reducing the readability of the user. In the case of a mobile phone, it has a difficulty in converting the resolution of photos and other information on the web into a separate WAP standard in order to provide web information in a very poor display environment. In order to overcome this problem, a physical approach to minimizing the size of the unit pixel is being attempted, but current technology faces a physical limitation to overcome the advantage, and in fact, high resolution, for example, 1024 X 768, small display Even if it is developed at high cost, it is also difficult to read small objects and letters with human eyes, so this also has a limitation.

또 다른 접근 방법은 디스플레이 화면의 한계를 극복하기 위하여 소프트적으로 해상도가 확대된 가상 화면을 만들고 마우스나 키보드의 조작을 통하여 가상 화면을 디스플레이 창으로 이동시키는 기술이 개발되어 과거 소형 노트북의 경우에 적용된 바가 있다. 그러나 이 방법은 키보드나 마우스의 조작으로 소형화면에 확대된 가상 화면을 보여줄 수 있다는 장점이 있으나 조작의 불편함과 가시화면 사이의 이동 시에 어색함을 가지고 있다. 이 기술은 화면의 크기나 무게가 이동에 부적합한 당시의 상황에서 모니터가 당연히 고정된 상태에서 가상화면을 이동시키려는 발상에 의한 기술적 구현이었다. 그러나 현재의 휴대용 정보단말기는 과거의 노트북이나 모니터와는 달리 정보단말 장치 자체가 소형 경량화되어 간편하게 이동시킬 수 있으므로 본 발명에서는 이점에 착안하여 휴대용 정보단말에 적합하도록 과거의 개념을 반대로 적용하였다. Another approach is to overcome the limitations of the display screen and to develop a virtual screen with a softer resolution and to move the virtual screen to the display window using the mouse or keyboard. There is a bar. However, this method has the advantage of showing an enlarged virtual screen on a small screen by the manipulation of a keyboard or a mouse, but has the inconvenience of operation and awkwardness when moving between visible screens. This technology was a technical implementation based on the idea of moving the virtual screen while the monitor was fixed in a situation where the size or weight of the screen was not suitable for movement. However, the present portable information terminal, unlike the notebook or the monitor of the past, since the information terminal device itself is light weight and can be easily moved, in the present invention, the concept of the past has been reversely applied to be suitable for the portable information terminal.

즉, 돋보기로 신문을 볼 때와 같이 가상 대상 화면을 정지시키고 정보단말 모니터 자체를 움직여 가상화면의 필요한 부분의 내용을 찾아 보는 보다 인간 중심의 자연스러운 방법을 고안하였다.In other words, we devised a more human-oriented natural way to find out the contents of the necessary part of the virtual screen by stopping the virtual target screen and moving the information terminal monitor itself as when reading a newspaper with a magnifying glass.

본 발명에서는 이러한 기능을 구현하기 위하여 휴대용 정보단말 장치의 움직임을 식별하여 얻어진 정보를 이용하여 디스플레이 창을 필요한 가상화면 영역으로 이동시키는 방법이 제시되었다. 이 방법은 과거의 방법이 가상화면의 다른 영역을 디스플레이 창으로 마우스나 키보드 조작으로 이동시켰던 것에 비하여 디스플레이 창을 실제로 필요한 만큼 움직여 가상화면의 다른 영역을 볼 수 있게 해 주므로 사용자로 하여금 앞에 펼쳐진 가상화면을 창을 움직여 보는 실감을 느끼게 할 수 있다. 직접움직임의 식별은 장치의 상하좌우 이동은 물론 전후 이동 등의 3차원 이동정보의 인식을 위한 경제적인 구현 방법이 필요한데 상하좌우의 이동은 가상화면 상의 이동을 위한 것이고 전후 이동은 가상 화면상의 축소와 확대를 제어하기 위한 것이다.In the present invention, a method of moving a display window to a required virtual screen area using information obtained by identifying a movement of a portable information terminal device has been proposed to implement such a function. This method allows the user to see the different areas of the virtual screen by moving the display window as much as necessary, rather than moving the other areas of the virtual screen to the display window by mouse or keyboard operation. You can feel the feeling of moving the window. The identification of direct movement requires an economical implementation method for recognizing three-dimensional movement information such as up, down, left and right movement of the device as well as forward and backward movement. To control magnification.

1. 휴대용 정보단말의 이동정보를 이용한 가상화면 사용 방법1. How to use virtual screen using mobile information of portable information terminal

본 발명에서는 소형 정보단말기의 모니터 크기보다 큰 가상의 화면을 보기 위하여 정보단말의 디스플레이를 창으로 하여 이를 공간적으로 이동시켜 가상화면의 다른 영역 내용을 볼 수 있는 새로운 방법을 고안하였다. 또한 정보단말의 디스플레이를 전후로 이동시키고 위치 정보를 식별하여 이 정보를 가상화면을 축소 또는 확대시키는데 사용하는 방법이 함께 고안되었다. 본 고안의 개념을 도 1에서 예를 들어 설명하면 다음과 같다. (1)은 휴대용 정보단말의 디스플레이 창이고 (2)는 정보단말기이다. 현재까지는 이 창의 크기 안에 전체 화면을 띄어 놓고 사용하여 왔다. 예를 들면 핸드폰의 경우는 240X320 픽셀의 해상도를 갖는 QVGA 그래픽 디스플레이를 사용한다. 그러나 본 발명에서는 이 한계를 극복하기 위하여 그래픽 드라이버와 메모리를 이용하여 보다 넓은 가상화면(3)을(예를 들면 1024X768 픽셀) 메모리에 저장하여 놓고 정보단말기 창의 이동 위치를 인식하여 해당 위치의 240X320 픽셀 만큼의 가상화면 영역을 디스플레이(1)의 창에 표시하도록 하였다. 이러한 방법은 마치 정보단말기의 디스플레이어가 이동 위치한 공간에 가상화면이 존재하는 것 같은 효과를 제공한다. 이렇게 하므로서 디스플레이어의 크기의 증가나 해상도 증가를 위한 물리적 투자 없이 사용자의 전면에 가상화면을 전개하여 놓고 사용자가 휴대용 정보단말의 디스플레이어를 돋보기 창처럼 사용하여 이동하므로서 실제 디스플레이의 해상도 보다 큰 해상도의 가상화면을 사용자에게 제공할 수 있다. 이때 확대된 가상화면(3)의 크기는 디스플레이(1)를 사용자의 전면으로 내민 거리에 비례하도록 설정하여야 한다. In the present invention, in order to view the virtual screen larger than the monitor size of the small information terminal, a new method for viewing the contents of the other area of the virtual screen by moving the display of the information terminal spatially is devised. In addition, a method of moving the display of the information terminal back and forth, identifying location information, and using the information to reduce or enlarge the virtual screen has been devised together. The concept of the present invention is described with an example in FIG. 1 as follows. (1) is a display window of a portable information terminal and (2) is an information terminal. Until now, the entire screen has been used within the size of this window. For example, a cell phone uses a QVGA graphics display with a resolution of 240 x 320 pixels. However, in the present invention, in order to overcome this limitation, a wider virtual screen 3 (for example, 1024 X 768 pixels) is stored in the memory using a graphics driver and a memory, and the moving position of the information terminal window is recognized to be 240 x 320 pixels. As many virtual screen areas as possible are shown in the window of the display 1. This method provides the effect that the virtual screen exists in the space where the display terminal of the information terminal is moved. In this way, the virtual screen is deployed in front of the user without increasing the size of the display or the physical investment to increase the resolution, and the user moves the display of the portable information terminal using the magnifier window. Virtualization can be provided to the user. At this time, the size of the enlarged virtual screen 3 should be set to be proportional to the distance from which the display 1 is extended to the front of the user.

또한 도 2와 같이 실제 메모리에 저장된 컨텐츠의 해상도보다 나타내는 가상화면(3)의 크기가 작은 경우, 즉 사용자에 가까운 영역(10)에서는 디스플레이의 위치에 따라 컨텐츠의 실제 해상도를 축소하여 제한된 디스플레이에 표시하고 반대로 실제 컨텐츠의 해상도 보다 더 큰 해상도의 가상화면을 사용할때(영역 (9))는 디스플레이의 위치에 따라 컨텐츠의 해상도를 확대하여 디스플레이에 나타내어 사용할 수 있다. 이를 도 2에서 상세히 설명하면 다음과 같다.Also, as shown in FIG. 2, when the size of the virtual screen 3 that is smaller than the resolution of the content stored in the physical memory is smaller, that is, in the area 10 near the user, the actual resolution of the content is reduced according to the position of the display and displayed on the limited display. On the contrary, when using a virtual screen having a resolution larger than that of the actual content (area 9), the resolution of the content can be enlarged and displayed on the display according to the position of the display. This will be described in detail with reference to FIG. 2.

메모리에 저장된 컨텐츠의 해상도를 Rc(4)라고 하고 디스플레이의 해상도를 Rd(5),사용자가 디스플레이를 전후로 이동하여 선택하는 가상화면의 해상도를 Rv(6)라고 하면 디스플레이가 최초의 위치인 d1(7)의 위치에 있을 때는 Rd(5)의 해상도에 Rc(4)의 화면을 축소하여 전체 화면을 표시하게 된다. 이때의 축소 비율은 Rc/Rd=kL (k는 사용자의 환경설정을 위한 비례상수, L은 메모리에 저장된 컨텐츠의 해상도에 해당하는 위치인 d2와 최초의 디스플레이의 위치인 d1과의 거리) 이다. 예를들어, k가 2 이고 컨텐츠의 해상도가 디스플레이의 해상도 보다 10배의 해상도라면 축소 비율은 10이고 거리 L은 5 센치가 된다. 또한 d ≤ L 이면 가상화면의 해상도는 Rv=Rc/k(L-d)가 되고, d ＞ L 이면 Rv=Rc(d-L)*k 가 된다. 이때 디스플레이에 표시 가능한 가상화면의 영역은 Rd/Rv 만큼만 보여주게 되므로 디스플레이를 상하좌우로 이동하므로써 나머지 영역을 볼 수 있게 된다. 만약 컨텐츠의 해상도 Rc(4)가 디스플레이의 해상도 Rd(5)와 같다면 디스플레이의 위치는 d2(8)와 같으므로 디스플레이를 사용자의 전방으로 움직인다는 것은 디지탈 적인 확대를 하는 영역 (9)에서 만 작동하는 경우가 된다.If the resolution of the content stored in the memory is called Rc (4), the resolution of the display is Rd (5), and the resolution of the virtual screen that the user selects by moving the display back and forth is Rv (6). In the case of 7), the entire screen is displayed by reducing the screen of Rc (4) at the resolution of Rd (5). At this time, the reduction ratio is Rc / Rd = kL (k is a proportionality constant for the user's environment setting, L is a distance between d2, which is a position corresponding to the resolution of the content stored in the memory, and d1, which is the position of the first display). For example, if k is 2 and the resolution of the content is 10 times the resolution of the display, then the reduction ratio is 10 and the distance L is 5 cm. If d ≦ L, the resolution of the virtual screen is Rv = Rc / k (L-d), and if d> L, Rv = Rc (d-L) * k. At this time, the area of the virtual screen that can be displayed on the display shows only Rd / Rv, so the remaining area can be seen by moving the display up, down, left, and right. If the resolution Rc (4) of the content is equal to the resolution Rd (5) of the display, the position of the display is equal to d2 (8), so moving the display forward of the user is only possible in the area of digital enlargement (9). It works.

실제로 이 방법을 정보 단말기에 적용하는 경우는 무한정 확대하는 것은 의미가 없으므로 최대로 확대한 가상화면의 크기를 제한하는 것이 바람직하다. 또한 디스플레이를 상하좌우로 이동 시에 가상화면의 모서리를 벗어난 영역은 의미가 없으므로 디스플레이어가 가상화면의 모서리에 다다르면 화면의 이동을 정지 시켜 더이상의 화면이 없음을 사용자에게 알리는 것이 필요할 것이다. 즉 사전에 설정된 영역 ABCD를 벗어난 영역에서는 화면의 이동을 정지 시키는 것이 필요하다. Indeed, when applying this method to an information terminal, it is not meaningful to expand indefinitely, so it is desirable to limit the size of the virtualized screen to the maximum. In addition, when moving the display up, down, left, or right, the area beyond the edge of the virtual screen is meaningless, and it will be necessary to inform the user that there is no more screen by stopping the screen movement when the display reaches the edge of the virtual screen. That is, it is necessary to stop the movement of the screen in an area outside the previously set area ABCD.

도 3 는 상기의 기능을 수행하기 위한 절차도이다. 사용자는 최초 사용 시에 운영 거리 L과 최대 확대 비율을 설정(11)한다. 정보단말의 평소 다른 사용 시의 계산부하를 줄이기 위해서는 버튼 스위치나 키보드로 고안된 방법의 시작을 선택할 수 있다. 기능의 선택은 디스플레이어의 위치정보를 인식하는 모듈을 작동(12) 시켜 이를 프로세서에 통보하고 프로세서는 사용자와 디스플레이어의 거리의 변화에 따른 화면의 비율과 상하좌우 변화에 따른 가상화면에서의 디스플레이어의 위치를 계산하고(13) 이 정보를 사용하여 디스플레이 제어기가 메모리에 위치한 컨텐츠의 일부분을 확대 또는 축소하여(14) 디스플레이어에 보내어 표시(15)하도록 한다. 3 is a procedure diagram for performing the above function. The user sets 11 the operating distance L and the maximum magnification ratio at the first use. In order to reduce the computational load in the usual use of the information terminal, it is possible to choose the start of a method designed with a button switch or keyboard. The selection of the function activates a module that recognizes the position information of the display device (12) and informs the processor of the display, and the processor displays the ratio of the screen according to the change of the distance between the user and the display and the display on the virtual screen according to the change of the top, bottom, left and right The position of the word is calculated (13) and the information is used to cause the display controller to zoom in or out (14) on a portion of the content located in the memory and send it to the displayer for display (15).

상기와 같은 방법을 통하여 정보단말기의 디스플레이를 사용자의 앞으로 내밀면 보다 확대된 가상화면의 일부분이 정보단말의 디스플레이 창에 나타나게 함으로써 창에 보이는 화면의 확대효과를 제공하게 된다. 마찬가지로 디스플레이 창을 사용자의 앞으로 당기면 덜 확대된 가상화면의 일부를 창을 통하여 보여 주므로써 마치 화면이 축소되어 보여지는 효과를 제공할 수 있게 된다. 따라서 본 발명은 사용자가 사용자의 전면에 거리에 비례한 가상 화면을 신문처럼 만들어 놓고 마치 돋보기로 신문을 보는 것과 동일한 방법으로 화면을 이동 및 확대시켜 보게 되므로, 휴대용 정보단말 장치의 소형 디스플레이로 인한 가독성의 제약이라는 단점을 극복할 수 있게 한다.. By extending the display of the information terminal in front of the user through the method as described above, a portion of the enlarged virtual screen is displayed on the display window of the information terminal, thereby providing an enlargement effect of the screen displayed on the window. Likewise, when the display window is pulled in front of the user, a part of the less enlarged virtual screen is shown through the window, so that the screen can be reduced in size. Therefore, in the present invention, since the user makes a virtual screen proportional to the distance in front of the user like a newspaper and moves and enlarges the screen in the same manner as viewing a newspaper with a magnifying glass, readability due to the small display of the portable information terminal device It can overcome the shortcomings of.

2. 소형 정보단말 장치가 디스플레이 이동정보를 인식하기 위한 방법2. Method for small information terminal device to recognize display movement information

가. 3차원 공간위치 인식을 위한 end. For 3D spatial location recognition 자이로Gyro 센서를 이용한 방법 Method using sensor

이 방법은 가상화면을 제공하기 위하여 소형 정보단말기에 자이로 센서를 부착하여 사용하는 것이다. 한가지 실시예를 도 4에서 설명하면, 자이로 센서(16)로 부터 얻어진 정보를 프로세서(17)에 전송하고 이를 가공하여 디스플레이의 위치정보를 추출하여 내며 이 결과를 디스플레이 제어기(18)에 전송하므로써 메모리(19)에 저장된 보다 고해상도 화면 데이터의 일부를 디스플레이(20)에 표시하도록 하는 방법이다. This method uses a gyro sensor attached to a small information terminal to provide a virtual screen. Referring to FIG. 4, one embodiment transmits the information obtained from the gyro sensor 16 to the processor 17, processes it, extracts the position information of the display, and transmits the result to the display controller 18. A portion of the higher resolution screen data stored in 19 is displayed on the display 20.

이 방법은 정확한 위치를 식별할 수 있다는 장점이 있으나 자이로 센서 부착에 따른 가격과 부피 및 무게의 상승을 감수하여야 한다.This method has the advantage of being able to identify the exact position, but it has to bear the price, volume, and weight of the gyro sensor.

나. 소형 정보단말기에 부착된 카메라를 이용하는 방법I. How to use the camera attached to the small information terminal

소형 정보단말기에 부착된 카메라는 사진이나 동영상을 촬영하는 경우 외에는 정보단말기에서 사용을 하지 않는다. 본 발명에서는 이 같이 평시에 사용하지 않는 카메라를 이용하여 디스플레이의 위치 이동 정보를 식별하는 방법을 고안하여 이를 상기 가상화면 제공 방법에 적용토록 제시하였다.The camera attached to the small information terminal does not use the information terminal except to take a picture or video. The present invention devised a method for identifying the position movement information of the display using a camera that is not normally used as described above and applied to the virtual screen providing method.

한가지 실시 예를 일반적인 정보단말기 구조인 도 5에서 설명하면 카메라(21)로 부터 입력된 정보는 영상처리를 위하여 전용처리장치(23)를 거쳐 메모리(19)에 저장된다. 본 발명에서는 위치정보 식별요구가 정보단말의 버튼 등의 외부 인터페이스 장치(24)에 의하여 프로세서(17)에 통보되면 프로세서(17)는 아래의 기능을 갖는 전용신호처리 장치(23) 또는 소프트 모듈을 가동시켜 디스플레이의 위치정보를 아래와 같은 방법에 의하여 획득한다.5, a general information terminal structure, information input from the camera 21 is stored in the memory 19 through a dedicated processing device 23 for image processing. In the present invention, when the location information identification request is notified to the processor 17 by an external interface device 24 such as a button of an information terminal, the processor 17 uses a dedicated signal processing device 23 or a soft module having the following functions. The position information of the display is obtained by the following method.

1) 2차원 평면에서의 상하좌우 이동 식별1) Up, down, left, and right movement identification in 2D plane

카메라에서 입력되는 영상을 일정 시간 간격(또는 프레임 단위)으로 화면을 캡쳐하여 상호 비교를 하고 이를 통하여 이동의 방향을 도출한다. 이를 위한 영상처리 방법의 한가지 실시 예는 도 6에서와 같이 기준 영상의 중심영역에 비교를 위한 N X M 개의 픽셀 크기의 기준 이미지 창(26)을 선정하고(예; 5X5 픽셀 크기) 이 창을 비교 영상(27) 위에서 차례대로 이동을 하면서 창의 크기 만큼의 비교영상과 기준영상의 차이를 도출한다. 이렇게 하여 얻어진 값 중에서 가장 작은 차이값을 갖는 위치와 기준 영상의 중심 위치와의 거리가 디스플레이가 시간 간격 동안에 이동한 방향과 거리(28)를 나타낸다. 이 방법은 이미지 처리 기술상의 상관관계분석(2차원 Correlation) 기법에 해당된다. 즉 비교 이미지를 Y(i,j), 기준 이미지를 X(n,m)이라고 하면 2차원 상관관계 분석한 결과 데이타 W(i,j)는 아래와 같다.The images input from the camera are captured at predetermined time intervals (or frame units) to compare each other and to derive the direction of movement. An embodiment of the image processing method for this purpose is to select a reference image window 26 of NXM pixel size for comparison to the center region of the reference image as shown in FIG. 6 (e.g., 5X5 pixel size) and compare the window with the comparison image. (27) The difference between the comparison image and the reference image as much as the size of the window is derived by moving from above. The distance between the position having the smallest difference value and the center position of the reference image among the values thus obtained indicates the direction and distance 28 in which the display is moved during the time interval. This method corresponds to the two-dimensional correlation technique in image processing technology. That is, if the comparison image is Y (i, j) and the reference image is X (n, m), the data W (i, j) is as follows.

W(i,j)=∑∑[Y(n+i,m+j)-X(n,m)], [ ]는 절대값W (i, j) = ∑∑ [Y (n + i, m + j) -X (n, m)], where [] is an absolute value

단, ∑ 은 각각 n과 m에 대하여 기준 이미지 픽셀의 가로 세로 픽셀 수 N, M 만큼 한다.However, ∑ is equal to the number of horizontal and vertical pixels N and M of the reference image pixel for n and m, respectively.

이러한 이동정보 식별은 획득되는 영상의 매 앞 뒤 프레임에 계속적으로 적용하므로써 연속적인 위치 이동 정보를 식별하게 할 수 있다.Such movement information identification can be continuously applied to every front and back frame of the acquired image to identify continuous position movement information.

2) 디스플레이의 사용자 앞뒤로의 이동 식별2) Identify the movement back and forth of the user on the display

정보단말기에 부착된 카메라가 앞뒤로 움직이면 입력되는 영상은 화면의 중심으로부터 확대/축소된 이미지가 입력된다. 따라서 비교 이미지를 점진적으로 축소/확대하면서 기준이미지와 비교하면 차이가 가장 적은 상태의 이미지 확대/축소 상태가 디스플레이의 전후 이동 정보를 가리킨다.When the camera attached to the information terminal moves back and forth, the input image is input to the image enlarged / reduced from the center of the screen. Therefore, when the comparison image is gradually reduced and enlarged and compared with the reference image, the image enlargement / reduction state with the least difference indicates the forward and backward movement information of the display.

기준 이미지 창의 크기나 확대/축소를 정밀하게 하면 보다 정확한 결과를 얻을 수 있으나 계산량의 증가로 인한 하드웨어에서의 계산 소요시간이 영상 간의 시간 간격 이내에 드는 범위에서 창의 크기와 축소/확대 정밀도를 조절하여 적용하여야 함은 물론이다.If the size or zoom of the reference image window is precise, more accurate results can be obtained, but the adjustment of the window size and reduction / enlargement precision is applied within the range that the calculation time in hardware due to the increase of the calculation amount is within the time interval between images. Of course it should.

3. 디스플레이 이동 정보로 가상화면을 제공하는 기법을 이용한 가상 마우스와 키보드 구현 방법3. Implementation method of virtual mouse and keyboard using the technique of providing virtual screen with display movement information

가. 가상 커서 사용 방법end. How to use virtual cursors

소형 정보단말기가 과거의 마우스 크기로 줄어 들게 되므로서 주변 장치의 크기가 장비의 설계에 커다란 영향을 끼치게 되었다. 따라서 이러한 문제점을 극복하기 위하여 본 발명에서는 상기 1,2항에서 고안한 가상화면 제공 방법을 마우스와 키보드에 적용하는 방안을 아래와 같이 고안하였다. As smaller information terminals have been reduced to the size of the mouse in the past, the size of the peripheral device has had a major impact on the design of the equipment. Therefore, in order to overcome such a problem, the present invention has devised a method of applying the virtual screen providing method devised in the above paragraphs 1,2 and mouse as follows.

첫째, 정보단말기(31) 디스플레이의 한곳(예;중앙)에 소프트적으로 마우스 커서를 고정적으로 오버레이 시킨다(30)(이하; 가상커서). 단, 필요 시 이 가상커서는 디스플레이가 공간적으로 이동 시에만 나타나게 프로그래밍 하므로써 평시 화면을 가리는 것을 방지할 수 있다.First, the mouse cursor is fixedly overlaid on a place (eg, the center) of the information terminal 31 (30) (hereinafter referred to as a virtual cursor). However, if necessary, this virtual cursor can be prevented from covering up the normal screen by programming the display to appear only when it moves spatially.

둘째, 정보단말기를 이동시켜 나타난 가상화면(32) 안에서 클릭이 필요한 위치를 디스플레이 상의 가상커서(33)(예;중앙) 아래에 오도록 한다. Secondly, the position where the click is required within the virtual screen 32 displayed by moving the information terminal is below the virtual cursor 33 (eg, the center) on the display.

세째, 정보단말기에 위치한 버튼을 클릭하여 가상커서를 클릭한다.Third, click the virtual cursor by clicking the button located on the information terminal.

이 방법은 디스플레이와 화면을 고정시키고 마우스를 움직이던 종래의 개념 을 반대로 적용하였다. 즉, 마우스 커서를 디스플레이의 한곳에 위치시키고 디스플레이를 이동시켜 가상화면을 이동시키는 방법으로 클릭이 필요한 곳을 가상 커서 아래로 이동시키는 새로운 개념을 고안하였다. 또한 이 방법은 동일한 개념을 키보드나 키패드에 적용하여 키보드를 대치한 가상키보드에도 사용할 수 있다. 예를 들면 핸드폰이나 PDA 화면에 키패드를 나타내고 핸드폰이나 PDA를 상하좌우로 이동시켜서 가상 커서 상에 필요한 키가 위치하게 하여 이를 클릭 하므로써 물리적인 키패드를 대신 할 수 있다. This method reverses the conventional concept of fixing the display and the screen and moving the mouse. In other words, the new concept of moving the virtual screen by placing the mouse cursor in one place of the display and moving the display moves the virtual cursor down the virtual cursor. The same concept can also be applied to a keyboard or keypad to replace a keyboard. For example, the keypad can be displayed on the screen of a mobile phone or PDA, and the required key is placed on the virtual cursor by moving the mobile phone or PDA up, down, left, or right to replace the physical keypad.

나. 가상 커서를 위한 가상화면의 여분 설정방법I. How to configure extra virtual screen for virtual cursor

상기 방법을 실제로 적용하기 위해 가상 커서를 디스플레이 상의 절대 위치인 한곳에 위치 시에 가상화면을 이동시키면 가상화면의 변두리에 위치한 곳은 가상커서 아래로 이동시키기가 곤란하다. 따라서 이 문제를 극복하기 위하여는 실제화면 밖에 여분영역을 가상화면상에 나타내어 디스플레이를 이동 시에 실제화면의 가장자리까지 가상 커서를 갈 수 있도록 할 수 있다. 그러나 이 방법은 가상화면상 여분의 공간을 위한 메모리 공간을 필요로 하고 화면의 모습을 부자연스럽게 할 수도 있다.In order to actually apply the method, if the virtual screen is moved when the virtual cursor is positioned at an absolute position on the display, it is difficult to move the virtual cursor below the virtual cursor at the edge of the virtual screen. Therefore, in order to overcome this problem, an extra area is displayed on the virtual screen outside the actual screen so that the virtual cursor can be moved to the edge of the actual screen when the display is moved. However, this method requires extra memory space for virtualization and can make the screen look unnatural.

가상화면의 여분공간을 줄이기 위해서는 정보단말기를 사용자 앞으로 내밀어 가상화면을 확대하여 사용하면 디스플레이 변두리와 가상 커서 간의 거리이격효과가 줄어드므로 가상화면의 여분공간 폭을 줄일 수 있다. 예를들면, 실제 제품에 적용 시에는 4배 확대된 가상 화면에서는 디스플레이 폭의 1/4 만큼의 여분의 공간이면 화면의 변두리까지를 중앙에 위치시킨 가상 커서 아래로 이동시킬 수 있다.In order to reduce the extra space of the virtual screen, the information terminal is extended to the user and the virtual screen is enlarged so that the distance between the display edge and the virtual cursor is reduced, thereby reducing the extra space of the virtual screen. For example, when applied to a real product, in a virtual screen enlarged 4 times, if the extra space is 1/4 of the display width, the edge of the screen can be moved under the virtual cursor centered.

본 발명에서 제시한 방법은 마우스나 키패드 등의 인터페이스 장치를 소프트적으로 대신 할 수 있으므로 제조 비용의 절감과 소형/경량화를 실현시킬 수 있다.The method proposed in the present invention can replace the interface device such as a mouse or a keypad softly and can realize a reduction in manufacturing cost and a small size / light weight.

다. 디스플레이 이동정보를 이용하여 All. Using display movement information 가상커서를Virtual cursor 이동시켜 클릭 방법 How to move it and click

가상화면을 확대하지 않고 본래의 화면에서 가상커서를 사용할 경우에는 디스플레이의 이동 정보를 가상커서에 연동시켜 가상커서를 화면 위에서 이동 시키는 방법에 의하여 디스플레이 자체를 마우스로 사용할 수도 있다. 이 방법은 상기 나항의 변두리를 가상커서 아래로 이동 시키기 위하여 여분의 공간을 부여 시의 단점을 제거하기 위하여 사용 될 수 있다. 즉, 디스플레이 창이 가상공간의 변두리를 나타내면 더 이상의 가상화면 이동을 중지하고 이때 부터는 가상 커서를 이동하게 하는 방법을 적용하므로써 상기 나 항에서 기술한 가상화면의 여분의 공간을 나타내는 것을 대신하여 가상 커서로 화면의 변두리에 위치한 클릭바를 클릭 할 수 있게 해준다. 물론 이때 디스플레이 이동과 화면상의 가상커서 이동 속도를 조절 시키므로써 사용자의 편의를 보완할 수 있다.When the virtual cursor is used on the original screen without enlarging the virtual screen, the display itself may be used as a mouse by moving the virtual cursor on the screen by interlocking the movement information of the display with the virtual cursor. This method can be used to eliminate the drawbacks of giving extra space to move the edge of the term below the virtual cursor. In other words, if the display window shows the edge of the virtual space, the virtual screen stops moving further and the virtual cursor is moved from this point onwards. Allows you to click on the click bar at the edge of the screen. Of course, the user's convenience can be supplemented by adjusting the display movement and the virtual cursor movement speed on the screen.

본 발명은 The present invention

첫째; 소형 정보단말기의 디스플레이 창의 한계를 극복하고 이를 가상화면으로 확대하여 주므로 보다 넓은 공간에 메뉴나 각종 정보를 표시할 수 있게 해준다. 따라서 이를 핸드폰에 적용 시에는 디스플레이의 크기를 증가시키지 않고도 넓은 화면상에 정보를 제공할 수 있다.      first; It overcomes the limitations of the display window of the small information terminal and expands it to the virtual screen, making it possible to display menus and various information in a larger space. Therefore, when applied to a mobile phone can provide information on a wide screen without increasing the size of the display.

둘째; 돋보기로 신문을 읽듯이 정보단말기를 상하좌우로 이동시키는 사용자의 움직임에 연동 되어 확장된 가상화면을 연속적으로 보여 줄 수 있고 화면확대 및 축소가 필요시에는 정보단말을 단순히 사용자의 전면으로 내밀어 주거나 당겨 주는 동작만으로 화면의 확대 및 축소가 가능하므로 사람이 일상에서 물건이나 정보를 얻는 방법과 매우 유사한 수준의 자연스러움을 제공한다. second; Like reading a newspaper with a magnifying glass, the user can move the information terminal up, down, left, and right to show the extended virtual screen continuously, and when the screen needs to be enlarged or reduced, simply push or pull the information terminal to the front of the user. It can zoom in and out by just giving, giving a level of naturalness that is very similar to how people get things or information in their daily lives.

셋째; 상기의 기능이 별도의 키 조작이 없이 사용자의 자연스러운 움직임으로 구현이 가능하다.third; The above function can be implemented by the user's natural movement without a separate key operation.

넷째; 카메라를 이용한 정보단말의 움직임 식별방법은 별도의 하드웨어 추가 없이 정보단말의 움직임을 식별할 수 있어 장비의 소형 경량화는 물론 비용의 증가를 요구하지 않는다.fourth; The motion identification method of the information terminal using a camera can identify the motion of the information terminal without adding additional hardware, and thus does not require small and light weight of the equipment and increase of cost.

다섯째; 가상화면을 고정 시키고 정보단말기를 움직여 필요한 화면의 위치를 찾아보는 방법을 마우스나 키패드에 적용 시에는 정보단말기의 마우스나 키패드를 대신 할 수 있어 장비의 소형화/경량화를 강화 시키고 비용을 절감할 수 있다.fifth; When applying the method of fixing the virtual screen and moving the information terminal to find the required screen position on the mouse or keypad, it can replace the mouse or keypad of the information terminal, which can enhance the miniaturization / light weight of the equipment and reduce the cost. .

Claims (3)

휴대 가능한 정보단말기의 소형 디스플레이 창의 제약을 극복하기 위하여, 확장된 해상도의 가상화면을 공간적으로 정지된 디스플레이 창에 키보드나 마우스에 의하여 이동시켜 가상화면의 필요영역을 보여 주던 과거의 개념과 반대로, In order to overcome the limitations of the small display window of a portable information terminal, contrary to the concept of the past, where a virtual screen with an extended resolution was moved to a spatially stationary display window by a keyboard or a mouse to show a required area of the virtual screen. 가상화면을 이동시키지 않고 소형 정보단말기의 디스플레이 창 자체를 공간적으로 이동시켜 가상화면 상의 필요영역을 볼 수 있게 하는 것을 특징으로 하는 가상화면 제공 방법에 있어서 In the virtual screen providing method characterized in that to move the display window itself of the small information terminal without moving the virtual screen spatially to view the required area on the virtual screen. 가. 정보단말기 디스플레이 창이 물리적으로 이동하여 위치한 영역에 해당되는 가상화면 영역의 데이타를 정보단말기 디스플레이 창에 보내기 위하여, 정보단말기의 디스플레이 창의 상하좌우 이동정보를 식별하고 이를 이용하는 것을 특징으로 하는 가상화면 제공방법: end. Method for providing a virtual screen characterized in that the identification information is used to identify the upper and lower left and right movement information of the display window of the information terminal in order to send data of the virtual screen area corresponding to the area where the information terminal display window is physically moved to the information terminal display window: 나. 소형 정보단말기를 사용자의 앞으로 내밀거나 잡아 당기면 디스플레이 창의 이동정보를 식별하여 정보단말기의 디스플레이 창의 화면을 확대하거나 축소시키는 것을 특징으로 하는 가상화면 제공방법 I. Displaying the movement information of the display window when the small information terminal is pushed forward or pulled in front of the user to provide a virtual screen, characterized in that to enlarge or reduce the screen of the display terminal of the information terminal 다. 소형 정보단말기 사용자가 가상화면 제공 모드 선택 시에 All. When a small information terminal user selects a virtual screen providing mode 첫째, 디스플레이의 위치정보를 인식하는 모듈을 작동 시키고First, activate the module to recognize the location information of the display 둘째, 위치정보 인식 모듈의 출력을 프로세서 또는 제어 모듈에 전송하고Second, transmit the output of the location information recognition module to the processor or the control module 세째, 프로세서나 제어 모듈이 사용자와 디스플레이 간의 거리의 변화에 따른 비율과 상하좌우 이차원 이동에 다른 가상화면에서의 디스플레이의 위치를 계산 하며Third, the processor or the control module calculates the position of the display in the virtual plane different from the ratio of the distance between the user and the display and the two-dimensional movement 네째, 이 정보를 사용하여 디스플레이 제어 모듈을 통제하고 메모리에 위치한 가상화면의 정보의 일부를 확대 또는 축소하여 디스플레이에 보내는 것을 특징으로 하는 소형 정보단말 디스플레이에 가상화면 제공 방법Fourth, using this information to control the display control module and to enlarge or reduce a part of the information on the virtual screen located in the memory to provide a virtual screen to the small information terminal display, characterized in that for sending to the display. 라. 상기 가, 나 다 항의 방법을 적용 시에 무한정 가상 화면의 확대는 불필요 하므로 간편히 소형 정보단말을 움직일 수 있는 공간 범위와 그에 따른 가상화면의 해상도 범위를 사전에 설정하고 디스플레이의 위치가 이 범위를 벗어나면 더이상의 가상화면의 변화를 정지시켜 사용자로 하여금 가상화면의 테두리에 디스플레이가 위치하고 있다는 것을 알려 주는 것을 특징으로 하는 가상화면 제공 방법 la. When applying the above-mentioned methods, it is unnecessary to enlarge the virtual screen indefinitely, so the space range in which the small information terminal can be easily moved and the resolution range of the virtual screen in advance are set in advance, and the position of the display is outside this range. The virtual screen providing method characterized in that the user stops the change of the virtual screen any more to inform the user that the display is located at the edge of the virtual screen. 가상화면을 이동시키지 않고 소형 정보단말기의 디스플레이 창 자체를 공간적으로 이동시켜 가상화면 상의 필요영역을 볼 수 있게 하는 것을 특징으로 하는 가상화면 제공 방법에 있어서  In the virtual screen providing method characterized in that to move the display window itself of the small information terminal without moving the virtual screen spatially to view the required area on the virtual screen. 정보단말기의 물리적 이동 정보를 획득하기 위하여To obtain physical movement information of the information terminal 가. 자이로 센서를 소형 정보단말기에 부착하고 이 센서의 출력 정보를 프로세서에 전송시켜, 프로세서로 하여금 메모리에 저장된 가상화면의 필요부분을 디스플레이 창으로 전송/ 제어하는데 사용되도록 하는 것을 특징으로 하는 디스플레이 이동 정보 획득방법. end. Gyro sensor is attached to a small information terminal and the output information of the sensor is transmitted to the processor so that the processor can be used to transmit / control the necessary portion of the virtual screen stored in the memory to the display window. Way. 나. 소형 정보단말에 부착 된 카메라가 촬영한 영상정보를 분석하여 카메라가 부착된 디스플레이 창의 공간적 위치 정보를 획득하는 것을 특징으로 하는 디스 플레이 창 이동정보 획득 방법 I. Display window movement information acquisition method characterized by acquiring spatial position information of a display window to which a camera is attached by analyzing image information captured by a camera attached to a small information terminal 다. 상기 카메라를 이용한 디스플레이 이동정보 획득 방법에 있어서, 상하좌우 평면 이동 정보를 카메라 영상으로 부터 얻어내기 위하여 All. In the method of acquiring display movement information using the camera, to obtain up, down, left and right plane movement information from a camera image 첫째, 일정 시간 간격으로 카메라 영상을 캡쳐 하는 단계;First, capturing a camera image at a predetermined time interval; 둘째, 직전에 캡쳐 된 영상의 중앙부분의 일정영역을 기준 영상으로 하는 단계;Secondly, setting a predetermined region of a central portion of an image captured immediately before as a reference image; 셋째, 다음 프레임에 캡쳐 된 영상을 비교 영상으로 하여 비교 영상과 기준영상의 차이를 도출하고 최소의 차이 값을 갖는 지점을 발견하는 단계;Third, deriving a difference between the comparison image and the reference image by using the image captured in the next frame as a comparison image and finding a point having a minimum difference value; 넷째, 상기 지점과 중앙 점과의 거리로 카메라(디스플레이 창)의 이동방향과 거리를 식별하는 단계;Fourth, identifying the moving direction and distance of the camera (display window) by the distance between the point and the center point; 다섯째, 계속 이동정보를 획득하기 위하여 상기 네 가지 과정을 반복하여 지속적으로 수행하는 것을 포함하는 것을 특징으로 하는 디스플레이 이동정보 획득 방법.Fifth, the method for obtaining display movement information comprising continuously performing the above four processes to continuously acquire movement information. 라. 상기 카메라를 이용한 디스플레이 이동정보 획득 방법에 있어서, 사용자의 전면으로 카메라가 부착된 디스플레이를 밀고 당길 경우 디스플레이의 공간 정보를 획득하기 위하여 la. In the method of obtaining display movement information using the camera, in order to obtain spatial information of the display when the user is pushing and pulling the display attached to the camera in front of the user. 첫째, 일정시간 간격으로 카메라 영상을 캡쳐하는 단계;First, capturing a camera image at a predetermined time interval; 둘째, 직전에 캡쳐된 영상의 중앙부분의 일정영역을 기준 영상으로 하는 단계;Secondly, setting a predetermined region of a central portion of an image captured immediately before as a reference image; 셋째, 이번에 캡쳐 된 영상의 일정부분을 단계적으로 축소/확대하여 기준영 상과 비교를 하여 최소의 오차가 되는 축소/확대 비율을 발견하는 단계;Thirdly, finding a reduction / enlargement ratio that is a minimum error by comparing the reference image with a predetermined portion of the captured image in steps; 넷째, 이 비율정보를 사용하여 카메라가 부착된 디스플레이의 이동 방향과 거리를 식별하는 단계Fourth, identifying the moving direction and distance of the camera-attached display using this ratio information. 다섯째, 계속 이동정보를 획득하기 위하여 상기 네 가지 과정을 반복하여 지속적으로 수행하는 것을 포함하는 것을 특징으로 하는 디스플레이의 전후 이동 정보를 획득하는 방법 Fifth, a method of acquiring forward and backward movement information of a display, comprising continuously performing the above four processes to continuously acquire movement information. 마. 상기 카메라를 이용한 디스플레이 이동정보 획득 방법에 있어서,카메라를 부착한 디스플레이가 2차원 평면과 전후 이동을 복합한 3차원 이동 시에 디스플레이의 공간 정보를 획득하기 위하여 hemp. In the method of acquiring display movement information using the camera, in order to obtain spatial information of the display when the display with the camera is three-dimensional movement combined with a two-dimensional plane and a forward and backward movement. 상기 다항과 라항의 방법을 일정시간 간격으로 캡쳐 된 매 프레임 마다 복합적으로 적용하는 것을 특징으로 하는 디스플레이 3차원 이동 정보 획득 방법Method for obtaining display 3D movement information, characterized in that the method of the polynomials and Rahans are applied to every frame captured at a predetermined time interval 상기 소형 정보단말기의 디스플레이 창 자체를 공간적으로 이동시키고 이 이동정보를 사용하여 소형정보 단말기의 디스플레이 상에 가상화면 상의 필요영역을 볼 수 있게 하는 가상화면 제공 방법을 A method of providing a virtual screen that spatially moves the display window itself of the small information terminal and uses the movement information to view the required area on the virtual screen on the display of the small information terminal. 정보단말기의 마우스 기능 구현에 적용하기 위하여. To apply to the implementation of the mouse function of the information terminal. 가. 마우스커서를 디스플레이상에 특정 위치에 고정 시키고 소형 정보단말의 디스플레이를 이동 시켜 마우스 기능을 실현하기 위하여 end. To realize the mouse function by fixing the mouse cursor to a specific position on the display and moving the display of the small information terminal. 첫째, 소형 정보단말기의 디스플레이의 한곳(예; 중앙)을 마우스 커서의 위 치로 고정 설정하고First, set one position (eg center) of the display of the small information terminal to the position of the mouse cursor. 둘째, 커서의 이동이 필요할 경우 디스플레이를 상하좌우로 이동시켜 디스플레이에 고정 설정한 커서 아래로 가상화면을 이동시키는 단계;Secondly, moving the display up, down, left, or right to move the virtual screen below the cursor fixed to the display when the cursor needs to be moved; 셋째, 디스플레 상에 고정된 커서가 가상화면 상의 클릭바 위로 위치 시에 클릭 바에 커서가 위치함을 알리는 표시를 하는 단계;Thirdly, displaying an indication that the cursor is positioned on the click bar when the cursor fixed on the display is positioned above the click bar on the virtual screen; 네째, 가상화면 상의 클릭바 위에 위치한 커서를 클릭하기 위하여 소형 정보단말기의 버튼 또는 기타 입력 장치를 클릭하는 단계를 포함하는 것을 특징으로 하는 디스플레이 이동에 의한 마우스 기능 구현 방법Fourth, the method for implementing a mouse function by moving the display, comprising the step of clicking a button or other input device of a small information terminal to click a cursor located on a click bar on a virtual screen. 나. 상기 가 항에서 디스플레이의 한곳(예; 중앙)에 고정 위치 된 커서를 화면의 방해를 줄이기 위하여 디스플레이의 이동 시에 만 표시토록 하는 방법 I. In the above paragraph, a method in which a cursor fixed at one position (eg, the center) of the display is displayed only when the display is moved to reduce the disturbance of the screen. 다. 키보드나 키패드를 가상화면에 소프트적으로 표시하고 상기 가 항의 마우스 기능을 사용하여 화면상의 특정 키패드 이미지를 클릭하여 소형 정보단말의 입력수단으로 사용하는 방법 All. How to display the keyboard or keypad softly on the virtual screen and use the mouse function of the above item to click a specific keypad image on the screen and use it as the input means of the small information terminal. 라. 상기 가 항의 기능 구현 시 가상화면의 끝이 디스플레이에 표시 되었을 경우 디스플레이의 한곳(예; 중앙)에 위치한 커서를 가상화면의 변두리에 까지 이동 위치 시킬 수 있게 하기 위하여 가상화면의 끝이 디스플레이에 표시 되었을 경우 사용자가 디스플레이를 계속 이동 시키면 가상화면이 아니라 커서를 이동하게 하는 방법 la. When the end of the virtual screen is displayed on the display when the function of the above item is implemented, the end of the virtual screen may be displayed on the display to move the cursor located at one edge of the display to the edge of the virtual screen. If the user moves the display continuously, the cursor moves instead of the virtual screen 마. 가상확대화면이 아닌 최초의 화면 상에서, 디스플레이 움직임을 커서에 연동 시키므로써 사용자가 소형정보 단말기를 상하좌우로 이동시켜 커서를 움직이 는 것을 특징으로 하는 마우스 기능 구현 방법 hemp. Method of implementing a mouse function, characterized in that the user moves the cursor by moving the small information terminal up, down, left, and right by linking the display movement to the cursor on the first screen, not the virtual enlarged screen.
KR1020060108060A 2006-11-03 2006-11-03 The vilture screen and mouse curcer moving method by movement of the display of hand helded information equipment KR20070004466A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060108060A KR20070004466A (en) 2006-11-03 2006-11-03 The vilture screen and mouse curcer moving method by movement of the display of hand helded information equipment
KR1020070112106A KR100963679B1 (en) 2006-11-03 2007-11-05 Display method of a virtual screen by movement of hand helded information equipment
PCT/KR2007/005555 WO2008054185A1 (en) 2006-11-03 2007-11-05 Method of moving/enlarging/reducing a virtual screen by movement of display device and hand helded information equipment using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060108060A KR20070004466A (en) 2006-11-03 2006-11-03 The vilture screen and mouse curcer moving method by movement of the display of hand helded information equipment

Publications (1)

Publication Number Publication Date
KR20070004466A true KR20070004466A (en) 2007-01-09

Family

ID=37870661

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020060108060A KR20070004466A (en) 2006-11-03 2006-11-03 The vilture screen and mouse curcer moving method by movement of the display of hand helded information equipment
KR1020070112106A KR100963679B1 (en) 2006-11-03 2007-11-05 Display method of a virtual screen by movement of hand helded information equipment

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020070112106A KR100963679B1 (en) 2006-11-03 2007-11-05 Display method of a virtual screen by movement of hand helded information equipment

Country Status (2)

Country Link
KR (2) KR20070004466A (en)
WO (1) WO2008054185A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009096644A1 (en) * 2008-02-01 2009-08-06 Lg Electronics Inc. A user interface for a mobile device
WO2009128593A1 (en) * 2008-04-17 2009-10-22 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
KR20100048747A (en) * 2008-10-31 2010-05-11 한국과학기술원 User interface mobile device using face interaction
US8195220B2 (en) 2008-02-01 2012-06-05 Lg Electronics Inc. User interface for mobile devices

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101527017B1 (en) * 2008-12-22 2015-06-09 엘지전자 주식회사 Mobile terminal and method displaying broadcasting channel thereof
KR101596673B1 (en) * 2009-09-01 2016-02-23 엘지전자 주식회사 Image Display Device and Operating Method for the Same
KR101250201B1 (en) * 2009-09-22 2013-04-03 에스케이플래닛 주식회사 Mobile terminal and method for displaying object using distance sensing
US10872454B2 (en) 2012-01-06 2020-12-22 Microsoft Technology Licensing, Llc Panning animations
US9201625B2 (en) 2012-06-22 2015-12-01 Nokia Technologies Oy Method and apparatus for augmenting an index generated by a near eye display
CN104216634A (en) * 2014-08-27 2014-12-17 小米科技有限责任公司 Method and device for displaying manuscript
KR101875425B1 (en) * 2018-03-19 2018-07-09 이민영 System for education golf using an augmented reality

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2554740B2 (en) * 1989-04-10 1996-11-13 株式会社東芝 Enlarged display method of trend graph
US6668177B2 (en) * 2001-04-26 2003-12-23 Nokia Corporation Method and apparatus for displaying prioritized icons in a mobile terminal
US6879331B2 (en) * 2002-10-03 2005-04-12 International Business Machines Corporation Method and apparatus for implementing enlarged virtual screen using dynamic zone-compression of screen content
KR20050092137A (en) * 2004-03-15 2005-09-21 차호석 Method for displaying image data using a mobile phone and computer readable record medium on which a program therefor is recorded
KR20050116661A (en) * 2004-06-08 2005-12-13 이상백 Method for displaying contents in mobile terminal having restricted size display and mobile terminal thereof
KR100725014B1 (en) * 2005-01-20 2007-06-04 에스케이 텔레콤주식회사 Method and apparatus for displaying according to moving of terminal

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009096644A1 (en) * 2008-02-01 2009-08-06 Lg Electronics Inc. A user interface for a mobile device
US8195220B2 (en) 2008-02-01 2012-06-05 Lg Electronics Inc. User interface for mobile devices
US8423076B2 (en) 2008-02-01 2013-04-16 Lg Electronics Inc. User interface for a mobile device
WO2009128593A1 (en) * 2008-04-17 2009-10-22 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
US9582049B2 (en) 2008-04-17 2017-02-28 Lg Electronics Inc. Method and device for controlling user interface based on user's gesture
KR20100048747A (en) * 2008-10-31 2010-05-11 한국과학기술원 User interface mobile device using face interaction

Also Published As

Publication number Publication date
KR100963679B1 (en) 2010-06-15
KR20080040614A (en) 2008-05-08
WO2008054185A1 (en) 2008-05-08

Similar Documents

Publication Publication Date Title
KR100963679B1 (en) Display method of a virtual screen by movement of hand helded information equipment
KR102653850B1 (en) Digital photographing apparatus and the operating method for the same
US9571734B2 (en) Multi display device and method of photographing thereof
EP1255186A2 (en) Web browser user interface for low-resolution displays
KR100764698B1 (en) Mobile device and user interface control method therefor based on pattern cognition and analysis of image captured by camera
KR20070026659A (en) Discontinuous zoom
US20200218921A1 (en) Mobile surveillance apparatus, program, and control method
JPH0713554A (en) Device and method for display
RU2606214C2 (en) Control device, image forming system, control method and record medium
JP2006236013A (en) Environmental information exhibition device, environmental information exhibition method and program for the method
KR20140010541A (en) Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal
JP2002351603A (en) Portable information processor
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
JP2004193933A (en) Image enlargement display method, its apparatus, and medium program
US20210117048A1 (en) Adaptive assistive technology techniques for computing devices
KR20150106330A (en) Image display apparatus and image display method
CN107870703A (en) Method, system and the terminal device of full-screen picture displaying
JP5523086B2 (en) Information presenting apparatus, information presenting method, and program
CN103391396A (en) Display control apparatus, display control method, and program
US20070216762A1 (en) Video Device
WO2021076380A1 (en) Eye gaze control of magnification user interface
EP2847685B1 (en) Method for controlling a display apparatus using a camera based device and device thereof.
JP2018010589A (en) Information processing apparatus, information processing method, and program
KR20180052501A (en) Display device and operating method thereof for the same
US20160171333A1 (en) User terminal device and method for controlling the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal