JP2006080959A - Image reproduction method - Google Patents

Image reproduction method Download PDF

Info

Publication number
JP2006080959A
JP2006080959A JP2004263749A JP2004263749A JP2006080959A JP 2006080959 A JP2006080959 A JP 2006080959A JP 2004263749 A JP2004263749 A JP 2004263749A JP 2004263749 A JP2004263749 A JP 2004263749A JP 2006080959 A JP2006080959 A JP 2006080959A
Authority
JP
Japan
Prior art keywords
image
image data
parameter
terminal
network camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004263749A
Other languages
Japanese (ja)
Other versions
JP4654463B2 (en
Inventor
Kensuke Sumitomo
健介 住友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips System Solutions Inc
Original Assignee
MegaChips System Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips System Solutions Inc filed Critical MegaChips System Solutions Inc
Priority to JP2004263749A priority Critical patent/JP4654463B2/en
Priority to CNA200580000098XA priority patent/CN1765131A/en
Priority to PCT/JP2005/014284 priority patent/WO2006027915A1/en
Publication of JP2006080959A publication Critical patent/JP2006080959A/en
Application granted granted Critical
Publication of JP4654463B2 publication Critical patent/JP4654463B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To smoothly reproduce an image picked up by a network camera even in a cellular phone terminal with the restriction of resources and a limit of a communication buffer size. <P>SOLUTION: A parameter setting part 611 of the cellular phone terminal inputs a fixed parameter from an initial setting storage part 58. The fixed parameter is transmitted to the network camera 1 by a parameter setting part 611. The network camera 1 performs the compression processing of an image, etc. according to the received parameter and accumulates pieces of still image data of a plurality of frames. Next, when a communication session is established between the cellular phone terminal and the network camera 1, pieces of the still image data of the plurality of frames are distributed while the session is maintained. The cellular phone terminal switches the pieces of the still image data and continuously reproduces them. Thus, pseudo moving images are reproduced. The pseudo moving images are sequentially reproduced by repeatedly executing such processing. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、携帯電話などの端末において、カメラが撮像した画像をネットワークを介して取得、表示するための技術に関する。   The present invention relates to a technique for acquiring and displaying an image captured by a camera via a network in a terminal such as a mobile phone.

ネットワークカメラあるいはWEBカメラと呼ばれる機器は、画像撮像センサを備えるとともにWEBサーバ機能およびネットワーク機能を備えており、画像撮像センサで撮像した画像データをインターネット等のネットワークを介して各種の端末に配信可能としている。   A device called a network camera or a WEB camera has an image pickup sensor and a WEB server function and a network function, and image data picked up by the image pickup sensor can be distributed to various terminals via a network such as the Internet. Yes.

一方、現在の携帯電話端末はネットワーク機能を備えるとともにカラー画像表示機能も備えており、マルチメディア端末として利用される場面が増えている。   On the other hand, current mobile phone terminals have a network function and a color image display function, and are increasingly used as multimedia terminals.

そこで、下記非特許文献1に示すように、携帯電話端末を用いてネットワークカメラが配信する画像を閲覧可能としたサービスが存在する。   Therefore, as shown in Non-Patent Document 1 below, there is a service that enables browsing of images distributed by a network camera using a mobile phone terminal.

松下電器産業、“ホームネットワーク関連商品”、[平成16年7月30日検索]、インターネット<URLhttp://panasonic.co.jp/pcc/products/hnetwk/support/technic/mbl_phn_list-c10.html>Matsushita Electric Industrial Co., Ltd., “Home network-related products”, [searched July 30, 2004], Internet <URL http://panasonic.co.jp/pcc/products/hnetwk/support/technic/mbl_phn_list-c10.html>

上記非特許文献1で示したサービスを含めネットワークカメラが撮像する画像を携帯電話等の端末に配信するサービスにおいては、画像を更新するために携帯電話端末のユーザ自身が「更新」ボタンを操作する必要がある。そして、ユーザによる「更新」ボタン操作に応答して取得できる画像の枚数は1枚の画像である。したがって、新たな画像を閲覧するたびに「更新」ボタンを操作する必要があり、利便性が悪かった。   In a service that distributes an image captured by a network camera to a terminal such as a mobile phone, including the service described in Non-Patent Document 1, the user of the mobile phone terminal operates the “Update” button to update the image. There is a need. The number of images that can be acquired in response to the “update” button operation by the user is one image. Therefore, it is necessary to operate the “update” button every time a new image is browsed, which is inconvenient.

ここで、画像を自動更新する方法として、リフレッシュ機能を行う方法が考えられるが、携帯電話等の端末によっては、HTMLにおけるリフレッシュ機能が制限されている場合があり、これら端末において画像を更新するためには、やはり、「更新」ボタンなどを操作する必要がある。   Here, as a method of automatically updating an image, a method of performing a refresh function is conceivable. However, a refresh function in HTML may be limited depending on a terminal such as a mobile phone, and the image is updated in these terminals. After all, it is necessary to operate the “update” button and the like.

また、PCなどにおいては、ネットワークカメラが配信する画像を動画像として再生することが可能である。これは、PC等においては充分なバッファメモリが確保できる場合があるからである。あるいは、PC等においてはUDP上のアプリケーションを利用することが可能であることが理由である。一方、携帯電話等の端末によっては、UDP上で動作するアプリケーションが許可されていない場合がある。また、HTTP上で動作するアプリケーションを利用する場合であっても、最大通信バッファサイズの制限が厳しく、動画像をそのまま再生するということが困難であった。   Further, in a PC or the like, an image distributed by a network camera can be reproduced as a moving image. This is because a sufficient buffer memory may be secured in a PC or the like. Or it is because it is possible to use an application on UDP in a PC or the like. On the other hand, depending on a terminal such as a mobile phone, an application operating on UDP may not be permitted. Even when an application that operates on HTTP is used, the maximum communication buffer size is severely limited, and it is difficult to reproduce a moving image as it is.

そこで、本発明は、リソースや通信バッファサイズなどの制限のある端末機器において、ネットワークカメラが配信する画像を連続的に再生する技術を提供する。   Therefore, the present invention provides a technique for continuously playing back images distributed by a network camera in a terminal device having restrictions on resources, communication buffer size, and the like.

上記課題を解決するため、請求項1記載の発明は、ネットワークを介して画像撮像装置から配信された画像を閲覧端末において再生する方法であって、前記閲覧端末と前記画像撮像装置との間で通信セッションを確立する第1工程と、前記第1工程において確立された通信セッションが維持されている間に、前記画像撮像装置から前記閲覧端末に対して、複数フレームの画像データを配信する第2工程と、前記閲覧端末が前記第2工程において受信した複数フレームの画像データを連続的に再生する第3工程と、を備え、前記第1工程から前記第3工程までの工程を繰り返し行うことにより、連続的に画像データを再生することを特徴とする。   In order to solve the above-mentioned problem, the invention described in claim 1 is a method of reproducing an image distributed from an image capturing device via a network on a viewing terminal, between the viewing terminal and the image capturing device. A first step of establishing a communication session, and a second step of delivering a plurality of frames of image data from the image pickup device to the viewing terminal while the communication session established in the first step is maintained. And a third step of continuously reproducing the plurality of frames of image data received in the second step by the browsing terminal, and repeating the steps from the first step to the third step. The image data is continuously reproduced.

請求項2記載の発明は、ネットワークを介して画像撮像装置から配信された画像を閲覧端末において再生する方法であって、前記閲覧端末と前記画像撮像装置との間で通信セッションを確立する第1工程と、前記第1工程において確立された通信セッションが維持されている間に、前記画像撮像装置から前記閲覧端末に対して、動画像データを配信する第2工程と、前記閲覧端末が前記第2工程において受信した動画像データを再生する第3工程と、を備え、前記第1工程から前記第3工程までの工程を繰り返し行うことにより、連続的に動画像データを再生することを特徴とする。   The invention described in claim 2 is a method of reproducing an image distributed from an image capturing device via a network on a viewing terminal, wherein a first communication session is established between the viewing terminal and the image capturing device. A second step of distributing moving image data from the image capturing device to the viewing terminal while the communication session established in the first step is maintained; and A third step of reproducing the moving image data received in two steps, wherein the moving image data is continuously reproduced by repeatedly performing the steps from the first step to the third step. To do.

請求項3記載の発明は、請求項1または請求項2に記載の画像再生方法において、前記第2工程において配信される画像データの属性は、あらかじめ前記閲覧端末に対して固定的に設定されたパラメータによって決定されることを特徴とする。   According to a third aspect of the present invention, in the image reproduction method according to the first or second aspect, the attribute of the image data distributed in the second step is fixedly set in advance for the viewing terminal. It is determined by parameters.

請求項4記載の発明は、請求項1または請求項2に記載の画像再生方法において、前記第2工程において配信される画像データの属性は、前記閲覧端末の状態情報に基づくパラメータによって決定されることを特徴とする。   According to a fourth aspect of the present invention, in the image reproduction method according to the first or second aspect, the attribute of the image data distributed in the second step is determined by a parameter based on the state information of the viewing terminal. It is characterized by that.

請求項5記載の発明は、請求項1ないし請求項4のいずれかに記載の画像再生方法において、前記第2工程において配信される画像データの属性は、外部要因に応じて動的に修正されるパラメータによって決定されることを特徴とする。   According to a fifth aspect of the present invention, in the image reproduction method according to any one of the first to fourth aspects, the attribute of the image data distributed in the second step is dynamically corrected according to an external factor. It is determined by the parameter.

請求項6記載の発明は、請求項3ないし請求項5のいずれかに記載の画像再生方法において、前記パラメータは、前記閲覧端末から前記画像撮像装置に送信されることを特徴とする。   A sixth aspect of the present invention is the image reproduction method according to any one of the third to fifth aspects, wherein the parameter is transmitted from the viewing terminal to the image capturing apparatus.

請求項7記載の発明は、請求項1ないし請求項6のいずれかに記載の画像再生方法において、前記第2工程において配信される画像データの属性は、初期状態においては、画像データの配信および/または再生に関わる環境に対して可能とされる最大負荷を与えないように設定されることを特徴とする。   According to a seventh aspect of the present invention, in the image reproduction method according to any one of the first to sixth aspects, the attribute of the image data distributed in the second step is the distribution of the image data in the initial state. It is characterized in that it is set so as not to give the maximum load possible to the environment related to reproduction.

請求項8記載の発明は、請求項7に記載の画像再生方法において、前記第2工程において配信される画像データの属性は、画像データの配信および/または再生に関わる環境に対して除々に負荷が高くなるように動的に修正されることを特徴とする。   According to an eighth aspect of the present invention, in the image reproduction method according to the seventh aspect, the attribute of the image data distributed in the second step is gradually loaded on the environment related to the distribution and / or reproduction of the image data. It is characterized in that it is dynamically modified so as to increase.

本発明は、閲覧端末と画像撮像装置との間で通信セッションを確立し、このセッションが維持されている間に複数フレームの静止画データを配信する。これにより、閲覧端末は、複数フレームの静止画データを連続的に切り替えて再生することにより、擬似動画像を再生可能である。そして、このような処理が繰り返されることにより、擬似動画像を次々に切り替えて、連続的に擬似動画像を再生可能である。   The present invention establishes a communication session between a viewing terminal and an image capturing device, and distributes still image data of a plurality of frames while this session is maintained. Thereby, the browsing terminal can reproduce | regenerate a pseudo | simulation moving image by switching and reproducing the still image data of several frames continuously. Then, by repeating such processing, it is possible to continuously reproduce the pseudo moving images by switching the pseudo moving images one after another.

また、配信される画像データの属性は、閲覧端末から送信されたパラメータによって決定されるので、閲覧端末は、高品質の画像をスムーズに再生させることが可能である。   In addition, since the attribute of the image data to be distributed is determined by the parameter transmitted from the viewing terminal, the viewing terminal can smoothly reproduce a high-quality image.

以下、図面を参照しつつ本発明の実施の形態について説明する。図1は、本発明の各実施の形態にかかる画像配信システムの全体図である。ネットワークカメラ1は、画像撮像機能と、ネットワーク接続機能と、WEBサーバ機能とを備えた機器であり、一般に、WEBカメラとも呼ばれる機器である。携帯電話端末5は、携帯電話の基本機能としての音声通話機能のほかに、ネットワーク接続機能を備えている。そして、ネットワークカメラ1は、インターネット2に接続され、携帯電話端末5は、基地局4を介して携帯電話網3に接続され、さらに、インターネット2と携帯電話網3とが接続されることにより、ネットワークカメラ1と携帯電話端末5は互いに通信可能となっている。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an overall view of an image distribution system according to each embodiment of the present invention. The network camera 1 is a device having an image capturing function, a network connection function, and a WEB server function, and is generally a device also called a WEB camera. The mobile phone terminal 5 has a network connection function in addition to a voice call function as a basic function of the mobile phone. The network camera 1 is connected to the Internet 2, the mobile phone terminal 5 is connected to the mobile phone network 3 via the base station 4, and the Internet 2 and the mobile phone network 3 are further connected. The network camera 1 and the mobile phone terminal 5 can communicate with each other.

このようなシステム構成において、ネットワークカメラ1は、撮像した画像をWEBサーバ機能あるいはその他の画像配信機能を用いて各種の端末に配信する。つまり、ネットワークカメラ1は、インターネット2に接続された端末や、インターネット2を介して接続された様々なネットワークに接続された各種の端末に対して、撮像した画像を配信することを可能としている。そして、携帯電話端末5は、WEBコンテンツの閲覧機能や画像の閲覧機能を備えており、ネットワークカメラ1の配信する画像を閲覧可能としている。   In such a system configuration, the network camera 1 distributes captured images to various terminals using a WEB server function or other image distribution functions. That is, the network camera 1 can distribute captured images to terminals connected to the Internet 2 and various terminals connected to various networks connected via the Internet 2. The mobile phone terminal 5 has a web content browsing function and an image browsing function, and can browse images distributed by the network camera 1.

<第1の実施の形態>
次に、本発明の第1の実施の形態について図1ないし図5を参照しながら説明する。
<First Embodiment>
Next, a first embodiment of the present invention will be described with reference to FIGS.

図2は、ネットワークカメラ1のブロック図である。ネットワークカメラ1は、撮像センサ11、画像処理部12、通信部13、メモリ14、CPU15を備えている。撮像センサ11は、光学レンズ、CCD撮像素子等から構成されており、被写体画像を撮像可能としている。撮像センサ11から出力された画像データは、画像処理部12において、各種の画像処理が施される。画像処理には、画像の圧縮処理などが含まれる。   FIG. 2 is a block diagram of the network camera 1. The network camera 1 includes an image sensor 11, an image processing unit 12, a communication unit 13, a memory 14, and a CPU 15. The image sensor 11 includes an optical lens, a CCD image sensor, and the like, and can capture a subject image. The image data output from the image sensor 11 is subjected to various types of image processing in the image processing unit 12. Image processing includes image compression processing and the like.

CPU15は、メモリ14に格納された各種のプログラムを実行する。メモリ14には、WEBサーバプログラムその他のアプリケーションプログラム(図示省略)が格納されており、CPU15は、WEBサーバプログラムを実行することで、ネットワークカメラ1にWEBサーバ機能を実装させることが可能である。通信部13は、インターネット2との間でデータの送受信を行う機能を備えている。   The CPU 15 executes various programs stored in the memory 14. The memory 14 stores a WEB server program and other application programs (not shown), and the CPU 15 can implement the WEB server function in the network camera 1 by executing the WEB server program. The communication unit 13 has a function of transmitting / receiving data to / from the Internet 2.

図3は、携帯電話端末5のブロック図である。携帯電話端末5は、アンテナ51、通信部52、CPU53、メモリ54、操作部55、表示部56を備えている。通信部52は、アンテナ51を介して基地局4との間でデータの送受信を行う機能を備える。また、通信部52は、バッファメモリ57を備え、受信したデータなどを一時的に格納する機能を備えている。CPU53は、メモリ54に格納された各種のプログラムを実行する。メモリ54には、WEBブラウザプログラムその他のアプリケーションプログラム(図示省略)が格納されており、CPU53は、WEBブラウザプログラムを実行することで、WEBコンテンツを閲覧可能としている。   FIG. 3 is a block diagram of the mobile phone terminal 5. The cellular phone terminal 5 includes an antenna 51, a communication unit 52, a CPU 53, a memory 54, an operation unit 55, and a display unit 56. The communication unit 52 has a function of transmitting / receiving data to / from the base station 4 via the antenna 51. The communication unit 52 includes a buffer memory 57 and a function of temporarily storing received data. The CPU 53 executes various programs stored in the memory 54. The memory 54 stores a WEB browser program and other application programs (not shown), and the CPU 53 can browse WEB content by executing the WEB browser program.

また、メモリ54には、画像取得プログラム61が格納されている。画像取得プログラム61は、HTTP上で動作するプログラムであり、たとえば、JAVA(R)アプリケーションプログラムを利用することが可能である。具体例としては、NTTドコモ社製の携帯電話であればiアプリ、au社製の携帯電話であればEZアプリと呼ばれるプログラムが該当する。画像取得プログラム61は、ネットワークカメラ1に対してパラメータを送信する機能、ネットワークカメラ1から画像をダウンロードする機能、そして、ダウンロードした画像を表示部56に表示させる機能などを備えている。   The memory 54 stores an image acquisition program 61. The image acquisition program 61 is a program that operates on HTTP, and for example, a JAVA (R) application program can be used. As a specific example, a program called i-appli for a mobile phone made by NTT Docomo and an EZ app for a mobile phone made by au correspond. The image acquisition program 61 has a function of transmitting parameters to the network camera 1, a function of downloading an image from the network camera 1, and a function of displaying the downloaded image on the display unit 56.

操作部55は、携帯電話端末5の各種の機能を実行するための操作ボタン、十字カーソル等から構成されている。ユーザは、操作部55を操作することにより、電話番号やメールアドレスなど、各種文字の入力操作を行うことや、ネットワークに接続する処理やWEBコンテンツのブラウジング操作などを行うことが可能である。表示部56は、LCD等から構成されており、WEBコンテンツや画像の表示が行われる。また、表示部56は、電話番号やメールの表示用に用いられる。   The operation unit 55 includes operation buttons for executing various functions of the mobile phone terminal 5, a cross cursor, and the like. By operating the operation unit 55, the user can perform input operations of various characters such as a telephone number and an e-mail address, a process of connecting to a network, a browsing operation of WEB contents, and the like. The display unit 56 is composed of an LCD or the like, and displays WEB content and images. The display unit 56 is used for displaying telephone numbers and mails.

図4は、画像取得プログラム61の処理内容の一部を示すブロック図である。画像取得プログラム61は、パラメータの設定および送信に関わる機能ブロックとして、パラメータ設定部611および外部要因取得部612を備えている。これらパラメータ設定部611および外部要因取得部612は、画像取得プログラム61がCPU53、メモリ54等のハードウェア資源を利用して実行されることにより実現される機能の一部である。   FIG. 4 is a block diagram showing a part of the processing contents of the image acquisition program 61. The image acquisition program 61 includes a parameter setting unit 611 and an external factor acquisition unit 612 as functional blocks related to parameter setting and transmission. The parameter setting unit 611 and the external factor acquisition unit 612 are a part of functions realized when the image acquisition program 61 is executed using hardware resources such as the CPU 53 and the memory 54.

また、携帯電話端末5は、受信する画像データの属性を決定するための固定パラメータを初期設定記憶部58に格納している。ここで、画像データの属性とは、静止画データであれば、圧縮率、解像度などが含まれる。また、連続して撮像された複数フレームの静止画データに対してはブロックサイズ(フレーム数)なども画像データの属性に含まれる。また、動画データに対しては、圧縮率、サンプリングレート、動画データのデータサイズなどが画像データの属性に含まれる。つまり、画像データの属性とは、撮像センサ11から出力された画像情報から静止画データや動画データを生成するまでに実行される処理の条件であり、生成された画像データの品質やデータサイズを決定するものである。   Further, the mobile phone terminal 5 stores a fixed parameter for determining the attribute of the received image data in the initial setting storage unit 58. Here, the attribute of the image data includes a compression rate, a resolution, and the like if it is still image data. In addition, for a plurality of frames of still image data continuously captured, the block size (number of frames) and the like are also included in the image data attributes. For moving image data, the compression rate, sampling rate, data size of moving image data, and the like are included in the attributes of the image data. That is, the attribute of the image data is a condition of processing executed until the still image data or the moving image data is generated from the image information output from the image sensor 11, and the quality and data size of the generated image data are determined. To decide.

また、固定パラメータとは、携帯電話端末5の機種によって固定的に設定されているパラメータである。たとえば、携帯電話端末5の出荷時に、初期設定記憶部58に固定パラメータが書き込まれる。あるいは、ユーザが自由に固定パラメータを書き換えるようにしてもよい。   The fixed parameter is a parameter that is fixedly set depending on the model of the mobile phone terminal 5. For example, the fixed parameters are written in the initial setting storage unit 58 when the mobile phone terminal 5 is shipped. Alternatively, the user may freely rewrite the fixed parameter.

図5は、パラメータの内容を示す図である。パラメータは、第1のパラメータ71と第2のパラメータ72に分類される。第1のパラメータは、たとえば、端末機種情報、端末リソース情報、端末付随情報が含まれる。端末機種情報は、携帯電話端末5の製品番号、製造番号など、端末機種を特定する情報である。端末リソース情報は、携帯電話端末5のCPU処理能力やメモリサイズなどを特定する情報である。端末付随情報は、たとえば、携帯電話端末5が位置情報を取得可能な端末であれば位置情報であり、あるいは、携帯電話端末5が契約している料金体系の情報などである。   FIG. 5 is a diagram showing the contents of the parameters. The parameters are classified into a first parameter 71 and a second parameter 72. The first parameter includes, for example, terminal model information, terminal resource information, and terminal associated information. The terminal model information is information for specifying the terminal model, such as the product number and manufacturing number of the mobile phone terminal 5. The terminal resource information is information that specifies the CPU processing capacity, the memory size, and the like of the mobile phone terminal 5. The terminal-associated information is, for example, position information if the mobile phone terminal 5 is a terminal that can acquire position information, or information on a fee system with which the mobile phone terminal 5 is contracted.

これに対して第2のパラメータは、たとえば、解像度情報、圧縮率情報、サンプリングレート、静止画ブロックサイズ、動画サイズなどである。   On the other hand, the second parameter is, for example, resolution information, compression rate information, sampling rate, still image block size, moving image size, and the like.

つまり、第2のパラメータは、ネットワークカメラ1から携帯電話端末5に配信する画像データの属性を直接決定するパラメータであり、第1のパラメータは、第2のパラメータを決定するための要因となるパラメータである。   That is, the second parameter is a parameter that directly determines the attribute of the image data distributed from the network camera 1 to the mobile phone terminal 5, and the first parameter is a parameter that is a factor for determining the second parameter. It is.

この第1の実施の形態において、初期設定記憶部58に格納されるパラメータは、固定パラメータであるので、端末機種情報が固定パラメータに対応している。あるいは、端末機種情報と端末リソース情報とから固定パラメータが構成されていてもよい。   In the first embodiment, since the parameters stored in the initial setting storage unit 58 are fixed parameters, the terminal model information corresponds to the fixed parameters. Alternatively, a fixed parameter may be configured from terminal model information and terminal resource information.

この第1のパラメータは、パラメータ変換部7によって第2のパラメータに変換される。ここで、パラメータ変換部7は、携帯電話端末5に備えられていてもよいし、ネットワークカメラ1に備えられていてもよい。パラメータ変換部7が携帯電話端末5に備えられている場合には、パラメータ設定部611がパラメータ変換部7を備えているものとする。   This first parameter is converted into a second parameter by the parameter converter 7. Here, the parameter conversion unit 7 may be provided in the mobile phone terminal 5 or may be provided in the network camera 1. When the parameter conversion unit 7 is provided in the mobile phone terminal 5, the parameter setting unit 611 is provided with the parameter conversion unit 7.

再び図4を参照する。パラメータ変換部7が携帯電話端末5に備えられている場合、初期設定記憶部58に格納されている第1のパラメータ71としての固定パラメータは、パラメータ変換部7において第2のパラメータに変換された後、ネットワークカメラ1に送信される。あるいは、初期設定記憶部58には、あらかじめ第2のパラメータ72としての固定パラメータが格納されていてもよい。この場合には、変換されることなく第2のパラメータとしての固定パラメータがネットワークカメラ1に送信される。   Refer to FIG. 4 again. When the parameter conversion unit 7 is provided in the mobile phone terminal 5, the fixed parameter as the first parameter 71 stored in the initial setting storage unit 58 is converted into the second parameter by the parameter conversion unit 7. Then, it is transmitted to the network camera 1. Alternatively, the initial setting storage unit 58 may store a fixed parameter as the second parameter 72 in advance. In this case, the fixed parameter as the second parameter is transmitted to the network camera 1 without being converted.

ネットワークカメラ1が第2のパラメータを受信すると、画像処理部12は、受信したパラメータに基づいて画像処理を実行し、順次静止画データB1,B2,・・・,BNをメモリ14に格納する。たとえば、第2のパラメータに基づいて、静止画データの圧縮率、解像度、ブロックサイズなどが決定される。   When the network camera 1 receives the second parameter, the image processing unit 12 performs image processing based on the received parameter, and sequentially stores the still image data B1, B2,. For example, the compression rate, resolution, block size, and the like of still image data are determined based on the second parameter.

ネットワークカメラ1が複数の静止画データB1,B2,・・・,BNをメモリ14に格納している状態で、携帯電話端末5においては画像取得プログラム61が画像取得処理を実行する。具体的には、まず、携帯電話端末5とネットワークカメラ1との間における通信セッションの確立処理を実行し、続いて、この確立した通信セッションが維持されている間に複数の静止画データのダウンロードを実行するのである。この実施の形態では、通信セッションの確立処理は、HTTPにおけるセッション確立処理である。この際、ネットワークカメラ1において蓄積されている静止画データB1,B2,・・・,BNは、携帯電話端末5から送信した第2のパラメータに基づいて生成されたデータであるので、携帯電話端末5は、静止画データをスムーズに受信し再生することが可能である。   In the state where the network camera 1 stores a plurality of still image data B1, B2,..., BN in the memory 14, the image acquisition program 61 executes image acquisition processing in the mobile phone terminal 5. Specifically, first, a process for establishing a communication session between the mobile phone terminal 5 and the network camera 1 is executed, and then a plurality of still image data is downloaded while the established communication session is maintained. Is executed. In this embodiment, the communication session establishment process is an HTTP session establishment process. At this time, since the still image data B1, B2,..., BN stored in the network camera 1 are data generated based on the second parameter transmitted from the mobile phone terminal 5, the mobile phone terminal 5 can smoothly receive and reproduce still image data.

携帯電話端末5における再生処理方法について説明する。ネットワークカメラ1から受信した静止画データは、通信部52のバッファメモリ57を介してメモリ54に格納される。図3における静止画データC1,C2,・・・,CKは、静止画データB1,B2,・・・BNの中のいずれかのデータに対応している。つまり、ここでは、ネットワークカメラ1が蓄積しているN枚の静止画データB1,B2,・・・,BNのうち、確立された通信セッションが維持されている間にK枚の静止画データC1,C2,・・・,CNを受信しているものとする。ここで、ネットワークカメラ1が蓄積している複数の静止画データの中で、どの静止画データを配信するかについては、所定のアルゴリズムに従って決定される。たとえば、最新のK枚の静止画データを配信するようにしてもよい。また、確立された通信セッションが維持されている間に配信する静止画データの総データサイズは、通信プロトコルによって規定されている最大通信バッファサイズを超えないサイズとする必要がある。つまり、ここでは、HTTPにおいて規定されている最大通信バッファサイズを超えないサイズとする必要がある。   A reproduction processing method in the mobile phone terminal 5 will be described. Still image data received from the network camera 1 is stored in the memory 54 via the buffer memory 57 of the communication unit 52. 3 corresponds to any one of the still image data B1, B2,... BN. In other words, here, among the N still image data B1, B2,... BN stored in the network camera 1, K still image data C1 while the established communication session is maintained. , C2,..., CN are received. Here, among the still image data stored in the network camera 1, which still image data is to be distributed is determined according to a predetermined algorithm. For example, the latest K still image data may be distributed. Further, the total data size of the still image data distributed while the established communication session is maintained needs to be a size that does not exceed the maximum communication buffer size defined by the communication protocol. That is, here, it is necessary to set the size not exceeding the maximum communication buffer size defined in HTTP.

携帯電話端末5は、静止画データC1,C2,・・・,CKを受信すると、これら静止画データC1,C2,・・・,CKを、設定されたフレームレートで順次切り替えながら連続的に表示部56に表示するのである。これにより、携帯電話端末5において擬似動画像を再生可能である。   When the mobile phone terminal 5 receives the still image data C1, C2,..., CK, the still image data C1, C2,..., CK are continuously displayed while sequentially switching at the set frame rate. It is displayed on the part 56. Thereby, the pseudo moving image can be reproduced in the mobile phone terminal 5.

一方、パラメータ変換部7がネットワークカメラ1に備えられている場合には、携帯電話端末5からネットワークカメラ1に対して第1のパラメータとしての固定パラメータが送信され、ネットワークカメラ1において第1のパラメータが第2のパラメータに変換される。この後の処理は、上述した処理と同様である。第2のパラメータに基づいて静止画データが生成、蓄積されるのである。   On the other hand, when the parameter conversion unit 7 is provided in the network camera 1, a fixed parameter as a first parameter is transmitted from the mobile phone terminal 5 to the network camera 1, and the network camera 1 receives the first parameter. Is converted into a second parameter. The subsequent processing is the same as the processing described above. Still image data is generated and stored based on the second parameter.

このような方法をとることにより、携帯電話端末5は、固定パラメータに基づいて決定された属性の画像を受信し、擬似動画像として再生することが可能である。そして、このような処理を繰り返し実行することで、それぞれの通信セッションを維持している間に受信した擬似動画像を繋ぎ合わせて再生し、全体としては連続して擬似動画像を再生することが可能である。具体的には、あるN回目の通信セッションを維持している間に複数フレームの画像を取得し、取得した時点から当該複数フレームの画像を擬似動画像として再生する。そして、次のN+1回目の通信セッションが確立され、新たな複数フレームの画像を取得した時点で、新たな複数フレームの画像を擬似動画像として再生するのである。このような処理を繰り返すことで、連続的に擬似動画像を再生することが可能である。これにより、リソースの制限、プロトコル上の制限、あるいは、最大通信バッファサイズに制限のある携帯電話端末5を用いながら、端末上で擬似動画像を閲覧することが可能となるのである。   By adopting such a method, the cellular phone terminal 5 can receive an image having an attribute determined based on a fixed parameter and reproduce it as a pseudo moving image. By repeatedly executing such processing, the pseudo moving images received while maintaining the respective communication sessions can be joined and reproduced, and the pseudo moving images can be reproduced continuously as a whole. Is possible. Specifically, a plurality of frames of images are acquired while maintaining a certain Nth communication session, and the images of the plurality of frames are reproduced as pseudo moving images from the time of acquisition. Then, when the next N + 1-th communication session is established and a new multiple frame image is acquired, the new multiple frame image is reproduced as a pseudo moving image. By repeating such processing, it is possible to continuously reproduce the pseudo moving image. As a result, it is possible to view the pseudo moving image on the terminal while using the mobile phone terminal 5 having a resource limitation, a protocol limitation, or a maximum communication buffer size limitation.

次に、第1の実施の形態の画像配信システムが備える付加機能について説明する。図4に示すように、画像取得プログラム61は、外部要因取得部612を機能ブロックとして備えている。外部要因取得部61は、画像データの通信中において、動的にパラメータを修正するための情報を取得する機能部である。   Next, additional functions provided in the image distribution system according to the first embodiment will be described. As shown in FIG. 4, the image acquisition program 61 includes an external factor acquisition unit 612 as a functional block. The external factor acquisition unit 61 is a functional unit that acquires information for dynamically correcting parameters during communication of image data.

外部要因取得部61は、たとえば、現在の通信速度を測定する機能を備えている。携帯電話を用いた通信は、インターネット2の負荷状態や携帯電話網3の負荷状態によって、その通信速度が変動する。したがって、固定パラメータに基づいて決定された画像の属性が適切でない状態となる場合がある。そこで、外部要因取得部612は、パラメータ設定部611に対してパラメータの修正指示を通知するのである。   The external factor acquisition unit 61 has a function of measuring the current communication speed, for example. The communication speed of communication using a mobile phone varies depending on the load state of the Internet 2 and the load state of the mobile phone network 3. Therefore, the image attributes determined based on the fixed parameters may not be appropriate. Therefore, the external factor acquisition unit 612 notifies the parameter setting unit 611 of a parameter correction instruction.

パラメータ設定部611は、外部要因取得部612からの指示を受けてパラメータを修正し、第1のパラメータあるいは第2のパラメータとして修正パラメータをネットワークカメラ1に送信する。これにより、ネットワークカメラ1では、画像処理部12が、修正パラメータに基づいて画像処理を実行するのである。このようにして、通信中においても動的にパラメータを修正し、スムーズな画像の配信と、スムーズな画像の再生を可能としているのである。   The parameter setting unit 611 receives the instruction from the external factor acquisition unit 612, corrects the parameter, and transmits the correction parameter to the network camera 1 as the first parameter or the second parameter. Thereby, in the network camera 1, the image processing unit 12 executes image processing based on the correction parameter. In this way, parameters are dynamically corrected even during communication, enabling smooth image distribution and smooth image reproduction.

このように、外部要因取得部612は、携帯電話端末5自身の能力とは別に、外部の変動する環境に応じてパラメータを修正する。   As described above, the external factor acquisition unit 612 corrects the parameter according to the externally changing environment, separately from the capability of the mobile phone terminal 5 itself.

<第2の実施の形態>
次に、本発明の第2の実施の形態について図1ないし図6を参照しながら説明する。なお、第2の実施の形態については、第1の実施の形態と異なる部分のみ説明する。
<Second Embodiment>
Next, a second embodiment of the present invention will be described with reference to FIGS. In addition, about 2nd Embodiment, only a different part from 1st Embodiment is demonstrated.

第2の実施の形態においては、画像取得プログラム61の処理内容が第1の実施の形態と一部異なる。図6は、画像取得プログラム61の処理内容の一部を示すブロック図である。画像取得プログラム61は、パラメータの設定および送信に関わる機能ブロックとして、パラメータ設定部611、外部要因取得部612、端末情報取得部613、および付随情報取得部614を備えている。これら各機能部611〜614は、画像取得プログラム61がCPU53、メモリ54等のハードウェア資源を利用して実行されることにより実現される機能の一部である。   In the second embodiment, the processing contents of the image acquisition program 61 are partly different from those in the first embodiment. FIG. 6 is a block diagram showing a part of the processing contents of the image acquisition program 61. The image acquisition program 61 includes a parameter setting unit 611, an external factor acquisition unit 612, a terminal information acquisition unit 613, and an accompanying information acquisition unit 614 as functional blocks related to parameter setting and transmission. Each of these functional units 611 to 614 is a part of a function realized when the image acquisition program 61 is executed using hardware resources such as the CPU 53 and the memory 54.

第1の実施の形態では、携帯電話端末5は、受信する画像データの属性を決定するための固定パラメータを初期設定記憶部58に格納していたが、第2の実施の形態においては、固定パラメータはあらかじめ記憶されていない。第2の実施の形態では、端末情報取得部613および付随情報取得部614が、携帯電話端末5の現在の状態情報に応じてパラメータを決定するのである。   In the first embodiment, the mobile phone terminal 5 stores the fixed parameter for determining the attribute of the received image data in the initial setting storage unit 58. However, in the second embodiment, the mobile phone terminal 5 is fixed. Parameters are not stored in advance. In the second embodiment, the terminal information acquisition unit 613 and the accompanying information acquisition unit 614 determine parameters according to the current state information of the mobile phone terminal 5.

端末情報取得部613は、図5に示す第1のパラメータのうち、端末リソース情報を、第1のパラメータとして決定する。たとえば、CPUの処理能力や、メモリサイズを第1のパラメータとして生成する。   The terminal information acquisition part 613 determines terminal resource information as a 1st parameter among the 1st parameters shown in FIG. For example, CPU processing capacity and memory size are generated as the first parameter.

端末付随情報取得部614は、図5に示す第1のパラメータのうち、端末付随情報を、第1のパラメータとして決定する。たとえば、前述した位置情報や料金体系情報を第1のパラメータとして生成する。ここで、位置情報に基づいてパラメータを決定する理由は、携帯電話端末5の位置によって通信速度が異なる場合に対応するためである。また、料金体系情報に基づいてパラメータを決定する理由は、ユーザ負担を考慮するためである。たとえば、パケット通信量に制限のない料金体系であれば、パラメータ値を高くして高解像度の画像を配信するという設定が行われる。一方、従量制の料金体系であれば、料金が高額とならないようなパラメータ設定が行われる。   The terminal-accompanying information acquisition unit 614 determines terminal-accompanying information as the first parameter among the first parameters shown in FIG. For example, the position information and fee structure information described above are generated as the first parameter. Here, the reason for determining the parameter based on the position information is to cope with the case where the communication speed varies depending on the position of the mobile phone terminal 5. The reason for determining the parameters based on the fee structure information is to consider the user burden. For example, if the fee structure has no restriction on the amount of packet communication, the setting is made such that the parameter value is increased and a high-resolution image is distributed. On the other hand, in case of a pay-as-you-go system, parameters are set so that the price is not high.

端末情報取得部613および端末付随情報取得部614が第1のパラメータを生成すると、この第1のパラメータがパラメータ設定部611によってネットワークカメラ1に送信される。第1の実施の形態と同様に、第1のパラメータは第2のパラメータに変換された後ネットワークカメラ1に送信されるか、あるいは、第1のパラメータがそのまま送信され、ネットワークカメラ1において第2のパラメータに変換される。その後の処理は第1の実施の形態と同様である。端末情報取得部613および端末付随情報取得部614によって生成されたパラメータに基づいて画像の属性が決定され、1回の通信セッション中に複数の静止画データが配信され、携帯電話端末5で擬似動画像が再生されるのである。そして、このような処理を繰り返し実行することで、擬似動画像を次々に連続して再生することが可能となるのである。具体的には、あるN回目の通信セッションを維持している間に複数フレームの画像を取得し、取得した時点から当該複数フレームの画像を擬似動画像として再生する。そして、次のN+1回目の通信セッションが確立され、新たな複数フレームの画像を取得した時点で、新たな複数フレームの画像を擬似動画像として再生するのである。このような処理を繰り返すことで、連続的に擬似動画像を再生することが可能である。   When the terminal information acquisition unit 613 and the terminal-associated information acquisition unit 614 generate the first parameter, the parameter setting unit 611 transmits the first parameter to the network camera 1. As in the first embodiment, the first parameter is converted to the second parameter and then transmitted to the network camera 1 or the first parameter is transmitted as it is, and the network camera 1 receives the second parameter. Is converted to The subsequent processing is the same as in the first embodiment. Image attributes are determined based on the parameters generated by the terminal information acquisition unit 613 and the terminal associated information acquisition unit 614, and a plurality of still image data are distributed during one communication session. The image is reproduced. By repeatedly executing such processing, it is possible to continuously reproduce the pseudo moving images one after another. Specifically, a plurality of frames of images are acquired while maintaining a certain Nth communication session, and the images of the plurality of frames are reproduced as pseudo moving images from the time of acquisition. Then, when the next N + 1-th communication session is established and a new multiple frame image is acquired, the new multiple frame image is reproduced as a pseudo moving image. By repeating such processing, it is possible to continuously reproduce the pseudo moving image.

このように第2の実施の形態においては、固定的なパラメータではなく、携帯電話端末5の現在の状態情報に応じてパラメータが決定される。   As described above, in the second embodiment, the parameter is determined according to the current state information of the mobile phone terminal 5 instead of a fixed parameter.

また、第2の実施の形態においても、第1の実施の形態と同様に、外部要因取得部612が通信速度などの外部要因に基づいてパラメータを修正する。これにより、通信中においても、動的にパラメータを修正し、最適な再生環境を維持することが可能である。   Also in the second embodiment, as in the first embodiment, the external factor acquisition unit 612 corrects parameters based on external factors such as communication speed. As a result, even during communication, it is possible to dynamically correct parameters and maintain an optimal reproduction environment.

次に、第2の実施の形態の画像配信システムが備える付加機能について説明する。第2の実施の形態においては、画像取得プログラム61が携帯電話端末5の現在の状態情報に基づいてパラメータを設定することを説明した。基本的に画像取得プログラム61は、閲覧者に対して高品質の画像を提供するために、現在の状態情報に基づいて可能な範囲でパラメータを高く設定する(ここで、高解像度や高フレームレートなど、画像の品質を高くさせるパラメータの度合いを、パラメータ値が高いと言うものとする。)。言い換えれば、画像データの配信に関わる環境や、画像データの再生に関わる環境の能力を最大限に利用するようなパラメータを設定する。   Next, additional functions provided in the image distribution system according to the second embodiment will be described. In the second embodiment, it has been described that the image acquisition program 61 sets a parameter based on the current state information of the mobile phone terminal 5. Basically, the image acquisition program 61 sets a parameter as high as possible based on the current state information in order to provide a high-quality image to the viewer (here, high resolution and high frame rate). For example, a parameter value that increases the quality of an image is called a high parameter value). In other words, the parameters are set so as to make maximum use of the environment related to the distribution of the image data and the capacity of the environment related to the reproduction of the image data.

しかし、このようなパラメータを設定した場合、外部環境の変動などによって、初期時点から画像の再生がスムーズに行われない場合がある。たとえば、通信速度が低下したために、高解像度の画像の配信に遅延を生じる場合などがある。   However, when such parameters are set, the image may not be reproduced smoothly from the initial time due to changes in the external environment. For example, there is a case where a delay in the delivery of a high-resolution image occurs due to a decrease in communication speed.

そこで、パラメータ設定部611は、現在の状態情報に基づいてパラメータを設定する際に、画像データの配信や再生に関わる環境に最大の負荷を与えないように、少し抑え目のパラメータを設定するのである。これにより、画像を閲覧し始めた初期時点においては、多少画像の品質が劣る場合があるが、画像の再生待ち時間などが発生せず、スムーズに画像の再生を行うことが可能となるのである。   Therefore, the parameter setting unit 611 sets the parameter of a little restraint so as not to give the maximum load to the environment related to the distribution and reproduction of the image data when setting the parameter based on the current state information. is there. As a result, the image quality may be slightly inferior at the initial time when the image is started to be browsed, but the image reproduction waiting time does not occur and the image can be reproduced smoothly. .

そして、このように初期時においては抑え目のパラメータを設定した後、パラメータ設定部611は、除々にパラメータの値を大きくしていくのである。たとえば、除々に、画像の解像度を高くしたり、画像の圧縮率を下げたり、フレームレートを上げたりする。このようにして、初期時には、高品質よりもスムーズな画像の再生に重点を起き、除々に、画像の品質が向上するように調整することで、最適な画像再生環境を整えることができるのである。   In this way, after setting the parameters of the restraint at the initial time, the parameter setting unit 611 gradually increases the value of the parameter. For example, the resolution of the image is gradually increased, the compression rate of the image is decreased, or the frame rate is increased. In this way, at the initial stage, the focus is on smooth image reproduction rather than high quality, and by gradually adjusting the image quality to be improved, the optimum image reproduction environment can be prepared. .

なお、第1の実施の形態においても、同様の制御を行うようにしてもよい。第1の実施の形態においては、初期設定記憶部58に固定パラメータが設定されているが、パラメータ設定部611が、初期時において、固定パラメータを修正し、少し抑え目のパラメータを設定するようにしてもよい。あるいは、固定パラメータ自体が環境に最大負荷を与えないように設定されていてもよい。そして、同様に、除々に、パラメータの値が高くなるように調整することにより、高品質の画像をスムーズに再生させることが可能である。   Note that similar control may be performed in the first embodiment. In the first embodiment, a fixed parameter is set in the initial setting storage unit 58. However, the parameter setting unit 611 corrects the fixed parameter at the initial time so as to set a parameter with a slight limit. May be. Alternatively, the fixed parameter itself may be set so as not to give the maximum load to the environment. Similarly, by gradually adjusting the parameter value to be higher, it is possible to smoothly reproduce a high-quality image.

<第3の実施の形態>
次に、本発明の第3の実施の形態について、図7、図8およびその他の図面を参照しながら説明する。第3の実施の形態については、第1および第2の実施の形態と異なる部分のみ説明する。
<Third Embodiment>
Next, a third embodiment of the present invention will be described with reference to FIGS. 7 and 8 and other drawings. As for the third embodiment, only parts different from the first and second embodiments will be described.

第1および第2の実施の形態においては、ネットワークカメラ1は、複数フレームの静止画データを配信し、携帯電話端末5は、静止画データを連続的に切り替えて再生することにより、擬似動画像を再生可能とした。第3の実施の形態においては、1回の通信セッション中において、比較的データサイズの小さい動画データを配信することにより、携帯電話端末5において動画データを再生する。   In the first and second embodiments, the network camera 1 distributes a plurality of frames of still image data, and the mobile phone terminal 5 continuously switches and reproduces the still image data, thereby reproducing the pseudo moving image. Can be played. In the third embodiment, moving image data is reproduced in the mobile phone terminal 5 by distributing moving image data having a relatively small data size during one communication session.

図7は、ネットワークカメラ1の機能ブロック図である。第1および第2の実施の形態とは異なり、画像処理部は、撮像センサ11より順次入力する複数フレームの画像データを用いて動画データDを生成する。生成された動画データDは、メモリ14に格納される。   FIG. 7 is a functional block diagram of the network camera 1. Unlike the first and second embodiments, the image processing unit generates moving image data D using a plurality of frames of image data sequentially input from the imaging sensor 11. The generated moving image data D is stored in the memory 14.

図8は、携帯電話端末5の機能ブロック図である。画像取得プログラム1の処理内容は、第1あるいは第2の実施の形態と同様である。すなわち、第1の実施の形態と同様に固定パラメータがネットワークカメラ1に送信される。あるいは、第2の実施の形態と同様に、端末情報取得部613および付随情報取得部614によってパラメータが現在の端末の状態情報に応じて決定されてネットワークカメラ1に送信される。また、第1のパラメータを第2のパラメータに変換してからネットワークカメラ1に送信してもよいし、第1のパラメータをそのままネットワークカメラ1に送信し、ネットワークカメラ1において第2のパラメータに変換してもよい点なども同様である。さらに、外部要因取得部612によって外的環境の変動情報を取得し、パラメータを修正可能な点も同様である。   FIG. 8 is a functional block diagram of the mobile phone terminal 5. The processing contents of the image acquisition program 1 are the same as those in the first or second embodiment. That is, a fixed parameter is transmitted to the network camera 1 as in the first embodiment. Alternatively, as in the second embodiment, the terminal information acquisition unit 613 and the accompanying information acquisition unit 614 determine parameters according to the current terminal state information and transmit them to the network camera 1. Further, the first parameter may be converted to the second parameter and then transmitted to the network camera 1, or the first parameter may be transmitted to the network camera 1 as it is and converted to the second parameter in the network camera 1. The points that may be performed are also the same. Further, the external factor acquisition unit 612 can acquire external environment change information and correct parameters.

ネットワークカメラ1では、画像処理部12が、受信したパラメータに基づいて動画データの属性を決定し、パラメータに基づいた画像処理を実行する。具体的には、圧縮率やサンプリングレート、動画サイズなどを含むパラメータに基づいて動画データDを生成する。   In the network camera 1, the image processing unit 12 determines the attribute of the moving image data based on the received parameter, and executes image processing based on the parameter. Specifically, the moving image data D is generated based on parameters including a compression rate, a sampling rate, a moving image size, and the like.

携帯電話端末5は、ネットワークカメラ1から動画データDをダウンロードすると、動画データDは、一旦、バッファメモリ57に格納された後、メモリ61に格納される。そして、画像取得プログラム61は、動画データDを再生するのである。このような処理を繰り替えし、1回の通信セッション中に、比較的小さなサイズの動画データを取得し、動画データの再生を連続的に行うことで、携帯電話端末5においても動画データを再生可能となるのである。具体的には、あるN回目の通信セッションを維持している間に動画データを取得し、取得した時点から当該動画データを再生する。そして、次のN+1回目の通信セッションが確立され、新たな動画データを取得した時点で、新たな動画データを再生するのである。このような処理を繰り返すことで、連続的に動画データを再生することが可能である。   When the mobile phone terminal 5 downloads the moving image data D from the network camera 1, the moving image data D is temporarily stored in the buffer memory 57 and then stored in the memory 61. Then, the image acquisition program 61 reproduces the moving image data D. By repeating such processing, moving image data of a relatively small size is acquired during a single communication session, and the moving image data is continuously played back so that the mobile phone terminal 5 can also play back the moving image data. It becomes. Specifically, the moving image data is acquired while maintaining a certain Nth communication session, and the moving image data is reproduced from the acquired time. Then, when the next N + 1-th communication session is established and new moving image data is acquired, new moving image data is reproduced. By repeating such processing, it is possible to continuously reproduce moving image data.

なお、上述した実施の形態においては、画像取得プログラム61は、HTTP上で動作するとして説明した。しかし、本発明において画像取得プログラム61が動作するプロトコルは、特に限定されるものではなく、HTTPは一例である。他のプロトコルや携帯電話キャリアの独自仕様プロトコルであってももちろん本発明を適用可能である。たとえば、au社の携帯電話で動作するBREWというプログラムについても本発明を適用することが可能である。   In the above-described embodiment, the image acquisition program 61 has been described as operating on HTTP. However, the protocol in which the image acquisition program 61 operates in the present invention is not particularly limited, and HTTP is an example. Of course, the present invention can also be applied to other protocols and proprietary protocols of mobile phone carriers. For example, the present invention can be applied to a program called BREW that operates on a mobile phone of au.

また、第3の実施の形態においても、第2の実施の形態で説明したように、パラメータ設定部611は、初期時においては、画像データの配信あるいは再生に関わる環境に最大負荷を与えないような抑え目のパラメータを設定し、除々に、パラメータの値を高くするように制御することで、画像再生の初期状態においては、スムーズな画像の再生を確保し、最終的には、高品質な画像をスムーズに再生することが可能である。   Also in the third embodiment, as described in the second embodiment, the parameter setting unit 611 does not place a maximum load on the environment related to the distribution or reproduction of image data at the initial stage. In the initial state of image reproduction, smooth image reproduction is ensured by setting the parameters of the lower limit and gradually controlling so that the value of the parameter is increased. Images can be played back smoothly.

画像配信システムの全体図である。1 is an overall view of an image distribution system. 第1および第2の実施の形態におけるネットワークカメラのブロック図である。It is a block diagram of the network camera in 1st and 2nd embodiment. 第1および第2の実施の形態における携帯電話端末のブロック図である。It is a block diagram of a mobile phone terminal in the first and second embodiments. 第1の実施の形態におけるパラメータ送信処理に関わる機能ブロック図である。It is a functional block diagram in connection with the parameter transmission process in 1st Embodiment. パラメータの分類を示す図である。It is a figure which shows the classification | category of a parameter. 第2の実施の形態におけるパラメータ送信処理に関わる機能ブロック図である。It is a functional block diagram in connection with the parameter transmission process in 2nd Embodiment. 第3の実施の形態におけるネットワークカメラのブロック図である。It is a block diagram of the network camera in 3rd Embodiment. 第3の実施の形態における携帯電話端末のブロック図である。It is a block diagram of the mobile telephone terminal in 3rd Embodiment.

符号の説明Explanation of symbols

1 ネットワークカメラ
2 インターネット
3 携帯電話網
4 基地局
5 携帯電話端末
1 Network Camera 2 Internet 3 Mobile Phone Network 4 Base Station 5 Mobile Phone Terminal

Claims (8)

ネットワークを介して画像撮像装置から配信された画像を閲覧端末において再生する方法であって、
前記閲覧端末と前記画像撮像装置との間で通信セッションを確立する第1工程と、
前記第1工程において確立された通信セッションが維持されている間に、前記画像撮像装置から前記閲覧端末に対して、複数フレームの画像データを配信する第2工程と、
前記閲覧端末が前記第2工程において受信した複数フレームの画像データを連続的に再生する第3工程と、
を備え、
前記第1工程から前記第3工程までの工程を繰り返し行うことにより、連続的に画像データを再生することを特徴とする画像再生方法。
A method of reproducing an image distributed from an image capturing device via a network on a browsing terminal,
A first step of establishing a communication session between the viewing terminal and the imaging device;
A second step of delivering a plurality of frames of image data from the imaging device to the viewing terminal while the communication session established in the first step is maintained;
A third step of continuously playing back the plurality of frames of image data received by the browsing terminal in the second step;
With
An image reproduction method, wherein image data is continuously reproduced by repeatedly performing the steps from the first step to the third step.
ネットワークを介して画像撮像装置から配信された画像を閲覧端末において再生する方法であって、
前記閲覧端末と前記画像撮像装置との間で通信セッションを確立する第1工程と、
前記第1工程において確立された通信セッションが維持されている間に、前記画像撮像装置から前記閲覧端末に対して、動画像データを配信する第2工程と、
前記閲覧端末が前記第2工程において受信した動画像データを再生する第3工程と、
を備え、
前記第1工程から前記第3工程までの工程を繰り返し行うことにより、連続的に動画像データを再生することを特徴とする画像再生方法。
A method of reproducing an image distributed from an image capturing device via a network on a browsing terminal,
A first step of establishing a communication session between the viewing terminal and the imaging device;
A second step of delivering moving image data from the imaging device to the viewing terminal while the communication session established in the first step is maintained;
A third step of reproducing the moving image data received by the browsing terminal in the second step;
With
An image reproducing method, wherein the moving image data is continuously reproduced by repeatedly performing the steps from the first step to the third step.
請求項1または請求項2に記載の画像再生方法において、
前記第2工程において配信される画像データの属性は、あらかじめ前記閲覧端末に対して固定的に設定されたパラメータによって決定されることを特徴とする画像再生方法。
The image reproduction method according to claim 1 or 2,
The image reproduction method according to claim 2, wherein the attribute of the image data distributed in the second step is determined by a parameter set in advance for the viewing terminal.
請求項1または請求項2に記載の画像再生方法において、
前記第2工程において配信される画像データの属性は、前記閲覧端末の状態情報に基づくパラメータによって決定されることを特徴とする画像再生方法。
The image reproduction method according to claim 1 or 2,
The image reproduction method characterized in that the attribute of the image data distributed in the second step is determined by a parameter based on the state information of the viewing terminal.
請求項1ないし請求項4のいずれかに記載の画像再生方法において、
前記第2工程において配信される画像データの属性は、外部要因に応じて動的に修正されるパラメータによって決定されることを特徴とする画像再生方法。
The image reproduction method according to any one of claims 1 to 4,
The image reproduction method according to claim 2, wherein the attribute of the image data distributed in the second step is determined by a parameter that is dynamically modified according to an external factor.
請求項3ないし請求項5のいずれかに記載の画像再生方法において、
前記パラメータは、前記閲覧端末から前記画像撮像装置に送信されることを特徴とする画像再生方法。
The image reproduction method according to any one of claims 3 to 5,
The image reproducing method, wherein the parameter is transmitted from the viewing terminal to the image capturing apparatus.
請求項1ないし請求項6のいずれかに記載の画像再生方法において、
前記第2工程において配信される画像データの属性は、初期状態においては、画像データの配信および/または再生に関わる環境に対して可能とされる最大負荷を与えないように設定されることを特徴とする画像再生方法。
The image reproduction method according to any one of claims 1 to 6,
In the initial state, the attribute of the image data distributed in the second step is set so as not to give the maximum load possible for the environment related to the distribution and / or reproduction of the image data. Image playback method.
請求項7に記載の画像再生方法において、
前記第2工程において配信される画像データの属性は、画像データの配信および/または再生に関わる環境に対して除々に負荷が高くなるように動的に修正されることを特徴とする画像再生方法。
The image reproduction method according to claim 7,
The image reproduction method wherein the attribute of the image data distributed in the second step is dynamically modified so as to gradually increase the load on the environment related to the distribution and / or reproduction of the image data. .
JP2004263749A 2004-09-10 2004-09-10 Image reproduction method and system Expired - Fee Related JP4654463B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004263749A JP4654463B2 (en) 2004-09-10 2004-09-10 Image reproduction method and system
CNA200580000098XA CN1765131A (en) 2004-09-10 2005-08-04 Image reproduction method
PCT/JP2005/014284 WO2006027915A1 (en) 2004-09-10 2005-08-04 Image reproduction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004263749A JP4654463B2 (en) 2004-09-10 2004-09-10 Image reproduction method and system

Publications (2)

Publication Number Publication Date
JP2006080959A true JP2006080959A (en) 2006-03-23
JP4654463B2 JP4654463B2 (en) 2011-03-23

Family

ID=36036209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004263749A Expired - Fee Related JP4654463B2 (en) 2004-09-10 2004-09-10 Image reproduction method and system

Country Status (3)

Country Link
JP (1) JP4654463B2 (en)
CN (1) CN1765131A (en)
WO (1) WO2006027915A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007122811A1 (en) * 2006-04-19 2007-11-01 Nikon Corporation Image reproducing device, camera, and image reproducing system
JP2008092575A (en) * 2006-09-30 2008-04-17 Samsung Electronics Co Ltd System and method using mobile terminal information in communication system
JP2013229895A (en) * 2013-06-10 2013-11-07 Ricoh Co Ltd Network system, image forming device, program, and image data transmission/reception method
JP2023025134A (en) * 2020-04-30 2023-02-21 マクセル株式会社 Display device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5708051B2 (en) * 2011-03-07 2015-04-30 株式会社リコー Video processing apparatus, video processing system, video conference system, remote monitoring system, video processing method, and imaging apparatus
EP2963929B1 (en) * 2014-07-03 2016-12-21 Axis AB A method for configuration of video stream output from a digital video camera

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042185A (en) * 1996-07-23 1998-02-13 Canon Inc Image pickup server, its method and medium
JPH1040185A (en) * 1996-07-23 1998-02-13 Canon Inc Server and terminal and method for controlling the same
JPH11161322A (en) * 1997-11-26 1999-06-18 Omron Corp Production line monitor system
JP2002344913A (en) * 2001-05-16 2002-11-29 Nec Yonezawa Ltd Conversion processing device and conversion processing method for video data in network, and conversion processing service
JP2003085074A (en) * 2001-09-11 2003-03-20 Hitachi Information Systems Ltd Periodic update type image browse system, image update method for the same, and image update program for the same
WO2003073763A1 (en) * 2002-02-28 2003-09-04 Sony Corporation Camera server and image distribution method
JP2004164098A (en) * 2002-11-11 2004-06-10 Fuji Photo Film Co Ltd Web camera
JP2004222124A (en) * 2003-01-17 2004-08-05 Fuji Photo Film Co Ltd Moving picture distribution server

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042185A (en) * 1996-07-23 1998-02-13 Canon Inc Image pickup server, its method and medium
JPH1040185A (en) * 1996-07-23 1998-02-13 Canon Inc Server and terminal and method for controlling the same
JPH11161322A (en) * 1997-11-26 1999-06-18 Omron Corp Production line monitor system
JP2002344913A (en) * 2001-05-16 2002-11-29 Nec Yonezawa Ltd Conversion processing device and conversion processing method for video data in network, and conversion processing service
JP2003085074A (en) * 2001-09-11 2003-03-20 Hitachi Information Systems Ltd Periodic update type image browse system, image update method for the same, and image update program for the same
WO2003073763A1 (en) * 2002-02-28 2003-09-04 Sony Corporation Camera server and image distribution method
JP2004164098A (en) * 2002-11-11 2004-06-10 Fuji Photo Film Co Ltd Web camera
JP2004222124A (en) * 2003-01-17 2004-08-05 Fuji Photo Film Co Ltd Moving picture distribution server

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007122811A1 (en) * 2006-04-19 2007-11-01 Nikon Corporation Image reproducing device, camera, and image reproducing system
US8248489B2 (en) 2006-04-19 2012-08-21 Nikon Corporation Image playback device, camera and image playback system
JP2008092575A (en) * 2006-09-30 2008-04-17 Samsung Electronics Co Ltd System and method using mobile terminal information in communication system
JP2013229895A (en) * 2013-06-10 2013-11-07 Ricoh Co Ltd Network system, image forming device, program, and image data transmission/reception method
JP2023025134A (en) * 2020-04-30 2023-02-21 マクセル株式会社 Display device
JP7469441B2 (en) 2020-04-30 2024-04-16 マクセル株式会社 Display device

Also Published As

Publication number Publication date
CN1765131A (en) 2006-04-26
JP4654463B2 (en) 2011-03-23
WO2006027915A1 (en) 2006-03-16

Similar Documents

Publication Publication Date Title
TWI488489B (en) Data interaction method between digital tv receiving terminal and mobile terminal, and apparatus and system of the same
CN110891123B (en) Interactive information transmission method and device
CN102790921B (en) Method and device for choosing and recording partial screen area of multi-screen business
WO2014020641A1 (en) Content provision system, content provision device, content playback device, control method, program, and recording medium
CN108920120B (en) Information display control method and device
US20100157014A1 (en) Method for storing data of video telephony call in mobile terminal and system thereof
US20070033619A1 (en) Mobile communication terminal and video on demand service method using the same
CN102137160A (en) Method and equipment for adjusting downloading speed of P2P (peer-to-peer) download task
CN104219479A (en) Video communication service processing method and system
WO2006027915A1 (en) Image reproduction method
KR20060097920A (en) Method for converting photo slide into moving picture in mobile terminal
JP2009093206A (en) Communication terminal device and information notification method
CN111464704A (en) Method, server, terminal and storage medium for implementing color ring back tone service
CN111787111B (en) Data transmission method and device based on cloud game
JP2006523070A (en) Method and apparatus for providing multimedia service in portable terminal
CN111669655A (en) Media content projection playing method and device, computer equipment and storage medium
JP4970912B2 (en) Video segmentation server and control method thereof
EP2447860A2 (en) Methods, systems and computer program products for managing memory usage on a computing device
JP4549769B2 (en) Image viewing method
JP5347441B2 (en) Moving image processing device
JP2007049296A (en) Browsing method for image of pan and tilt function mounted type network camera from mobile terminal, and pan and tilt function mount type network camera
JP2007158685A (en) Moving video distribution system
KR100595654B1 (en) Setting method for standby display in mobile communication terminal
JP5347440B2 (en) Moving image processing device
JP2008136057A (en) Motion picture file generating device and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070903

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070903

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4654463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees