WO2016163020A1 - Frame interpolation device, frame interpolation method and frame interpolation program - Google Patents

Frame interpolation device, frame interpolation method and frame interpolation program Download PDF

Info

Publication number
WO2016163020A1
WO2016163020A1 PCT/JP2015/061187 JP2015061187W WO2016163020A1 WO 2016163020 A1 WO2016163020 A1 WO 2016163020A1 JP 2015061187 W JP2015061187 W JP 2015061187W WO 2016163020 A1 WO2016163020 A1 WO 2016163020A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
data
interpolation
unit
image
Prior art date
Application number
PCT/JP2015/061187
Other languages
French (fr)
Japanese (ja)
Inventor
隆文 春日
智史 櫻井
勇一郎 村地
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2015/061187 priority Critical patent/WO2016163020A1/en
Publication of WO2016163020A1 publication Critical patent/WO2016163020A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Definitions

  • the present invention relates to a frame interpolation device, a frame interpolation method, and a program for interpolating a moving image frame and generating a high frame rate moving image from a low frame rate moving image.
  • the present invention relates to a frame interpolation apparatus, a frame interpolation method, and a program for a graphic moving image.
  • a technique for increasing the frame rate of an image is known.
  • the technique described above is a technique for solving the above-described problem by performing frame interpolation from a moving picture with a low frame rate to increase the frame rate of the moving picture.
  • a motion vector is detected from a plurality of temporally continuous frame data, and an interpolation frame is generated based on the motion vector.
  • the motion vector detection process in the technique of Patent Document 1 has a problem that the processing amount or the circuit scale is large, and there is a possibility of erroneous detection.
  • the technique of Patent Document 2 involves compression of a moving image, there is a problem that it cannot be applied to a moving image generation device such as a personal computer and a display and a display device.
  • the frame interpolation device is: The pixel format data for rendering the second frame, which is the image frame immediately preceding the first frame among the plurality of consecutive image frames, is output as the second display data, and the pixel format data for rendering the first frame is output.
  • the second motion information representing the change in the image from the image frame immediately before the second frame to the second frame is generated in a vector format, and the change in the image from the second frame to the first frame is generated.
  • a drawing control unit that generates first motion information to be expressed in a vector format; Based on the first motion information and the second motion information, an interpolation frame for interpolating the second frame and the first frame is generated, and the generated interpolation frame is used as the first display data and the second frame.
  • a frame interpolation unit inserted between the display data and the display data.
  • the drawing control unit generates the second motion information representing the change in the image from the image frame immediately before the second frame to the second frame in the vector format, and First motion information representing a change in the image from the first frame to the first frame is generated in a vector format.
  • the frame interpolation unit generates an interpolation frame for interpolating the second frame and the first frame based on the first motion information and the second motion information. Therefore, according to the frame interpolation apparatus according to the present invention, it is possible to provide a frame interpolation apparatus that performs frame interpolation with few false detections while suppressing the circuit scale.
  • FIG. 1 is a block configuration diagram illustrating a frame interpolation device according to Embodiment 1.
  • FIG. 3 is a hardware configuration diagram of the frame interpolation device according to the first embodiment.
  • FIG. 3 is a flowchart showing a frame interpolation method and a frame interpolation process of the frame interpolation device according to the first embodiment.
  • the figure which shows the graphic image of a continuous N and N + 1 frame in the moving image which draws the speedometer of a car.
  • FIG. 5 is a diagram for explaining interpolation data generation processing according to the first embodiment.
  • FIG. 4 is a block configuration diagram of a frame interpolation device according to a second embodiment.
  • FIG. 6 is a block configuration diagram of a frame interpolation device according to a third embodiment.
  • FIG. 5 is a block configuration diagram of a frame interpolation device according to a fourth embodiment. The figure which shows the graphic image of the N and N + 1 frame which forms the moving image from which the movement amount of each object differs, when several objects have overlapped and the time axis changes. The figure which shows the example of the display data comprised from several layer data.
  • Embodiment 1 FIG. *** Explanation of configuration *** A block configuration of the frame interpolation apparatus 100 according to the present embodiment will be described with reference to FIG.
  • a technique related to frame interpolation of moving images will be described.
  • a frame interpolation technique for a graphic moving image will be described.
  • a case where each image frame 101 of a plurality of image frames forming a graphic moving image is drawn will be described.
  • Each image frame 101 of the plurality of image frames includes a first frame 1011 and a second frame 1012 which are continuous image frames 101.
  • the motion information 2011 generated by the drawing control unit 201 described below includes first motion information 20111 generated when the first frame 1011 is drawn, and first information generated when the second frame 1012 is drawn. 2 motion information 20112 is included.
  • the vector-format drawing information 2012 generated by the drawing control unit 201 described below includes first drawing information 20121 used for drawing the first frame 1011 and second drawing information 20122 used for drawing the second frame 1012. included.
  • the display data 2021 in the pixel format generated by the drawing unit 202 described below includes first display data 20211 in which the first frame 1011 is drawn and second display data 20212 in which the second frame 1012 is drawn.
  • image frame 101 may include both the first frame 1011 and the second frame 1012 and may refer to either one.
  • motion information 2011 when the motion information 2011 is described, there are cases where both the first motion information 20111 and the second motion information 20112 are included, and one of them is indicated.
  • drawing information 2012 when the drawing information 2012 is described, it may include both the first drawing information 20121 and the second drawing information 20122, and may indicate either one.
  • display data 2021 may include both the first display data 20211 and the second display data 20212 and may indicate either one.
  • the frame interpolation apparatus 100 includes a frame drawing unit 200, a frame interpolation unit 300, and a display unit 400.
  • the frame drawing unit 200 includes a drawing control unit 201, a drawing unit 202, and a data storage unit 203.
  • the display unit 400 includes a display device 401.
  • the drawing control unit 201 generates vector format data used to generate the second display data 20212 as the second drawing information 20122, and also uses vector format data used to generate the first display data 20211 as the first drawing information 20121. Generate.
  • the drawing unit 202 uses the second drawing information 20122 to store second pixel-format data for drawing the second frame 1012 that is the image frame immediately before the first frame 1011 among the plurality of continuous image frames 101. Output as display data 20212. Further, the drawing unit 202 uses the first drawing information 20121 to output pixel format data for drawing the first frame 1011 as the first display data 20211.
  • the drawing control unit 201 generates second motion information 20112 that represents a change in the image from the image frame immediately before the second frame 1012 to the second frame 1012 in a vector format.
  • the drawing control unit 201 generates first motion information 20111 that represents a change in the image from the second frame 1012 to the first frame 1011 in a vector format.
  • the drawing control unit 201 generates first motion information 20111 based on the first drawing information 20121 and the second drawing information 20122. Similar to the generation of the first motion information 20111, the drawing control unit 201 generates the second motion information 20112 when drawing the second frame 1012.
  • a plurality of image frames 101 forming a moving image are drawn in order. Accordingly, when the second frame 1012 is drawn, the second drawing information 20122, the second motion information 20112, and the second display data 20212 are formed. Next, when the first frame 1011 is drawn, first drawing information 20121, first motion information 20111, and first display data 20211 are formed.
  • the data storage unit 203 stores data representing the component part 20311 drawn in each image frame 101 of a plurality of image frames as drawing configuration data 2031.
  • the frame drawing unit 200 is a block for generating an image frame 101 that is a graphic image.
  • the frame drawing unit 200 is also referred to as a graphic drawing unit.
  • the drawing control unit 201 draws drawing information such as a background image, an object, and a position size of the image frame 101 to be drawn based on the external information 500 and the drawing configuration data 2031 stored in the data storage unit 203. 2012 is determined.
  • the drawing control unit 201 outputs a drawing command 2013 based on the drawing information 2012 to the drawing unit 202 and generates motion information 2011 of successive image frames 101.
  • the drawing control unit 201 outputs the generated motion information 2011.
  • External information 500 is information used for drawing the image frame 101 such as the first frame 1011 and the second frame 1012.
  • the external information 500 is information input from an input device such as key input information input from a keyboard and touch panel information input from a touch panel.
  • the drawing unit 202 draws the image frame 101 in accordance with the drawing command 2013 from the drawing control unit 201 and outputs the image frame 101 as display data 2021 in a pixel format.
  • the frame interpolation unit 300 generates interpolation data 3001 for interpolating between the second frame 1012 and the first frame 1011 based on the first motion information 20111 and the second motion information 20112.
  • the second motion information 20112 is motion information 2011 representing the change from the image frame 101 immediately before the second frame 1012 to the second frame 1012, and the motion information 2011 generated when the second frame 1012 is rendered. It is.
  • the frame interpolation unit 300 inserts the generated interpolation data 3001 between the first display data 20211 and the second display data 20212.
  • the frame interpolation unit 300 outputs display data in which the interpolation data 3001 is inserted between the first display data 20211 and the second display data 20212 as the interpolated display data 3021.
  • the frame interpolation unit 300 generates the interpolation data 3001 based on the display data 2021 and the motion information 2011 output from the frame drawing unit 200.
  • the frame interpolation unit 300 inserts the generated interpolation data 3001 into the display data 2021, and generates interpolated display data 3021 having a higher frame rate than the original display data 2021.
  • the frame interpolation unit 300 outputs the generated interpolated display data 3021 to the display unit 400.
  • the display unit 400 displays the interpolated display data 3021 output from the frame interpolation unit 300 on the display device 401.
  • the display device 401 is a display device such as a display, for example.
  • the frame interpolation apparatus 100 is a computer.
  • the frame interpolation device 100 includes hardware such as a processor 901, an auxiliary storage device 902, a memory 903, a communication device 904, an input interface 905, and a display interface 906.
  • the processor 901 is connected to other hardware via the signal line 910, and controls these other hardware.
  • the input interface 905 is connected to the input device 907.
  • the display interface 906 is connected to the display 908.
  • the processor 901 is an IC (Integrated Circuit) that performs processing.
  • the processor 901 is, for example, a CPU, a DSP (Digital Signal Processor), or a GPU.
  • the auxiliary storage device 902 is, for example, a ROM (Read Only Memory), a flash memory, or an HDD (Hard Disk Drive).
  • the memory 903 is, for example, a RAM (Random Access Memory).
  • the communication device 904 includes a receiver 9041 that receives data and a transmitter 9042 that transmits data.
  • the communication device 904 is, for example, a communication chip or a NIC (Network Interface Card).
  • the input interface 905 is a port to which the cable 911 of the input device 907 is connected.
  • the input interface 905 is, for example, a USB (Universal Serial Bus) terminal.
  • the display interface 906 is a port to which the cable 912 of the display 908 is connected.
  • the display interface 906 is, for example, a USB terminal or an HDMI (registered trademark) (High Definition Multimedia Interface) terminal.
  • the input device 907 is, for example, a mouse, a keyboard, or a touch panel.
  • the display 908 is, for example, an LCD (Liquid Crystal Display).
  • the auxiliary storage device 902 stores programs for realizing the functions of the drawing control unit 201, the drawing unit 202, and the frame interpolation unit 300 shown in FIG.
  • the drawing control unit 201, the drawing unit 202, and the frame interpolation unit 300 are collectively referred to as “parts”.
  • the program that realizes the function of the “part” described above is also referred to as a frame interpolation program.
  • the program that realizes the function of “unit” may be a single program or a plurality of programs. This program is loaded into the memory 903, read into the processor 901, and executed by the processor 901.
  • auxiliary storage device 902 also stores an OS (Operating System). Then, at least a part of the OS is loaded into the memory 903, and the processor 901 executes a program that realizes the function of “unit” while executing the OS.
  • OS Operating System
  • the frame interpolation apparatus 100 may include a plurality of processors 901.
  • a plurality of processors 901 may execute a program for realizing the function of “unit” in cooperation with each other.
  • the drawing control unit 201 is a CPU
  • the data storage unit 203 is a VRAM
  • the drawing unit 202 is a general-purpose GPU.
  • information, data, signal values, and variable values indicating the processing results of the “unit” are stored as files in the memory 903, the auxiliary storage device 902, or a register or cache memory in the processor 901.
  • circuitry may be provided as “circuitry”. Further, “part” may be read as “circuit”, “process”, “procedure”, or “processing”. Further, “processing” may be read as “circuit”, “process”, “procedure”, or “part”. “Circuit” and “Circuitry” include not only the processor 901 but also other types of processing circuits such as a logic IC or GA (Gate Array) or ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array). It is a concept to include.
  • GA Gate Array
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • a program product is a storage medium, a storage device, or the like on which a program that realizes the function described as a “part” is recorded. It is what you are loading.
  • the frame interpolation process S100 includes a drawing control process S110, a drawing process S120, an interpolation process S130, and a display process S140.
  • the drawing control unit 201 In the drawing control processing S ⁇ b> 110, the drawing control unit 201 generates vector format data used for generating the second display data 20212 as the second drawing information 20122. In addition, the drawing control unit 201 generates vector format data used for generating the first display data 20211 as the first drawing information 20121. The drawing control unit 201 generates second motion information 20112 that represents a change in the image from the image frame immediately before the second frame 1012 to the second frame 1012 in a vector format. In addition, the drawing control unit 201 generates first motion information 20111 that represents a change in the image from the second frame 1012 to the first frame 1011 in a vector format. The drawing control unit 201 generates first motion information 20111 based on the first drawing information 20121 and the second drawing information 20122.
  • the drawing control unit 201 acquires the external information 500 and also acquires drawing configuration data 2031 from the data storage unit 203.
  • the drawing control unit 201 generates drawing information 2012 including attributes of components to be drawn as the image frame 101 based on the external information 500 and the drawing configuration data 2031.
  • the drawing configuration data 2031 includes configuration content information such as components to be drawn on the image frame 101 and screen transition information regarding screen transitions of the plurality of image frames 101.
  • the attribute of the component is, for example, information regarding the size, position, color, and transition of the component.
  • the drawing control unit 201 outputs a drawing command 2013 based on the generated drawing information 2012 to the drawing unit 202.
  • the drawing control unit 201 In S113, the drawing control unit 201 generates first motion information 20111 in the first frame 1011 using the first drawing information 20121 generated in S112 and the second drawing information 20122 generated in the previous process. A motion information generation process is executed. Based on the first drawing information 20121 and the second drawing information 20122, the drawing control unit 201 generates a change in the attribute of the component from the second frame 1012 to the first frame 1011 as the first motion information 20111. The drawing control unit 201 outputs the generated motion information 2011 to the frame interpolation unit 300.
  • the rendering unit 202 outputs pixel format data for rendering the first frame 1011 as first display data 20211.
  • the drawing unit 202 generates pixel format data for drawing the second frame 1012 in the previous process as the second display data 20212 and stores the data in the data storage unit 203.
  • the drawing unit 202 is a graphic image based on the drawing command 2013 output from the drawing control unit 201 and the drawing configuration data 2031 such as the components of the drawing content stored in the data storage unit 203.
  • An image frame 101 (first frame 1011) is generated.
  • the drawing unit 202 outputs the generated image frame 101, which is a graphic image, to the frame interpolation unit 300 as pixel format display data 2021.
  • the drawing unit 202 may output the drawn image frame 101, that is, the display data 2021 after storing it in the data storage unit 203 once instead of directly outputting it.
  • the drawing control unit 201 may output the generated drawing information 2012 and the motion information 2011 after storing them in the data storage unit 203 instead of directly outputting them.
  • the frame interpolation unit 300 generates interpolation data 3001 for interpolating the second frame 1012 and the first frame 1011 based on the first motion information 20111 and the second motion information 20112.
  • the frame interpolation unit 300 performs an interpolation process S130 in which the generated interpolation data 3001 is inserted between the first display data 20211 and the second display data 20212.
  • the frame interpolation unit 300 generates the interpolation data 3001 using the motion information 2011 and the display data 2021.
  • the frame interpolation unit 300 inserts the generated interpolation data 3001 into the display data 2021, and generates interpolated display data 3021.
  • Interpolated display data 3021 is data in which the frame rate of display data 2021 is increased.
  • the display unit 400 displays the interpolated display data 3021 output from the frame interpolation unit 300 on the display device 401.
  • the drawing control unit 201 determines whether to continue generating the moving image.
  • the drawing control unit 201 determines whether the first frame 1011 is the last frame of the plurality of image frames 101. When the first frame 1011 is the last image frame, the drawing control unit 201 ends the generation of the moving image, and thus ends the frame interpolation process. If the first frame 1011 is not the last image frame, the drawing control unit 201 returns to S111 and repeats the frame interpolation process S100 for the next frame after the first frame 1011.
  • the motion information generation process S113 by the drawing control unit 201 according to the present embodiment will be described in detail with reference to FIGS. There are mainly two types of moving image generation processing in graphics. In the following description, the motion information generation processing of the drawing control unit 201 will be described for each type of moving image generation processing.
  • animation data having a predetermined screen transition is generated and stored in the data storage unit 203 as drawing configuration data 2031.
  • the drawing control unit 201 generates a moving image based on animation data that is drawing configuration data 2031 stored in the data storage unit 203.
  • FIG. 4 shows a graphic image of consecutive N, N + 1, N + 2 frames in a moving image based on animation data.
  • the drawing control unit 201 generates drawing information 2012 for drawing a graphic image in a frame based on the drawing configuration data 2031.
  • the drawing information 2012 is vector data having the upper left corner of the frame as the origin, the x coordinate in the horizontal direction, and the y coordinate in the vertical direction, and is configured by the attributes of the components that make up the graphic image in the frame.
  • the drawing information 2012 is configured by the type, position, size, and the like of the objects that make up the graphic image.
  • the drawing control unit 201 generates motion information 2011 based on the generated drawing information 2012. Specifically, the drawing control unit 201 generates an image change as motion information 2011 in the drawing information 2012 of each frame of the previous and subsequent frames.
  • the drawing control unit 201 extracts a change in the attribute of the component as a change in the image. Specifically, the drawing control unit 201 extracts the drawing content, position, and size. The drawing control unit 201 generates motion information 2011 including drawing contents, position, and size when the upper left corner of the frame is the origin, the x coordinate is in the horizontal direction, and the y coordinate is in the vertical direction. Output to.
  • a moving image is generated based on external information 500 such as key input information and touch panel information and screen transition information preset as drawing configuration data 2031.
  • FIG. 5 shows an example of drawing a speedometer of a car.
  • the drawing control unit 201 acquires the external information 500 used for drawing the image frame 101, determines the attribute of the component to be drawn in each image frame 101 based on the acquired external information 500, and generates the drawing information 2012.
  • the drawing control unit 201 acquires vehicle speed information as the external information 500.
  • the component is a speedometer.
  • the attribute of the component is speed.
  • the drawing control unit 201 generates drawing information 2012 for drawing a speedometer based on the acquired speed information.
  • the drawing control unit 201 generates drawing contents and speed as motion information 2011 as a change in component attribute, which is a change in an image, and outputs it to the outside.
  • the drawing control unit 201 holds information such as the previously drawn object and the position and size of the object when drawing a moving image in any moving image generation process.
  • the drawing control unit 201 holds the drawing information 2012 of the previously drawn image frame 101 in the data storage unit 203, thereby holding the previously drawn object and the position and size information of the object.
  • the drawing control unit 201 redetermines the background color of the graphic image to be drawn, the object, and the position of the object and which drawing information 2012 is large based on the external information 500 or animation data.
  • the position, size, motion vector, and the like of the object are generated as motion information 2011 based on the previous rendering information 2012 and the current rendering information 2012.
  • the data storage unit 203 stores information representing the color transition of the component as drawing configuration data 2031.
  • the drawing control unit 201 generates drawing information 2012 including the colors of the component parts.
  • the drawing control unit 201 generates a change in the color of the component from the previous image frame 101 to the current image frame 101 as motion information 2011 based on the previous drawing information 2012 and the current drawing information 2012.
  • FIG. 6 shows a state in which the background color in the moving image changes smoothly, such as N frames, N + 1 frames, and N + 2 frames.
  • the drawing control unit 201 according to the present embodiment can also handle smooth color value changes along the time axis as the motion information 2011 as shown in FIG.
  • motion information can be generated by a simple process based on the drawing configuration data 2031 such as animation data and the drawing information 2012 output to the drawing unit 202.
  • the interpolation data generation process by the frame interpolation unit 300 according to the present embodiment will be described in detail with reference to FIG.
  • the object A has a position (50, 20) and a size of 50 ⁇ 50 in the N frame, whereas the object A changes to a position (200, 120) and a size of 150 ⁇ 150 in the N + 1 frame. It can be seen from the motion information 2011.
  • the frame interpolation unit 300 obtains prediction information of an interpolation frame in the middle on the time axis between the N frame and the N + 1 frame.
  • the frame interpolation unit 300 determines the intermediate value of the position and size of the motion information 2011 of the N frame and the N + 1 frame as the position and size of the prediction information.
  • the frame interpolation unit 300 generates interpolation data 3001 based on the determined prediction information and the Nth frame graphic image.
  • the frame interpolation unit 300 is provided with rectangular transfer (BitBLT) having an enlargement / reduction function.
  • the frame interpolation unit 300 transfers the area of 50 ⁇ 50 from the position (50, 20) to the area of 100 ⁇ 100 from the position (125, 70) by the rectangular transfer (BitBLT) having the enlargement / reduction function.
  • Interpolation data 3001 is generated. If the background color is not a single color fill, if the object A is BitBLT in the rectangular area, the object A can be transferred correctly, but the background color is incorrect.
  • the frame interpolation unit 300 may be provided with a BitBLT having a mask function that does not transfer pixel units or the background instead of rectangular transfer.
  • the frame interpolation unit 300 may have a simple drawing function for drawing the object A.
  • the frame interpolation apparatus 100 changes the function that the frame interpolation unit 300 has according to the drawing content of the graphics image (for example, only monochrome painting or a background based on gradation). be able to.
  • the frame interpolation apparatus 100 according to the present embodiment can change the functions provided to the frame interpolation unit 300 in consideration of the processing amount, circuit scale, frame interpolation accuracy, and the like.
  • the frame drawing unit 200 outputs motion information 2011 and display data 2021 as separate data. However, the frame drawing unit 200 may embed and output the motion information 2011 in the blanking period of the display data 2021.
  • the frame interpolation apparatus 100 includes a graphic drawing unit that draws each frame image of a moving image including a graphic image and generates motion information included in the frame image. Further, the frame interpolation apparatus 100 generates interpolation data using the moving image generated by the graphic drawing unit and the motion information, and inserts the interpolation data into the moving image, so that the frame rate is higher than that of the moving image generated by the graphic drawing unit. A frame interpolation unit for generating a high moving image is provided. In addition, the frame interpolation device 100 includes a display unit that displays a moving image generated by the frame interpolation unit. Therefore, according to the frame interpolation apparatus 100, it is possible to realize a frame interpolation process with few false detections while suppressing the circuit scale.
  • the graphic drawing unit In the frame interpolation device 100, the graphic drawing unit generates a drawing command for drawing a graphic image based on the external information, the drawing configuration data, and the drawing information of the graphic image of the previous frame. In addition, the graphic drawing unit generates motion information that represents a change in the attributes of the components that make up the graphic image. Therefore, according to the frame interpolation apparatus 100, it is possible to realize a frame interpolation process with few false detections.
  • the drawing unit 202 In the frame interpolation device 100, the drawing unit 202 generates a graphic image of pixel data based on the drawing command generated by the drawing control unit 201 and the drawing configuration data.
  • the frame interpolation apparatus 100 also includes a data storage unit for storing drawing configuration data used by the drawing control unit and the drawing unit. Therefore, according to the frame interpolation apparatus 100, the circuit scale can be suppressed and the frame interpolation process with few false detections can be realized.
  • the frame interpolation device 100 it is possible to reduce the process of detecting a motion vector using image data of pixel data, so that it is possible to reduce the processing amount or the circuit scale. Furthermore, according to the frame interpolation apparatus 100, it is possible to realize a frame interpolation process with few false detections while suppressing the circuit scale even when the moving image is not compressed.
  • Embodiment 2 FIG. In the present embodiment, differences from the first embodiment will be described. In this embodiment, the same components as those described in Embodiment 1 are denoted by the same reference numerals, and the description thereof may be omitted.
  • the frame interpolation unit 300 has a configuration independent of the frame drawing unit 200.
  • the frame drawing unit 200 further includes a frame interpolation unit 300 in addition to the drawing control unit 201, the drawing unit 202, and the data storage unit 203. Therefore, the frame drawing unit 200 can be configured as a personal computer, and the display device 401 of the display unit 400 can be configured as a display.
  • the interpolation process S130 can be realized without mounting a dedicated circuit for performing the interpolation process S130.
  • Embodiment 3 FIG. In the present embodiment, differences from the first and second embodiments will be described. In the present embodiment, the same components as those described in the first and second embodiments are denoted by the same reference numerals, and the description thereof may be omitted.
  • the frame interpolation unit 300 has a configuration independent of the frame drawing unit 200.
  • the frame interpolation unit 300 is included in the frame drawing unit 200.
  • a configuration in which the display unit 400 includes the frame interpolation unit 300 will be described.
  • the frame interpolation unit 300 is implemented as a part of the display unit 400.
  • the transfer amount of the interpolated display data 3021 transferred between the frame drawing unit 200 and the display unit 400 can be reduced.
  • Embodiment 4 FIG. In this embodiment, differences from Embodiments 1 to 3 will be described. In this embodiment, the same components as those described in Embodiments 1 to 3 are denoted by the same reference numerals, and the description thereof may be omitted.
  • the block configuration of the frame interpolation apparatus 100c in the present embodiment will be described with reference to FIG.
  • a moving image based on a graphic image a plurality of objects overlap each other, and when the time axis changes, the movement amount of each object is different.
  • the frame interpolation apparatuses 100, 100a, and 100b described in the first to third embodiments cannot generate the interpolation data 3001. This is because, in the N frame, the object in the back is hidden by the object in the front, whereas in the N + 1 frame, each object moves in a different direction, so that each object is all drawn on the graphic screen. Because.
  • description will be given of frame interpolation apparatus 100c to which the techniques of Embodiments 1 to 3 described above can be applied even when objects that are component parts overlap.
  • each image frame 101 of a plurality of image frames includes a plurality of components. That is, the image frame 101 is composed of a plurality of components.
  • the drawing unit 202 outputs layer data 2022 for each component of a plurality of components.
  • the layer data 2022 is pixel data for each component.
  • the display data 2021 is assumed to include a plurality of layer data 2022.
  • the display data 2021 is composed of layer data 2022-1 and layer data 2022-2.
  • FIG. 12 shows an example of display data 2021 in which a triangular object and a circular object are drawn by being divided into layer data 2022-1 and layer data 2022-2.
  • the display data generated by the drawing unit 202 is not the final graphic image to be displayed, but is layer data 2022 that is drawn by dividing a layer for each object having a different amount of motion.
  • the background may be the independent layer data 2022.
  • the frame interpolation unit 300 generates interpolation data 3001 for each layer data 2022 of a plurality of layer data.
  • the frame interpolation unit 300 inserts the generated interpolation data 3001 between the layer data 2022 included in the current display data 2021 and the layer data 2022 included in the previous display data 2021.
  • the frame interpolation unit 300 generates interpolated display data 3021 by superimposing each layer data.
  • the frame interpolation device 100c According to the configuration of the frame interpolation device 100c according to the present embodiment, it is possible to realize interpolation processing even when objects overlap.
  • the frame interpolation device is configured as a functional block in which the drawing control unit, the drawing unit, and the frame interpolation unit are independent of each other.
  • the frame interpolation device does not have to be configured as described above, and the configuration of the frame interpolation device is arbitrary.
  • the drawing control unit and the drawing unit may be a single functional block.
  • the functional blocks of the frame interpolation device are arbitrary as long as the functions described in the above embodiments can be realized.
  • the communication device may be configured by any other combination of these functional blocks or an arbitrary block configuration.
  • the frame interpolation device may be a frame complementing system constituted by a plurality of devices instead of a single device.
  • Embodiments 1 to 4 have been described, a plurality of these four embodiments may be partially combined. Alternatively, one of the four embodiments may be partially implemented. In addition, these four embodiments may be implemented in any combination, in whole or in part. In addition, said embodiment is an essentially preferable illustration, Comprising: It does not intend restrict
  • 100, 100a, 100b, 100c Frame interpolation device 101 image frame, 200 frame drawing unit, 201 drawing control unit, 202 drawing unit, 203 data storage unit, 300 frame interpolation unit, 400 display unit, 401 display device, 500 external information 901 processor, 902 auxiliary storage device, 903 memory, 904 communication device, 905 input interface, 906 display interface, 907 input device, 908 display, 910 signal line, 911, 912 cable, 1011 first frame, 1012 second frame, 2011 motion information, 2012 drawing information, 2013 drawing command, 2021 display data, 2022 layer data, 2031 drawing configuration data, 3001 interpolation data 3021 Interpolated display data, 9041 receiver, 9042 transmitter, 20111, first motion information, 20112, second motion information, 20121, first drawing information, 20122, second drawing information, 20211, first display data, 20212, second display data, 20311 configuration Parts, S100 frame interpolation processing, S110 drawing control processing, S120 drawing processing, S130 interpolation processing, S140 display processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

A rendering unit (202) outputs pixel-format second display data (20212) for rendering a second frame that is one frame before a first frame among a plurality of consecutive image frames, and outputs pixel-format first display data (20211) for rendering the first frame. A rendering control unit (201) generates, in a vector format, second motion information (20112) that indicates a change in image between an image frame that is one frame before the second frame and the second frame, and generates, in the vector format, first motion information (20111) that indicates a change in image between the second frame and the first frame. A frame interpolation unit (300) generates interpolation data (3001) for performing interpolation between the second frame and the first frame, and inserts the interpolation data between the first display data (20211) and the second display data (20212).

Description

フレーム補間装置、フレーム補間方法及びフレーム補間プログラムFrame interpolation apparatus, frame interpolation method, and frame interpolation program
　本発明は、動画像の画像フレームを補間し、低フレームレートの動画像から高フレームレートの動画像を生成するフレーム補間装置、フレーム補間方法及びプログラムに関する。特に、グラフィックの動画像を対象とするフレーム補間装置、フレーム補間方法及びプログラムに関する。 The present invention relates to a frame interpolation device, a frame interpolation method, and a program for interpolating a moving image frame and generating a high frame rate moving image from a low frame rate moving image. In particular, the present invention relates to a frame interpolation apparatus, a frame interpolation method, and a program for a graphic moving image.
　テレビ、パーソナルコンピュータ、携帯電話、スマートフォン、カーナビゲーションなど動画像を表示する装置において、時間的に連続するフレームデータから、フレームデータを補間する補間フレームを生成し、フレームデータに挿入することで、動画像のフレームレートを高める技術が知られている。
　一般的に、人がフレームレートの低い動画像を見た場合、動画像がぼやける、もしくは人あるいは物が急に移動したと感じるなどの問題がある。上記技術は、フレームレートが低い動画像からフレーム補間をすることにより、この動画像のフレームレートを高くし、上記のような問題を解決する技術である。 In devices that display moving images, such as TVs, personal computers, mobile phones, smartphones, car navigation systems, etc., by generating interpolated frames that interpolate frame data from temporally continuous frame data and inserting it into the frame data, A technique for increasing the frame rate of an image is known.
In general, when a person views a moving image with a low frame rate, there is a problem that the moving image is blurred or that a person or an object feels suddenly moved. The technique described above is a technique for solving the above-described problem by performing frame interpolation from a moving picture with a low frame rate to increase the frame rate of the moving picture.
　特許文献１に示すフレーム補間装置及び方法では、時間的に連続する複数のフレームデータから、動きベクトルを検出し、動きベクトルを元に補間フレームを生成する。 In the frame interpolation apparatus and method disclosed in Patent Document 1, a motion vector is detected from a plurality of temporally continuous frame data, and an interpolation frame is generated based on the motion vector.
　一方、特許文献２に示す技術では、動画像の符号化処理及び復号化処理と合わせることで、動きベクトルの検出処理を無くすことを提示している。Ｈ．２６４などの動画像圧縮では、符号化処理にて動きベクトルを検出し、動きベクトルを用いて動画像を圧縮する。そして、この動画像圧縮では、検出した動きベクトルを符号化データと共に復号化部に転送し、動きベクトルと符号化データから復号化した動画像データと動きベクトルを用いて補間フレームを生成する。 On the other hand, in the technique shown in Patent Document 2, it is proposed that the motion vector detection process is eliminated by combining the encoding process and the decoding process of a moving image. H. In moving image compression such as H.264, a motion vector is detected by encoding processing, and the moving image is compressed using the motion vector. In this moving image compression, the detected motion vector is transferred to the decoding unit together with the encoded data, and an interpolation frame is generated using the moving image data and the motion vector decoded from the motion vector and the encoded data.
特開平６－１７８２７０号公報JP-A-6-178270 特開２００５－６２７５号公報JP 2005-6275 A
　しかし、特許文献１の技術における動きベクトルの検出処理は、処理量もしくは回路規模が大きく、誤検出する虞があるという課題がある。
　また、特許文献２の技術では、動画像の圧縮を伴うので、パーソナルコンピュータとディスプレイのような動画像生成装置と表示機器には適用できないという課題がある。 However, the motion vector detection process in the technique of Patent Document 1 has a problem that the processing amount or the circuit scale is large, and there is a possibility of erroneous detection.
Moreover, since the technique of Patent Document 2 involves compression of a moving image, there is a problem that it cannot be applied to a moving image generation device such as a personal computer and a display and a display device.
　本発明は、特にグラフィックによる動画像において、回路規模を抑制しつつ、誤検出の少ないフレーム補間を実行するフレーム補間装置を提供することを目的とする。 It is an object of the present invention to provide a frame interpolation apparatus that performs frame interpolation with few false detections while suppressing a circuit scale, particularly in a moving image based on graphics.
　本発明に係るフレーム補間装置は、
　連続する複数の画像フレームのうち第１フレームの１つ前の画像フレームである第２フレームを描画するピクセル形式のデータを第２表示データとして出力すると共に、前記第１フレームを描画するピクセル形式のデータを第１表示データとして出力する描画部と、
　前記第２フレームの１つ前の画像フレームから前記第２フレームまでの画像の変化を表す第２動き情報をベクトル形式で生成すると共に、前記第２フレームから前記第１フレームまでの画像の変化を表す第１動き情報をベクトル形式で生成する描画制御部と、
　前記第１動き情報と前記第２動き情報とに基づいて、前記第２フレームと前記第１フレームとを補間する補間フレームを生成し、生成した前記補間フレームを前記第１表示データと前記第２表示データとの間に挿入するフレーム補間部とを備える。 The frame interpolation device according to the present invention is:
The pixel format data for rendering the second frame, which is the image frame immediately preceding the first frame among the plurality of consecutive image frames, is output as the second display data, and the pixel format data for rendering the first frame is output. A drawing unit for outputting data as first display data;
The second motion information representing the change in the image from the image frame immediately before the second frame to the second frame is generated in a vector format, and the change in the image from the second frame to the first frame is generated. A drawing control unit that generates first motion information to be expressed in a vector format;
Based on the first motion information and the second motion information, an interpolation frame for interpolating the second frame and the first frame is generated, and the generated interpolation frame is used as the first display data and the second frame. A frame interpolation unit inserted between the display data and the display data.
　本発明に係るフレーム補間装置では、描画制御部が、第２フレームの１つ前の画像フレームから第２フレームまでの画像の変化を表す第２動き情報をベクトル形式で生成すると共に、第２フレームから第１フレームまでの画像の変化を表す第１動き情報をベクトル形式で生成する。また、フレーム補間部が、第１動き情報と第２動き情報とに基づいて、第２フレームと第１フレームとを補間する補間フレームを生成する。よって、本発明に係るフレーム補間装置によれば、回路規模を抑制しつつ、誤検出の少ないフレーム補間を実行するフレーム補間装置を提供することができる。 In the frame interpolation device according to the present invention, the drawing control unit generates the second motion information representing the change in the image from the image frame immediately before the second frame to the second frame in the vector format, and First motion information representing a change in the image from the first frame to the first frame is generated in a vector format. In addition, the frame interpolation unit generates an interpolation frame for interpolating the second frame and the first frame based on the first motion information and the second motion information. Therefore, according to the frame interpolation apparatus according to the present invention, it is possible to provide a frame interpolation apparatus that performs frame interpolation with few false detections while suppressing the circuit scale.
実施の形態１に係るフレーム補間装置を示すブロック構成図。1 is a block configuration diagram illustrating a frame interpolation device according to Embodiment 1. FIG. 実施の形態１に係るフレーム補間装置のハードウェア構成図。FIG. 3 is a hardware configuration diagram of the frame interpolation device according to the first embodiment. 実施の形態１に係るフレーム補間装置のフレーム補間方法及びフレーム補間処理を示すフロー図。FIG. 3 is a flowchart showing a frame interpolation method and a frame interpolation process of the frame interpolation device according to the first embodiment. アニメーションデータによる動画像において、連続するＮ、Ｎ＋１、Ｎ＋２フレームのグラフィック画像を示す図。The figure which shows the graphic image of a continuous N, N + 1, N + 2 frame in the moving image by animation data. 車のスピードメータを描画する動画像において、連続するＮ、Ｎ＋１フレームのグラフィック画像を示す図。The figure which shows the graphic image of a continuous N and N + 1 frame in the moving image which draws the speedometer of a car. 色が徐々に変化する動画像において、連続するＮ、Ｎ＋１、Ｎ＋２フレームのグラフィック画像を示す図。The figure which shows the graphic image of a continuous N, N + 1, N + 2 frame in the moving image from which a color changes gradually. 実施の形態１に係る補間データ生成処理を説明する図。FIG. 5 is a diagram for explaining interpolation data generation processing according to the first embodiment. 実施の形態２に係るフレーム補間装置のブロック構成図。FIG. 4 is a block configuration diagram of a frame interpolation device according to a second embodiment. 実施の形態３に係るフレーム補間装置のブロック構成図。FIG. 6 is a block configuration diagram of a frame interpolation device according to a third embodiment. 実施の形態４に係るフレーム補間装置のブロック構成図。FIG. 5 is a block configuration diagram of a frame interpolation device according to a fourth embodiment. 複数の物体が重なっており、時間軸が変化した場合にそれぞれの物体の移動量が異なる動画像を形成するＮ、Ｎ＋１フレームのグラフィック画像を示す図。The figure which shows the graphic image of the N and N + 1 frame which forms the moving image from which the movement amount of each object differs, when several objects have overlapped and the time axis changes. 複数のレイヤーデータから構成される表示データの例を示す図。The figure which shows the example of the display data comprised from several layer data.
　実施の形態１．
＊＊＊構成の説明＊＊＊
　図１を用いて、本実施の形態に係るフレーム補間装置１００のブロック構成について説明する。
　本実施の形態では、動画像のフレーム補間に関する技術について説明する。
　動画像には主にビデオとグラフィックの２種類が存在する。本実施の形態では、グラフィックの動画像におけるフレーム補間技術について説明する。ここでは、グラフィックの動画像を形成する複数の画像フレームの各画像フレーム１０１を描画する場合について説明する。 Embodiment 1 FIG.
*** Explanation of configuration ***
A block configuration of the frame interpolation apparatus 100 according to the present embodiment will be described with reference to FIG.
In the present embodiment, a technique related to frame interpolation of moving images will be described.
There are two main types of moving images: video and graphics. In the present embodiment, a frame interpolation technique for a graphic moving image will be described. Here, a case where each image frame 101 of a plurality of image frames forming a graphic moving image is drawn will be described.
　複数の画像フレームの各画像フレーム１０１には、連続する画像フレーム１０１である第１フレーム１０１１、第２フレーム１０１２が含まれる。
　また、以下で説明する描画制御部２０１が生成する動き情報２０１１には、第１フレーム１０１１の描画の際に生成される第１動き情報２０１１１、第２フレーム１０１２の描画の際に生成される第２動き情報２０１１２が含まれる。
　また、以下で説明する描画制御部２０１が生成するベクトル形式の描画情報２０１２には、第１フレーム１０１１の描画に用いる第１描画情報２０１２１、第２フレーム１０１２の描画に用いる第２描画情報２０１２２が含まれる。
　また、以下で説明する描画部２０２が生成するピクセル形式の表示データ２０２１には、第１フレーム１０１１を描画した第１表示データ２０２１１、第２フレーム１０１２を描画した第２表示データ２０２１２が含まれる。 Each image frame 101 of the plurality of image frames includes a first frame 1011 and a second frame 1012 which are continuous image frames 101.
In addition, the motion information 2011 generated by the drawing control unit 201 described below includes first motion information 20111 generated when the first frame 1011 is drawn, and first information generated when the second frame 1012 is drawn. 2 motion information 20112 is included.
In addition, the vector-format drawing information 2012 generated by the drawing control unit 201 described below includes first drawing information 20121 used for drawing the first frame 1011 and second drawing information 20122 used for drawing the second frame 1012. included.
In addition, the display data 2021 in the pixel format generated by the drawing unit 202 described below includes first display data 20211 in which the first frame 1011 is drawn and second display data 20212 in which the second frame 1012 is drawn.
　なお、以下の説明において、画像フレーム１０１と記載した場合には、第１フレーム１０１１、第２フレーム１０１２の両方を含む場合と、いずれか一方を指す場合とがあるものとする。また、動き情報２０１１と記載した場合には、第１動き情報２０１１１、第２動き情報２０１１２の両方を含む場合と、いずれか一方を指す場合とがあるものとする。同様に、描画情報２０１２と記載した場合には、第１描画情報２０１２１、第２描画情報２０１２２の両方を含む場合と、いずれか一方を指す場合とがあるものとする。同様に、表示データ２０２１と記載した場合には、第１表示データ２０２１１、第２表示データ２０２１２の両方を含む場合と、いずれか一方を指す場合とがあるものとする。 In the following description, the term “image frame 101” may include both the first frame 1011 and the second frame 1012 and may refer to either one. In addition, when the motion information 2011 is described, there are cases where both the first motion information 20111 and the second motion information 20112 are included, and one of them is indicated. Similarly, when the drawing information 2012 is described, it may include both the first drawing information 20121 and the second drawing information 20122, and may indicate either one. Similarly, the display data 2021 may include both the first display data 20211 and the second display data 20212 and may indicate either one.
　フレーム補間装置１００は、フレーム描画部２００、フレーム補間部３００、表示部４００を備える。また、フレーム描画部２００は、描画制御部２０１、描画部２０２、データ格納部２０３を備える。表示部４００は、表示デバイス４０１を備える。 The frame interpolation apparatus 100 includes a frame drawing unit 200, a frame interpolation unit 300, and a display unit 400. The frame drawing unit 200 includes a drawing control unit 201, a drawing unit 202, and a data storage unit 203. The display unit 400 includes a display device 401.
　描画制御部２０１は、第２表示データ２０２１２の生成に用いるベクトル形式のデータを第２描画情報２０１２２として生成すると共に、第１表示データ２０２１１の生成に用いるベクトル形式のデータを第１描画情報２０１２１として生成する。
　描画部２０２は、第２描画情報２０１２２を用いて、連続する複数の画像フレーム１０１のうち第１フレーム１０１１の１つ前の画像フレームである第２フレーム１０１２を描画するピクセル形式のデータを第２表示データ２０２１２として出力する。また、描画部２０２は、第１描画情報２０１２１を用いて、第１フレーム１０１１を描画するピクセル形式のデータを第１表示データ２０２１１として出力する。 The drawing control unit 201 generates vector format data used to generate the second display data 20212 as the second drawing information 20122, and also uses vector format data used to generate the first display data 20211 as the first drawing information 20121. Generate.
The drawing unit 202 uses the second drawing information 20122 to store second pixel-format data for drawing the second frame 1012 that is the image frame immediately before the first frame 1011 among the plurality of continuous image frames 101. Output as display data 20212. Further, the drawing unit 202 uses the first drawing information 20121 to output pixel format data for drawing the first frame 1011 as the first display data 20211.
　描画制御部２０１は、第２フレーム１０１２の１つ前の画像フレームから第２フレーム１０１２までの画像の変化を表す第２動き情報２０１１２をベクトル形式で生成する。また、描画制御部２０１は、第２フレーム１０１２から第１フレーム１０１１までの画像の変化を表す第１動き情報２０１１１をベクトル形式で生成する。
　描画制御部２０１は、第１描画情報２０１２１と第２描画情報２０１２２とに基づいて、第１動き情報２０１１１を生成する。描画制御部２０１は、第１動き情報２０１１１の生成と同様に、第２フレーム１０１２を描画する際に第２動き情報２０１１２を生成する。 The drawing control unit 201 generates second motion information 20112 that represents a change in the image from the image frame immediately before the second frame 1012 to the second frame 1012 in a vector format. In addition, the drawing control unit 201 generates first motion information 20111 that represents a change in the image from the second frame 1012 to the first frame 1011 in a vector format.
The drawing control unit 201 generates first motion information 20111 based on the first drawing information 20121 and the second drawing information 20122. Similar to the generation of the first motion information 20111, the drawing control unit 201 generates the second motion information 20112 when drawing the second frame 1012.
　フレーム補間装置１００では、動画像を形成する複数の画像フレーム１０１は順に描画される。したがって、第２フレーム１０１２を描画する際に、第２描画情報２０１２２、第２動き情報２０１１２、第２表示データ２０２１２が形成される。次に、第１フレーム１０１１を描画する際に、第１描画情報２０１２１、第１動き情報２０１１１、第１表示データ２０２１１が形成される。 In the frame interpolation apparatus 100, a plurality of image frames 101 forming a moving image are drawn in order. Accordingly, when the second frame 1012 is drawn, the second drawing information 20122, the second motion information 20112, and the second display data 20212 are formed. Next, when the first frame 1011 is drawn, first drawing information 20121, first motion information 20111, and first display data 20211 are formed.
　データ格納部２０３は、複数の画像フレームの各画像フレーム１０１に描画される構成部品２０３１１を表すデータを描画構成データ２０３１として格納する。 The data storage unit 203 stores data representing the component part 20311 drawn in each image frame 101 of a plurality of image frames as drawing configuration data 2031.
　フレーム描画部２００は、グラフィック画像である画像フレーム１０１を生成するためのブロックである。フレーム描画部２００は、グラフィック描画部とも称される。
　描画制御部２０１は、外部情報５００と、データ格納部２０３に格納されている描画構成データ２０３１とに基づいて、描画する画像フレーム１０１の背景画像、物体、及び物体の位置大きさなどの描画情報２０１２を決定する。描画制御部２０１は、描画部２０２に対し、描画情報２０１２に基づく描画命令２０１３を出力すると共に、連続する画像フレーム１０１の動き情報２０１１を生成する。描画制御部２０１は、生成した動き情報２０１１を出力する。 The frame drawing unit 200 is a block for generating an image frame 101 that is a graphic image. The frame drawing unit 200 is also referred to as a graphic drawing unit.
The drawing control unit 201 draws drawing information such as a background image, an object, and a position size of the image frame 101 to be drawn based on the external information 500 and the drawing configuration data 2031 stored in the data storage unit 203. 2012 is determined. The drawing control unit 201 outputs a drawing command 2013 based on the drawing information 2012 to the drawing unit 202 and generates motion information 2011 of successive image frames 101. The drawing control unit 201 outputs the generated motion information 2011.
　外部情報５００は、第１フレーム１０１１、第２フレーム１０１２等の画像フレーム１０１の描画に用いられる情報である。外部情報５００とは、キーボードから入力されるキー入力情報、タッチパネルから入力されるタッチパネル情報等、入力装置から入力される情報である。 External information 500 is information used for drawing the image frame 101 such as the first frame 1011 and the second frame 1012. The external information 500 is information input from an input device such as key input information input from a keyboard and touch panel information input from a touch panel.
　描画部２０２は、描画制御部２０１からの描画命令２０１３に従って画像フレーム１０１を描画し、ピクセル形式の表示データ２０２１として出力する。 The drawing unit 202 draws the image frame 101 in accordance with the drawing command 2013 from the drawing control unit 201 and outputs the image frame 101 as display data 2021 in a pixel format.
　フレーム補間部３００は、第１動き情報２０１１１と、第２動き情報２０１１２とに基づいて、第２フレーム１０１２と第１フレーム１０１１との間を補間する補間データ３００１を生成する。第２動き情報２０１１２は、第２フレーム１０１２の１つ前の画像フレーム１０１から第２フレーム１０１２までの変化を表す動き情報２０１１であり、第２フレーム１０１２を描画した際に生成された動き情報２０１１である。フレーム補間部３００は、生成した補間データ３００１を、第１表示データ２０２１１と第２表示データ２０２１２との間に挿入する。フレーム補間部３００は、第１表示データ２０２１１と第２表示データ２０２１２との間に補間データ３００１を挿入した表示データを補間済表示データ３０２１として出力する。 The frame interpolation unit 300 generates interpolation data 3001 for interpolating between the second frame 1012 and the first frame 1011 based on the first motion information 20111 and the second motion information 20112. The second motion information 20112 is motion information 2011 representing the change from the image frame 101 immediately before the second frame 1012 to the second frame 1012, and the motion information 2011 generated when the second frame 1012 is rendered. It is. The frame interpolation unit 300 inserts the generated interpolation data 3001 between the first display data 20211 and the second display data 20212. The frame interpolation unit 300 outputs display data in which the interpolation data 3001 is inserted between the first display data 20211 and the second display data 20212 as the interpolated display data 3021.
　すなわち、フレーム補間部３００は、フレーム描画部２００から出力された表示データ２０２１と動き情報２０１１とに基づいて、補間データ３００１を生成する。フレーム補間部３００は、生成した補間データ３００１を表示データ２０２１に挿入し、元の表示データ２０２１よりも高フレームレートの補間済表示データ３０２１を生成する。フレーム補間部３００は、生成した補間済表示データ３０２１を表示部４００に出力する。 That is, the frame interpolation unit 300 generates the interpolation data 3001 based on the display data 2021 and the motion information 2011 output from the frame drawing unit 200. The frame interpolation unit 300 inserts the generated interpolation data 3001 into the display data 2021, and generates interpolated display data 3021 having a higher frame rate than the original display data 2021. The frame interpolation unit 300 outputs the generated interpolated display data 3021 to the display unit 400.
　表示部４００は、フレーム補間部３００から出力された補間済表示データ３０２１を表示デバイス４０１に表示する。表示デバイス４０１は、例えば、ディスプレイなどの表示装置である。 The display unit 400 displays the interpolated display data 3021 output from the frame interpolation unit 300 on the display device 401. The display device 401 is a display device such as a display, for example.
　図２を用いて、本実施の形態に係るフレーム補間装置１００のハードウェア構成の一例について説明する。 An example of the hardware configuration of the frame interpolation apparatus 100 according to the present embodiment will be described with reference to FIG.
　フレーム補間装置１００はコンピュータである。
　フレーム補間装置１００は、プロセッサ９０１、補助記憶装置９０２、メモリ９０３、通信装置９０４、入力インタフェース９０５、ディスプレイインタフェース９０６といったハードウェアを備える。
　プロセッサ９０１は、信号線９１０を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
　入力インタフェース９０５は、入力装置９０７に接続されている。
　ディスプレイインタフェース９０６は、ディスプレイ９０８に接続されている。 The frame interpolation apparatus 100 is a computer.
The frame interpolation device 100 includes hardware such as a processor 901, an auxiliary storage device 902, a memory 903, a communication device 904, an input interface 905, and a display interface 906.
The processor 901 is connected to other hardware via the signal line 910, and controls these other hardware.
The input interface 905 is connected to the input device 907.
The display interface 906 is connected to the display 908.
　プロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）である。
　プロセッサ９０１は、例えば、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵである。
　補助記憶装置９０２は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）である。
　メモリ９０３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。
　通信装置９０４は、データを受信するレシーバー９０４１及びデータを送信するトランスミッター９０４２を含む。
　通信装置９０４は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）である。
　入力インタフェース９０５は、入力装置９０７のケーブル９１１が接続されるポートである。
　入力インタフェース９０５は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子である。
　ディスプレイインタフェース９０６は、ディスプレイ９０８のケーブル９１２が接続されるポートである。
　ディスプレイインタフェース９０６は、例えば、ＵＳＢ端子又はＨＤＭＩ（登録商標）（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）端子である。
　入力装置９０７は、例えば、マウス、キーボード又はタッチパネルである。
　ディスプレイ９０８は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）である。 The processor 901 is an IC (Integrated Circuit) that performs processing.
The processor 901 is, for example, a CPU, a DSP (Digital Signal Processor), or a GPU.
The auxiliary storage device 902 is, for example, a ROM (Read Only Memory), a flash memory, or an HDD (Hard Disk Drive).
The memory 903 is, for example, a RAM (Random Access Memory).
The communication device 904 includes a receiver 9041 that receives data and a transmitter 9042 that transmits data.
The communication device 904 is, for example, a communication chip or a NIC (Network Interface Card).
The input interface 905 is a port to which the cable 911 of the input device 907 is connected.
The input interface 905 is, for example, a USB (Universal Serial Bus) terminal.
The display interface 906 is a port to which the cable 912 of the display 908 is connected.
The display interface 906 is, for example, a USB terminal or an HDMI (registered trademark) (High Definition Multimedia Interface) terminal.
The input device 907 is, for example, a mouse, a keyboard, or a touch panel.
The display 908 is, for example, an LCD (Liquid Crystal Display).
　補助記憶装置９０２には、図１に示す描画制御部２０１、描画部２０２、フレーム補間部３００の機能を実現するプログラムが記憶されている。以下、描画制御部２０１、描画部２０２、フレーム補間部３００をまとめて「部」と表記する。 The auxiliary storage device 902 stores programs for realizing the functions of the drawing control unit 201, the drawing unit 202, and the frame interpolation unit 300 shown in FIG. Hereinafter, the drawing control unit 201, the drawing unit 202, and the frame interpolation unit 300 are collectively referred to as “parts”.
　上述した「部」の機能を実現するプログラムは、フレーム補間プログラムとも称される。「部」の機能を実現するプログラムは、１つのプログラムであってもよいし、複数のプログラムから構成されていてもよい。
　このプログラムは、メモリ９０３にロードされ、プロセッサ９０１に読み込まれ、プロセッサ９０１によって実行される。 The program that realizes the function of the “part” described above is also referred to as a frame interpolation program. The program that realizes the function of “unit” may be a single program or a plurality of programs.
This program is loaded into the memory 903, read into the processor 901, and executed by the processor 901.
　更に、補助記憶装置９０２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）も記憶されている。
　そして、ＯＳの少なくとも一部がメモリ９０３にロードされ、プロセッサ９０１はＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。 Further, the auxiliary storage device 902 also stores an OS (Operating System).
Then, at least a part of the OS is loaded into the memory 903, and the processor 901 executes a program that realizes the function of “unit” while executing the OS.
　図２では、１つのプロセッサ９０１が図示されているが、フレーム補間装置１００が複数のプロセッサ９０１を備えていてもよい。
　そして、複数のプロセッサ９０１が「部」の機能を実現するプログラムを連携して実行してもよい。
　例えば、図１では、描画制御部２０１はＣＰＵであり、データ格納部２０３はＶＲＡＭであり、描画部２０２は汎用ＧＰＵである。 In FIG. 2, one processor 901 is illustrated, but the frame interpolation apparatus 100 may include a plurality of processors 901.
A plurality of processors 901 may execute a program for realizing the function of “unit” in cooperation with each other.
For example, in FIG. 1, the drawing control unit 201 is a CPU, the data storage unit 203 is a VRAM, and the drawing unit 202 is a general-purpose GPU.
　また、「部」の処理の結果を示す情報やデータや信号値や変数値が、メモリ９０３、補助記憶装置９０２、又は、プロセッサ９０１内のレジスタ又はキャッシュメモリにファイルとして記憶される。 In addition, information, data, signal values, and variable values indicating the processing results of the “unit” are stored as files in the memory 903, the auxiliary storage device 902, or a register or cache memory in the processor 901.
　「部」を「サーキットリー」で提供してもよい。
　また、「部」を「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。また、「処理」を「回路」又は「工程」又は「手順」又は「部」に読み替えてもよい。
　「回路」及び「サーキットリー」は、プロセッサ９０１だけでなく、ロジックＩＣ又はＧＡ（Ｇａｔｅ　Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）といった他の種類の処理回路をも包含する概念である。 The “part” may be provided as “circuitry”.
Further, “part” may be read as “circuit”, “process”, “procedure”, or “processing”. Further, “processing” may be read as “circuit”, “process”, “procedure”, or “part”.
“Circuit” and “Circuitry” include not only the processor 901 but also other types of processing circuits such as a logic IC or GA (Gate Array) or ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array). It is a concept to include.
　なお、プログラムプロダクトと称されるものは、「部」として説明している機能を実現するプログラムが記録された記憶媒体、記憶装置などであり、見た目の形式に関わらず、コンピュータ読み取り可能なプログラムをロードしているものである。 Note that what is called a program product is a storage medium, a storage device, or the like on which a program that realizes the function described as a “part” is recorded. It is what you are loading.
＊＊＊動作の説明＊＊＊
　図３を用いて、本実施の形態に係るフレーム補間装置１００のフレーム補間方法及びフレーム補間処理Ｓ１００について説明する。
　フレーム補間処理Ｓ１００は、描画制御処理Ｓ１１０、描画処理Ｓ１２０、補間処理Ｓ１３０、表示処理Ｓ１４０を有する。 *** Explanation of operation ***
The frame interpolation method and the frame interpolation process S100 of the frame interpolation apparatus 100 according to the present embodiment will be described with reference to FIG.
The frame interpolation process S100 includes a drawing control process S110, a drawing process S120, an interpolation process S130, and a display process S140.
＜描画制御処理Ｓ１１０の概要＞
　描画制御処理Ｓ１１０において、描画制御部２０１は、第２表示データ２０２１２の生成に用いるベクトル形式のデータを第２描画情報２０１２２として生成する。また、描画制御部２０１は、第１表示データ２０２１１の生成に用いるベクトル形式のデータを第１描画情報２０１２１として生成する。
　描画制御部２０１は、第２フレーム１０１２の１つ前の画像フレームから第２フレーム１０１２までの画像の変化を表す第２動き情報２０１１２をベクトル形式で生成する。また、描画制御部２０１は、第２フレーム１０１２から第１フレーム１０１１までの画像の変化を表す第１動き情報２０１１１をベクトル形式で生成する。描画制御部２０１は、第１描画情報２０１２１と第２描画情報２０１２２とに基づいて、第１動き情報２０１１１を生成する。 <Outline of Drawing Control Process S110>
In the drawing control processing S <b> 110, the drawing control unit 201 generates vector format data used for generating the second display data 20212 as the second drawing information 20122. In addition, the drawing control unit 201 generates vector format data used for generating the first display data 20211 as the first drawing information 20121.
The drawing control unit 201 generates second motion information 20112 that represents a change in the image from the image frame immediately before the second frame 1012 to the second frame 1012 in a vector format. In addition, the drawing control unit 201 generates first motion information 20111 that represents a change in the image from the second frame 1012 to the first frame 1011 in a vector format. The drawing control unit 201 generates first motion information 20111 based on the first drawing information 20121 and the second drawing information 20122.
＜描画制御処理Ｓ１１０の詳細＞
　以下の処理では、第１フレーム１０１１がフレーム補間処理の実行対象の画像フレーム１０１であるものとして説明する。すなわち、今回の処理対象の画像フレーム１０１が第１フレームであり、前回の処理対象の画像フレーム１０１が第２フレーム１０１２である。
　Ｓ１１１において、描画制御部２０１は、外部情報５００を取得すると共に、データ格納部２０３から描画構成データ２０３１を取得する。
　Ｓ１１２において、描画制御部２０１は、外部情報５００と描画構成データ２０３１とに基づいて、画像フレーム１０１として描画する構成部品の属性を含む描画情報２０１２を生成する。
　描画構成データ２０３１は、画像フレーム１０１に描画する構成部品などの構成内容情報と、複数の画像フレーム１０１の画面遷移に関する画面遷移情報とを含む。
　構成部品の属性とは、例えば、構成部品の大きさ、位置、色、遷移に関する情報である。
　描画制御部２０１は、生成した描画情報２０１２に基づく描画命令２０１３を描画部２０２に出力する。 <Details of Drawing Control Process S110>
In the following processing, the first frame 1011 will be described as the image frame 101 that is the target of frame interpolation processing. That is, the current processing target image frame 101 is the first frame, and the previous processing target image frame 101 is the second frame 1012.
In step S <b> 111, the drawing control unit 201 acquires the external information 500 and also acquires drawing configuration data 2031 from the data storage unit 203.
In step S <b> 112, the drawing control unit 201 generates drawing information 2012 including attributes of components to be drawn as the image frame 101 based on the external information 500 and the drawing configuration data 2031.
The drawing configuration data 2031 includes configuration content information such as components to be drawn on the image frame 101 and screen transition information regarding screen transitions of the plurality of image frames 101.
The attribute of the component is, for example, information regarding the size, position, color, and transition of the component.
The drawing control unit 201 outputs a drawing command 2013 based on the generated drawing information 2012 to the drawing unit 202.
　Ｓ１１３において、描画制御部２０１は、Ｓ１１２において生成された第１描画情報２０１２１と前回の処理で生成された第２描画情報２０１２２とを用いて、第１フレーム１０１１における第１動き情報２０１１１を生成する動き情報生成処理を実行する。
　描画制御部２０１は、第１描画情報２０１２１と第２描画情報２０１２２とに基づいて、第２フレーム１０１２から第１フレーム１０１１までの構成部品の属性の変化を第１動き情報２０１１１として生成する。
　描画制御部２０１は、生成した動き情報２０１１をフレーム補間部３００に出力する。　 In S113, the drawing control unit 201 generates first motion information 20111 in the first frame 1011 using the first drawing information 20121 generated in S112 and the second drawing information 20122 generated in the previous process. A motion information generation process is executed.
Based on the first drawing information 20121 and the second drawing information 20122, the drawing control unit 201 generates a change in the attribute of the component from the second frame 1012 to the first frame 1011 as the first motion information 20111.
The drawing control unit 201 outputs the generated motion information 2011 to the frame interpolation unit 300.
＜描画処理Ｓ１２０の概要＞
　描画処理Ｓ１２０において、描画部２０２は、第１フレーム１０１１を描画するピクセル形式のデータを第１表示データ２０２１１として出力する。描画部２０２は、前回の処理において第２フレーム１０１２を描画するピクセル形式のデータを第２表示データ２０２１２として生成し、データ格納部２０３に記憶する。 <Outline of Drawing Process S120>
In the rendering process S <b> 120, the rendering unit 202 outputs pixel format data for rendering the first frame 1011 as first display data 20211. The drawing unit 202 generates pixel format data for drawing the second frame 1012 in the previous process as the second display data 20212 and stores the data in the data storage unit 203.
＜描画処理Ｓ１２０の詳細＞
　Ｓ１１４において、描画部２０２は、描画制御部２０１から出力された描画命令２０１３と、データ格納部２０３に格納されている描画内容の構成要素等の描画構成データ２０３１とに基づいて、グラフィック画像である画像フレーム１０１（第１フレーム１０１１）を生成する。
　描画部２０２は、生成したグラフィック画像である画像フレーム１０１をピクセル形式の表示データ２０２１としてフレーム補間部３００に出力する。
　なお、描画部２０２は、描画した画像フレーム１０１、すなわち表示データ２０２１を直接出力せずに、一度データ格納部２０３に格納した後に出力してもよい。
　また、描画制御部２０１は、生成した描画情報２０１２、動き情報２０１１を直接出力せずに、一度データ格納部２０３に格納した後に出力してもよい。 <Details of Drawing Process S120>
In S <b> 114, the drawing unit 202 is a graphic image based on the drawing command 2013 output from the drawing control unit 201 and the drawing configuration data 2031 such as the components of the drawing content stored in the data storage unit 203. An image frame 101 (first frame 1011) is generated.
The drawing unit 202 outputs the generated image frame 101, which is a graphic image, to the frame interpolation unit 300 as pixel format display data 2021.
The drawing unit 202 may output the drawn image frame 101, that is, the display data 2021 after storing it in the data storage unit 203 once instead of directly outputting it.
In addition, the drawing control unit 201 may output the generated drawing information 2012 and the motion information 2011 after storing them in the data storage unit 203 instead of directly outputting them.
＜補間処理Ｓ１３０の説明＞
　Ｓ１１５において、フレーム補間部３００は、第１動き情報２０１１１と第２動き情報２０１１２とに基づいて、第２フレーム１０１２と第１フレーム１０１１とを補間する補間データ３００１を生成する。フレーム補間部３００は、生成した補間データ３００１を第１表示データ２０２１１と第２表示データ２０２１２との間に挿入する補間処理Ｓ１３０を実行する。
　このように、フレーム補間部３００は、動き情報２０１１と表示データ２０２１とを用いて、補間データ３００１を生成する。フレーム補間部３００は、生成した補間データ３００１を表示データ２０２１に挿入し、補間済表示データ３０２１を生成する。補間済表示データ３０２１は、表示データ２０２１のフレームレートが上げられたデータである。 <Description of Interpolation S130>
In S115, the frame interpolation unit 300 generates interpolation data 3001 for interpolating the second frame 1012 and the first frame 1011 based on the first motion information 20111 and the second motion information 20112. The frame interpolation unit 300 performs an interpolation process S130 in which the generated interpolation data 3001 is inserted between the first display data 20211 and the second display data 20212.
As described above, the frame interpolation unit 300 generates the interpolation data 3001 using the motion information 2011 and the display data 2021. The frame interpolation unit 300 inserts the generated interpolation data 3001 into the display data 2021, and generates interpolated display data 3021. Interpolated display data 3021 is data in which the frame rate of display data 2021 is increased.
＜表示処理Ｓ１４０の説明＞
　Ｓ１１６において、表示部４００は、フレーム補間部３００から出力された補間済表示データ３０２１を表示デバイス４０１に表示する。 <Description of Display Processing S140>
In S <b> 116, the display unit 400 displays the interpolated display data 3021 output from the frame interpolation unit 300 on the display device 401.
　Ｓ１１７において、描画制御部２０１は、動画像の生成を続けるか否かの判定を実施する。描画制御部２０１は、第１フレーム１０１１が複数の画像フレーム１０１の最後のフレーム否かを判定する。描画制御部２０１は、第１フレーム１０１１が最後の画像フレームである場合は、動画像の生成終了を意味するため、フレーム補間処理を終了する。描画制御部２０１は、第１フレーム１０１１が最後の画像フレームでない場合は、Ｓ１１１に戻り、第１フレーム１０１１の次のフレームについてフレーム補間処理Ｓ１００を繰り返す。 In S117, the drawing control unit 201 determines whether to continue generating the moving image. The drawing control unit 201 determines whether the first frame 1011 is the last frame of the plurality of image frames 101. When the first frame 1011 is the last image frame, the drawing control unit 201 ends the generation of the moving image, and thus ends the frame interpolation process. If the first frame 1011 is not the last image frame, the drawing control unit 201 returns to S111 and repeats the frame interpolation process S100 for the next frame after the first frame 1011.
＜Ｓ１１３の動き情報生成処理の詳細説明＞
　図４から図６を用いて、本実施の形態に係る描画制御部２０１による動き情報生成処理Ｓ１１３について詳細に説明する。
　グラフィックにおける動画像の生成処理には、主に２種類の方法がある。以降の説明では、動画像の生成処理の種類ごとに描画制御部２０１の動き情報生成処理について説明する。 <Detailed Description of Motion Information Generation Processing in S113>
The motion information generation process S113 by the drawing control unit 201 according to the present embodiment will be described in detail with reference to FIGS.
There are mainly two types of moving image generation processing in graphics. In the following description, the motion information generation processing of the drawing control unit 201 will be described for each type of moving image generation processing.
　１つ目の動画像の生成処理では、予め決められた画面遷移をするアニメーションデータを生成し、描画構成データ２０３１としてデータ格納部２０３に格納する。描画制御部２０１は、データ格納部２０３に格納されている描画構成データ２０３１であるアニメーションデータを元に動画像を生成する。 In the first moving image generation process, animation data having a predetermined screen transition is generated and stored in the data storage unit 203 as drawing configuration data 2031. The drawing control unit 201 generates a moving image based on animation data that is drawing configuration data 2031 stored in the data storage unit 203.
　図４は、アニメーションデータによる動画像において、連続するＮ、Ｎ＋１、Ｎ＋２フレームのグラフィック画像を示している。
　描画制御部２０１は、描画構成データ２０３１に基づいて、フレームにおけるグラフィック画像を描画する描画情報２０１２を生成する。描画情報２０１２は、フレームの左上を原点とし、水平方向にｘ座標、垂直方向にｙ座標としたベクトルデータであり、フレームにおけるグラフィック画像を構成する構成部品の属性により構成されている。具体的には、描画情報２０１２は、グラフィック画像を構成する物体の種類、位置、大きさなどにより構成されている。
　描画制御部２０１は、生成した描画情報２０１２に基づいて、動き情報２０１１を生成する。具体的には、描画制御部２０１は、前後のフレームの各フレームの描画情報２０１２において、画像の変化を動き情報２０１１として生成する。 FIG. 4 shows a graphic image of consecutive N, N + 1, N + 2 frames in a moving image based on animation data.
The drawing control unit 201 generates drawing information 2012 for drawing a graphic image in a frame based on the drawing configuration data 2031. The drawing information 2012 is vector data having the upper left corner of the frame as the origin, the x coordinate in the horizontal direction, and the y coordinate in the vertical direction, and is configured by the attributes of the components that make up the graphic image in the frame. Specifically, the drawing information 2012 is configured by the type, position, size, and the like of the objects that make up the graphic image.
The drawing control unit 201 generates motion information 2011 based on the generated drawing information 2012. Specifically, the drawing control unit 201 generates an image change as motion information 2011 in the drawing information 2012 of each frame of the previous and subsequent frames.
　図４に示す動画像では、構成部品である三角形の物体Ａが徐々に大きくなりつつ移動している。この場合、描画制御部２０１は、画像の変化として、構成部品の属性の変化を抽出する。具体的には、描画制御部２０１は、描画内容、位置、大きさを抽出する。そして、描画制御部２０１は、フレームの左上を原点とし、水平方向にｘ座標、垂直方向にｙ座標とした場合に、描画内容、位置、大きさで構成される動き情報２０１１を生成し、外部に出力する。 In the moving image shown in FIG. 4, the triangular object A which is a component is moving while gradually becoming larger. In this case, the drawing control unit 201 extracts a change in the attribute of the component as a change in the image. Specifically, the drawing control unit 201 extracts the drawing content, position, and size. The drawing control unit 201 generates motion information 2011 including drawing contents, position, and size when the upper left corner of the frame is the origin, the x coordinate is in the horizontal direction, and the y coordinate is in the vertical direction. Output to.
　２つ目の動画像の生成処理では、キー入力情報、タッチパネル情報などの外部情報５００と、描画構成データ２０３１として予め設定されている画面遷移情報とに基づいて、動画像を生成する。 In the second moving image generation process, a moving image is generated based on external information 500 such as key input information and touch panel information and screen transition information preset as drawing configuration data 2031.
　図５は、車のスピードメータを描画する例を示している。
　描画制御部２０１は、画像フレーム１０１の描画に用いる外部情報５００を取得し、取得した外部情報５００に基づいて各画像フレーム１０１に描画する構成部品の属性を決定して描画情報２０１２を生成する。図５では、描画制御部２０１は、外部情報５００として車の速度情報を取得する。このとき、構成部品はスピードメータとなる。また、構成部品の属性は、速度となる。
　描画制御部２０１は、取得した速度情報に基づいてスピードメータを描画する描画情報２０１２を生成する。そして、描画制御部２０１は、画像の変化である構成部品の属性の変化として、描画内容と速度とを動き情報２０１１として生成し、外部に出力する。 FIG. 5 shows an example of drawing a speedometer of a car.
The drawing control unit 201 acquires the external information 500 used for drawing the image frame 101, determines the attribute of the component to be drawn in each image frame 101 based on the acquired external information 500, and generates the drawing information 2012. In FIG. 5, the drawing control unit 201 acquires vehicle speed information as the external information 500. At this time, the component is a speedometer. The attribute of the component is speed.
The drawing control unit 201 generates drawing information 2012 for drawing a speedometer based on the acquired speed information. Then, the drawing control unit 201 generates drawing contents and speed as motion information 2011 as a change in component attribute, which is a change in an image, and outputs it to the outside.
　また、上述した２つの動画像の生成処理を組み合わせて動画像を生成する方法もある。
　描画制御部２０１は、いずれの動画像の生成処理の場合でも、動画像を描画する際に、前回描画した物体、及び物体の位置、大きさ等の情報を保持する。例えば、描画制御部２０１は、前回描画した画像フレーム１０１の描画情報２０１２をデータ格納部２０３に保持することにより、前回描画した物体、及び物体の位置、大きさ情報を保持する。描画制御部２０１は、外部情報５００、もしくはアニメーションデータを元に、描画するグラフィック画像の背景色、物体、及び物体の位置と大きなどの描画情報２０１２を再決定する。更に、前回の描画情報２０１２と今回の描画情報２０１２とを元に物体の位置、大きさ、動きベクトルなどを動き情報２０１１として生成する。 There is also a method of generating a moving image by combining the two moving image generation processes described above.
The drawing control unit 201 holds information such as the previously drawn object and the position and size of the object when drawing a moving image in any moving image generation process. For example, the drawing control unit 201 holds the drawing information 2012 of the previously drawn image frame 101 in the data storage unit 203, thereby holding the previously drawn object and the position and size information of the object. The drawing control unit 201 redetermines the background color of the graphic image to be drawn, the object, and the position of the object and which drawing information 2012 is large based on the external information 500 or animation data. Furthermore, the position, size, motion vector, and the like of the object are generated as motion information 2011 based on the previous rendering information 2012 and the current rendering information 2012.
　次に、図６を用いて、図４及び図５で説明した動画像の生成処理とは異なる動画像の生成処理における動き情報２０１１の生成処理について説明する。
　データ格納部２０３は、構成部品の色の遷移を表す情報を描画構成データ２０３１として格納する。描画制御部２０１は、構成部品の色を含む描画情報２０１２を生成する。描画制御部２０１は、前回の描画情報２０１２と今回の描画情報２０１２とに基づいて、前回の画像フレーム１０１から今回の画像フレーム１０１までの構成部品の色の変化を動き情報２０１１として生成する。 Next, the generation processing of the motion information 2011 in the moving image generation processing different from the moving image generation processing described in FIGS. 4 and 5 will be described with reference to FIG.
The data storage unit 203 stores information representing the color transition of the component as drawing configuration data 2031. The drawing control unit 201 generates drawing information 2012 including the colors of the component parts. The drawing control unit 201 generates a change in the color of the component from the previous image frame 101 to the current image frame 101 as motion information 2011 based on the previous drawing information 2012 and the current drawing information 2012.
　図６を用いて具体的に説明する。
　図６では、Ｎフレーム，Ｎ＋１フレーム，Ｎ＋２フレームと、動画像における背景色が滑らかに変化する様子を示している。
　Ｎフレームでは背景色が（Ｒ、Ｇ、Ｂ）＝（１２８、１２８、１２８）であったのに対し、Ｎ＋１フレームでは（Ｒ、Ｇ、Ｂ）＝（１６０、１６０、１６０）、Ｎ＋２フレームでは（Ｒ、Ｇ、Ｂ）＝（１９２、１９２、１９２）と時間軸に沿って色値が滑らかに変化している。本実施の形態に係る描画制御部２０１では、図６に示すように時間軸に沿った滑らかな色値の変化も動き情報２０１１として扱うことができる。 This will be specifically described with reference to FIG.
FIG. 6 shows a state in which the background color in the moving image changes smoothly, such as N frames, N + 1 frames, and N + 2 frames.
The background color is (R, G, B) = (128, 128, 128) in N frame, whereas (R, G, B) = (160, 160, 160) in N + 1 frame, and in N + 2 frame The color value smoothly changes along the time axis as (R, G, B) = (192, 192, 192). The drawing control unit 201 according to the present embodiment can also handle smooth color value changes along the time axis as the motion information 2011 as shown in FIG.
　上述した動き情報生成処理Ｓ１１３では、動き情報はアニメーションデータなどの描画構成データ２０３１と描画部２０２に出力する描画情報２０１２とに基づいて、簡単な処理で生成可能である。 In the motion information generation process S113 described above, motion information can be generated by a simple process based on the drawing configuration data 2031 such as animation data and the drawing information 2012 output to the drawing unit 202.
＜Ｓ１１５の補間データ生成処理の詳細説明＞
　図７を用いて、本実施の形態に係るフレーム補間部３００による補間データ生成処理について詳細に説明する。
　図７に示すように、Ｎフレームにおいて物体Ａは位置（５０、２０）、大きさ５０×５０であったのに対し、Ｎ＋１フレームでは位置（２００、１２０）、大きさ１５０×１５０に変化していることが動き情報２０１１から分かる。
　このため、フレーム補間部３００は、ＮフレームとＮ＋１フレームとの時間軸上の中間における補間フレームの予測情報を求める。図７に示すように、フレーム補間部３００は、ＮフレームとＮ＋１フレームとの動き情報２０１１である位置と大きさとのそれぞれの中間値を予測情報の位置と大きさとに決定する。 <Detailed Description of Interpolation Data Generation Processing in S115>
The interpolation data generation process by the frame interpolation unit 300 according to the present embodiment will be described in detail with reference to FIG.
As shown in FIG. 7, the object A has a position (50, 20) and a size of 50 × 50 in the N frame, whereas the object A changes to a position (200, 120) and a size of 150 × 150 in the N + 1 frame. It can be seen from the motion information 2011.
For this reason, the frame interpolation unit 300 obtains prediction information of an interpolation frame in the middle on the time axis between the N frame and the N + 1 frame. As illustrated in FIG. 7, the frame interpolation unit 300 determines the intermediate value of the position and size of the motion information 2011 of the N frame and the N + 1 frame as the position and size of the prediction information.
　フレーム補間部３００は、決定した予測情報とＮフレーム目のグラフィック画像とを元に補間データ３００１を生成する。例えば、フレーム補間部３００に拡縮機能を持った矩形転送（ＢｉｔＢＬＴ）を持たせる。フレーム補間部３００は、この拡縮機能を持った矩形転送（ＢｉｔＢＬＴ）により、位置（５０、２０）から５０×５０の領域を、位置（１２５、７０）から１００×１００の領域に転送することで補間データ３００１を生成する。
　背景色が単色塗り潰しではない場合、矩形領域で物体ＡをＢｉｔＢＬＴすると物体Ａについては正しく転送できるが、背景色が不正となる。そこで、このような場合には、矩形転送ではなく、画素単位、もしくは背景を転送しないマスク機能を持ったＢｉｔＢＬＴをフレーム補間部３００に持たせれば良い。もしくは、物体Ａを描画する簡単な描画機能をフレーム補間部３００に持たせても良い。 The frame interpolation unit 300 generates interpolation data 3001 based on the determined prediction information and the Nth frame graphic image. For example, the frame interpolation unit 300 is provided with rectangular transfer (BitBLT) having an enlargement / reduction function. The frame interpolation unit 300 transfers the area of 50 × 50 from the position (50, 20) to the area of 100 × 100 from the position (125, 70) by the rectangular transfer (BitBLT) having the enlargement / reduction function. Interpolation data 3001 is generated.
If the background color is not a single color fill, if the object A is BitBLT in the rectangular area, the object A can be transferred correctly, but the background color is incorrect. Therefore, in such a case, the frame interpolation unit 300 may be provided with a BitBLT having a mask function that does not transfer pixel units or the background instead of rectangular transfer. Alternatively, the frame interpolation unit 300 may have a simple drawing function for drawing the object A.
　以上のように、本実施の形態に係るフレーム補間装置１００は、グラフィックス画像の描画内容（例えば、単色塗り潰しのみ、あるいはグラデーションによる背景）に応じて、フレーム補間部３００に持たせる機能を変更することができる。本実施の形態に係るフレーム補間装置１００は、処理量、回路規模、フレーム補間の精度等を考慮して、フレーム補間部３００に持たせる機能を変更可能である。 As described above, the frame interpolation apparatus 100 according to the present embodiment changes the function that the frame interpolation unit 300 has according to the drawing content of the graphics image (for example, only monochrome painting or a background based on gradation). be able to. The frame interpolation apparatus 100 according to the present embodiment can change the functions provided to the frame interpolation unit 300 in consideration of the processing amount, circuit scale, frame interpolation accuracy, and the like.
　図１では、フレーム描画部２００は、動き情報２０１１と表示データ２０２１とを別データとして出力している。しかし、フレーム描画部２００は、表示データ２０２１のブランキング期間に動き情報２０１１を埋め込んで出力してもよい。 In FIG. 1, the frame drawing unit 200 outputs motion information 2011 and display data 2021 as separate data. However, the frame drawing unit 200 may embed and output the motion information 2011 in the blanking period of the display data 2021.
＊＊＊本実施の形態の効果の説明＊＊＊
　以上のように、本実施の形態に係るフレーム補間装置１００は、グラフィック画像からなる動画像の各フレーム画像を描画すると共に、フレーム画像に含まれる動き情報を生成するグラフィック描画部を備える。また、フレーム補間装置１００は、グラフィック描画部により生成された動画像と動き情報とを用いて補間データを生成し、動画像に挿入することで、グラフィック描画部が生成した動画像よりフレームレートの高い動画像を生成するフレーム補間部を備える。また、フレーム補間装置１００は、フレーム補間部が生成した動画像を表示する表示部を備える。よって、フレーム補間装置１００によれば、回路規模を抑制しつつ、誤検出の少ないフレーム補間処理を実現することができる。 *** Explanation of effects of this embodiment ***
As described above, the frame interpolation apparatus 100 according to the present embodiment includes a graphic drawing unit that draws each frame image of a moving image including a graphic image and generates motion information included in the frame image. Further, the frame interpolation apparatus 100 generates interpolation data using the moving image generated by the graphic drawing unit and the motion information, and inserts the interpolation data into the moving image, so that the frame rate is higher than that of the moving image generated by the graphic drawing unit. A frame interpolation unit for generating a high moving image is provided. In addition, the frame interpolation device 100 includes a display unit that displays a moving image generated by the frame interpolation unit. Therefore, according to the frame interpolation apparatus 100, it is possible to realize a frame interpolation process with few false detections while suppressing the circuit scale.
　また、フレーム補間装置１００では、グラフィック描画部が外部情報、描画構成データ、及び前フレームのグラフィック画像の描画情報を元にグラフィック画像を描画するための描画命令を生成する。また、グラフィック描画部がグラフィック画像を構成する構成部品の属性の変化を表す動き情報を生成する。よって、フレーム補間装置１００によれば、誤検出の少ないフレーム補間処理を実現することができる。 In the frame interpolation device 100, the graphic drawing unit generates a drawing command for drawing a graphic image based on the external information, the drawing configuration data, and the drawing information of the graphic image of the previous frame. In addition, the graphic drawing unit generates motion information that represents a change in the attributes of the components that make up the graphic image. Therefore, according to the frame interpolation apparatus 100, it is possible to realize a frame interpolation process with few false detections.
　また、フレーム補間装置１００では、描画部２０２が描画制御部２０１により生成された描画命令と描画構成データとを元に、ピクセルデータのグラフィック画像を生成する。
　また、フレーム補間装置１００は、描画制御部と描画部とが用いる描画構成データを格納しておくためのデータ格納部を備える。よって、フレーム補間装置１００によれば、回路規模を抑制すると共に、誤検出の少ないフレーム補間処理を実現することができる。 In the frame interpolation device 100, the drawing unit 202 generates a graphic image of pixel data based on the drawing command generated by the drawing control unit 201 and the drawing configuration data.
The frame interpolation apparatus 100 also includes a data storage unit for storing drawing configuration data used by the drawing control unit and the drawing unit. Therefore, according to the frame interpolation apparatus 100, the circuit scale can be suppressed and the frame interpolation process with few false detections can be realized.
　以上のように、フレーム補間装置１００によれば、ピクセルデータの画像データを用いて動きベクトルを検出する処理を削減することができるので、処理量もしくは回路規模を削減することができる。更に、フレーム補間装置１００によれば、動画像の圧縮を行わない場合でも回路規模を抑制しつつ、誤検出の少ないフレーム補間処理を実現することができる。 As described above, according to the frame interpolation device 100, it is possible to reduce the process of detecting a motion vector using image data of pixel data, so that it is possible to reduce the processing amount or the circuit scale. Furthermore, according to the frame interpolation apparatus 100, it is possible to realize a frame interpolation process with few false detections while suppressing the circuit scale even when the moving image is not compressed.
　実施の形態２．
　本実施の形態では、実施の形態１と異なる点について説明する。
　本実施の形態において、実施の形態１で説明した構成と同様の構成については同一の符号を付し、その説明を省略する場合がある。 Embodiment 2. FIG.
In the present embodiment, differences from the first embodiment will be described.
In this embodiment, the same components as those described in Embodiment 1 are denoted by the same reference numerals, and the description thereof may be omitted.
　図８を用いて、本実施の形態におけるフレーム補間装置１００ａのブロック構成について説明する。実施の形態１では、フレーム補間部３００は、フレーム描画部２００から独立した構成であった。
　しかし、本実施の形態では、フレーム描画部２００が、描画制御部２０１、描画部２０２、及びデータ格納部２０３に加えて、さらに、フレーム補間部３００を有する。
　よって、フレーム描画部２００はパーソナルコンピュータで構成し、表示部４００の表示デバイス４０１はディスプレイとして構成することができる。 The block configuration of the frame interpolation apparatus 100a in the present embodiment will be described with reference to FIG. In the first embodiment, the frame interpolation unit 300 has a configuration independent of the frame drawing unit 200.
However, in the present embodiment, the frame drawing unit 200 further includes a frame interpolation unit 300 in addition to the drawing control unit 201, the drawing unit 202, and the data storage unit 203.
Therefore, the frame drawing unit 200 can be configured as a personal computer, and the display device 401 of the display unit 400 can be configured as a display.
　以上のように、本実施の形態に係るフレーム補間装置１００ａによれば、補間処理Ｓ１３０を実施する専用の回路を実装することなく、補間処理Ｓ１３０を実現することができる。 As described above, according to the frame interpolation apparatus 100a according to the present embodiment, the interpolation process S130 can be realized without mounting a dedicated circuit for performing the interpolation process S130.
　実施の形態３．
　本実施の形態では、実施の形態１，２と異なる点について説明する。
　本実施の形態において、実施の形態１，２で説明した構成と同様の構成については同一の符号を付し、その説明を省略する場合がある。 Embodiment 3 FIG.
In the present embodiment, differences from the first and second embodiments will be described.
In the present embodiment, the same components as those described in the first and second embodiments are denoted by the same reference numerals, and the description thereof may be omitted.
　図９を用いて、本実施の形態におけるフレーム補間装置１００ｂのブロック構成について説明する。実施の形態１では、フレーム補間部３００は、フレーム描画部２００から独立した構成であった。また、実施の形態２では、フレーム補間部３００は、フレーム描画部２００が有するものであった。
　しかし、本実施の形態では、表示部４００がフレーム補間部３００を有する構成について説明する。図９に示すように、フレーム補間部３００は、表示部４００の一部として実装する。 The block configuration of the frame interpolation apparatus 100b according to the present embodiment will be described with reference to FIG. In the first embodiment, the frame interpolation unit 300 has a configuration independent of the frame drawing unit 200. In the second embodiment, the frame interpolation unit 300 is included in the frame drawing unit 200.
However, in the present embodiment, a configuration in which the display unit 400 includes the frame interpolation unit 300 will be described. As shown in FIG. 9, the frame interpolation unit 300 is implemented as a part of the display unit 400.
　本実施の形態に係るフレーム補間装置１００ｂの構成によれば、フレーム描画部２００と表示部４００との間で転送する補間済表示データ３０２１の転送量を削減することができる。 According to the configuration of the frame interpolation device 100b according to the present embodiment, the transfer amount of the interpolated display data 3021 transferred between the frame drawing unit 200 and the display unit 400 can be reduced.
　実施の形態４．
　本実施の形態では、実施の形態１～３と異なる点について説明する。
　本実施の形態において、実施の形態１～３で説明した構成と同様の構成については同一の符号を付し、その説明を省略する場合がある。 Embodiment 4 FIG.
In this embodiment, differences from Embodiments 1 to 3 will be described.
In this embodiment, the same components as those described in Embodiments 1 to 3 are denoted by the same reference numerals, and the description thereof may be omitted.
　図１０を用いて、本実施の形態におけるフレーム補間装置１００ｃのブロック構成について説明する。
　図１１に示すように、グラフィック画像による動画像において、複数の物体が重なった状態であり、時間軸が変化した場合にそれぞれの物体の移動量が異なるものとする。このような動画像の場合、実施の形態１～３で説明したフレーム補間装置１００，１００ａ，１００ｂでは補間データ３００１を生成することができない。これは、Ｎフレームでは前面にある物体により背面の物体が隠れていたのに対し、Ｎ＋１フレームではそれぞれの物体が別の方向に移動することで、それぞれの物体がグラフィック画面に全て描画されているためである。
　本実施の形態に係るフレーム補間装置１００ｃでは、構成部品である物体が重なっている場合でも、上記の実施の形態１～３の技術を適用することができるフレーム補間装置１００ｃについて説明する。 The block configuration of the frame interpolation apparatus 100c in the present embodiment will be described with reference to FIG.
As shown in FIG. 11, in a moving image based on a graphic image, a plurality of objects overlap each other, and when the time axis changes, the movement amount of each object is different. In the case of such a moving image, the frame interpolation apparatuses 100, 100a, and 100b described in the first to third embodiments cannot generate the interpolation data 3001. This is because, in the N frame, the object in the back is hidden by the object in the front, whereas in the N + 1 frame, each object moves in a different direction, so that each object is all drawn on the graphic screen. Because.
In frame interpolation apparatus 100c according to the present embodiment, description will be given of frame interpolation apparatus 100c to which the techniques of Embodiments 1 to 3 described above can be applied even when objects that are component parts overlap.
　本実施の形態では、複数の画像フレームの各画像フレーム１０１は、複数の構成部品を含むものとする。すなわち、画像フレーム１０１は、複数の構成部品から構成されている。
　図１０に示すように、描画部２０２は、複数の構成部品の構成部品毎にレイヤーデータ２０２２を出力する。レイヤーデータ２０２２は、構成部品毎のピクセルデータである。表示データ２０２１は、複数のレイヤーデータ２０２２を含むものとする。 In the present embodiment, each image frame 101 of a plurality of image frames includes a plurality of components. That is, the image frame 101 is composed of a plurality of components.
As illustrated in FIG. 10, the drawing unit 202 outputs layer data 2022 for each component of a plurality of components. The layer data 2022 is pixel data for each component. The display data 2021 is assumed to include a plurality of layer data 2022.
　具体的には、図１２に示すように、表示データ２０２１は、レイヤーデータ２０２２－１とレイヤーデータ２０２２－２とから構成される。図１２では、三角形の物体と円の物体をレイヤーデータ２０２２－１とレイヤーデータ２０２２－２に分けて描画した表示データ２０２１の例を示している。 Specifically, as shown in FIG. 12, the display data 2021 is composed of layer data 2022-1 and layer data 2022-2. FIG. 12 shows an example of display data 2021 in which a triangular object and a circular object are drawn by being divided into layer data 2022-1 and layer data 2022-2.
　フレーム補間装置１００ｃでは、描画部２０２が生成する表示データを、表示する最終グラフィック画像とせずに、動き量の異なる物体ごとにレイヤーを分けて描画したレイヤーデータ２０２２とする。また、フレーム補間装置１００ｃでは、背景を独立したレイヤーデータ２０２２としても良い。 In the frame interpolation apparatus 100c, the display data generated by the drawing unit 202 is not the final graphic image to be displayed, but is layer data 2022 that is drawn by dividing a layer for each object having a different amount of motion. In the frame interpolation device 100c, the background may be the independent layer data 2022.
　フレーム補間部３００は、複数のレイヤーデータのレイヤーデータ２０２２毎に、補間データ３００１を生成する。フレーム補間部３００は、生成した補間データ３００１を、今回の表示データ２０２１に含まれるレイヤーデータ２０２２と、前回の表示データ２０２１に含まれるレイヤーデータ２０２２との間に挿入する。フレーム補間部３００では各レイヤーデータを重ね合わせることにより、補間済表示データ３０２１を生成する。 The frame interpolation unit 300 generates interpolation data 3001 for each layer data 2022 of a plurality of layer data. The frame interpolation unit 300 inserts the generated interpolation data 3001 between the layer data 2022 included in the current display data 2021 and the layer data 2022 included in the previous display data 2021. The frame interpolation unit 300 generates interpolated display data 3021 by superimposing each layer data.
　本実施の形態に係るフレーム補間装置１００ｃの構成によれば、物体が重なっている場合にも補間処理を実現することができる。 According to the configuration of the frame interpolation device 100c according to the present embodiment, it is possible to realize interpolation processing even when objects overlap.
　上記の実施の形態では、描画制御部、描画部、フレーム補間部がそれぞれ独立した機能ブロックとしてフレーム補間装置を構成している。しかし、フレーム補間装置は上記のような構成でなくてもよく、フレーム補間装置の構成は任意である。
　例えば、描画制御部、描画部とを１つの機能ブロックとしてもよい。フレーム補間装置の機能ブロックは、上記の実施の形態で説明した機能を実現することができれば、任意である。これらの機能ブロックを、他のどのような組み合わせ、あるいは任意のブロック構成で通信装置を構成しても構わない。
　また、フレーム補間装置は、１つの装置でなく、複数の装置から構成されたフレーム補完システムでもよい。 In the above embodiment, the frame interpolation device is configured as a functional block in which the drawing control unit, the drawing unit, and the frame interpolation unit are independent of each other. However, the frame interpolation device does not have to be configured as described above, and the configuration of the frame interpolation device is arbitrary.
For example, the drawing control unit and the drawing unit may be a single functional block. The functional blocks of the frame interpolation device are arbitrary as long as the functions described in the above embodiments can be realized. The communication device may be configured by any other combination of these functional blocks or an arbitrary block configuration.
Further, the frame interpolation device may be a frame complementing system constituted by a plurality of devices instead of a single device.
　また、実施の形態１から４について説明したが、これらの４つの実施の形態のうち、複数を部分的に組み合わせて実施しても構わない。あるいは、これらの４つの実施の形態のうち、１つの実施の形態を部分的に実施しても構わない。その他、これらの４つの実施の形態を、全体としてあるいは部分的に、どのように組み合わせて実施しても構わない。
　なお、上記の実施の形態は、本質的に好ましい例示であって、本発明、その適用物や用途の範囲を制限することを意図するものではなく、必要に応じて種々の変更が可能である。 Further, although Embodiments 1 to 4 have been described, a plurality of these four embodiments may be partially combined. Alternatively, one of the four embodiments may be partially implemented. In addition, these four embodiments may be implemented in any combination, in whole or in part.
In addition, said embodiment is an essentially preferable illustration, Comprising: It does not intend restrict | limiting the range of this invention, its application thing, or a use, A various change is possible as needed. .
　１００，１００ａ，１００ｂ，１００ｃ　フレーム補間装置、１０１　画像フレーム、２００　フレーム描画部、２０１　描画制御部、２０２　描画部、２０３　データ格納部、３００　フレーム補間部、４００　表示部、４０１　表示デバイス、５００　外部情報、９０１　プロセッサ、９０２　補助記憶装置、９０３　メモリ、９０４　通信装置、９０５　入力インタフェース、９０６　ディスプレイインタフェース、９０７　入力装置、９０８　ディスプレイ、９１０　信号線、９１１，９１２　ケーブル、１０１１　第１フレーム、１０１２　第２フレーム、２０１１　動き情報、２０１２　描画情報、２０１３　描画命令、２０２１　表示データ、２０２２　レイヤーデータ、２０３１　描画構成データ、３００１　補間データ、３０２１　補間済表示データ、９０４１　レシーバー、９０４２　トランスミッター、２０１１１　第１動き情報、２０１１２　第２動き情報、２０１２１　第１描画情報、２０１２２　第２描画情報、２０２１１　第１表示データ、２０２１２　第２表示データ、２０３１１　構成部品、Ｓ１００　フレーム補間処理、Ｓ１１０　描画制御処理、Ｓ１２０　描画処理、Ｓ１３０　補間処理、Ｓ１４０　表示処理。 100, 100a, 100b, 100c Frame interpolation device, 101 image frame, 200 frame drawing unit, 201 drawing control unit, 202 drawing unit, 203 data storage unit, 300 frame interpolation unit, 400 display unit, 401 display device, 500 external information 901 processor, 902 auxiliary storage device, 903 memory, 904 communication device, 905 input interface, 906 display interface, 907 input device, 908 display, 910 signal line, 911, 912 cable, 1011 first frame, 1012 second frame, 2011 motion information, 2012 drawing information, 2013 drawing command, 2021 display data, 2022 layer data, 2031 drawing configuration data, 3001 interpolation data 3021 Interpolated display data, 9041 receiver, 9042 transmitter, 20111, first motion information, 20112, second motion information, 20121, first drawing information, 20122, second drawing information, 20211, first display data, 20212, second display data, 20311 configuration Parts, S100 frame interpolation processing, S110 drawing control processing, S120 drawing processing, S130 interpolation processing, S140 display processing.

Claims (14)

  1. 　連続する複数の画像フレームのうち第１フレームの１つ前の画像フレームである第２フレームを描画するピクセル形式のデータを第２表示データとして出力すると共に、前記第１フレームを描画するピクセル形式のデータを第１表示データとして出力する描画部と、
    　前記第２フレームの１つ前の画像フレームから前記第２フレームまでの画像の変化を表す第２動き情報をベクトル形式で生成すると共に、前記第２フレームから前記第１フレームまでの画像の変化を表す第１動き情報をベクトル形式で生成する描画制御部と、
    　前記第１動き情報と前記第２動き情報とに基づいて、前記第２フレームと前記第１フレームとを補間する補間データを生成し、生成した前記補間データを、前記第１表示データと前記第２表示データとの間に挿入するフレーム補間部と
    を備えるフレーム補間装置。     The pixel format data for rendering the second frame, which is the image frame immediately preceding the first frame among the plurality of consecutive image frames, is output as the second display data, and the pixel format data for rendering the first frame is output. A drawing unit for outputting data as first display data;
    The second motion information representing the change in the image from the image frame immediately before the second frame to the second frame is generated in a vector format, and the change in the image from the second frame to the first frame is generated. A drawing control unit that generates first motion information to be expressed in a vector format;
    Interpolation data for interpolating the second frame and the first frame is generated based on the first motion information and the second motion information, and the generated interpolation data is converted into the first display data and the first motion data. A frame interpolation device comprising a frame interpolation unit inserted between two display data.
  2. 　前記描画制御部は、
    　前記第２表示データの生成に用いるベクトル形式のデータを第２描画情報として生成すると共に、前記第１表示データの生成に用いるベクトル形式のデータを第１描画情報として生成し、前記第１描画情報と前記第２描画情報とに基づいて、前記第１動き情報を生成する請求項１に記載のフレーム補間装置。     The drawing control unit
    The vector format data used for generating the second display data is generated as second drawing information, the vector format data used for generating the first display data is generated as first drawing information, and the first drawing information is generated. The frame interpolation device according to claim 1, wherein the first motion information is generated based on the second drawing information.
  3. 　前記フレーム補間装置は、
    　前記複数の画像フレームの各画像フレームに描画される構成部品を表すデータを描画構成データとして格納するデータ格納部を備え、
    　前記描画制御部は、
    　前記描画構成データに基づいて、前記構成部品の属性を含む前記第１描画情報を生成する請求項２に記載のフレーム補間装置。     The frame interpolator is:
    A data storage unit for storing data representing a component drawn in each image frame of the plurality of image frames as drawing configuration data;
    The drawing control unit
    The frame interpolation device according to claim 2, wherein the first drawing information including attributes of the component parts is generated based on the drawing configuration data.
  4. 　前記描画制御部は、
    　前記第１描画情報と前記第２描画情報とに基づいて、前記第２フレームから前記第１フレームまでの前記構成部品の属性の変化を前記第１動き情報として生成する請求項３に記載のフレーム補間装置。     The drawing control unit
    4. The frame according to claim 3, wherein a change in attribute of the component from the second frame to the first frame is generated as the first motion information based on the first drawing information and the second drawing information. Interpolator.
  5. 　前記構成部品の属性は、前記構成部品の位置及び大きさである請求項４に記載のフレーム補間装置。 The frame interpolation device according to claim 4, wherein the attribute of the component is a position and a size of the component.
  6. 　前記描画制御部は、
    　前記第１フレームの描画に用いる外部情報を取得し、取得した前記外部情報に基づいて前記構成部品の属性を決定して前記第１描画情報を生成する請求項４に記載のフレーム補間装置。     The drawing control unit
    The frame interpolation device according to claim 4, wherein external information used for drawing the first frame is acquired, and attributes of the component parts are determined based on the acquired external information to generate the first drawing information.
  7. 　前記データ格納部は、
    　前記構成部品の色の遷移を表す情報を前記描画構成データとして格納し、
    　前記描画制御部は、
    　前記構成部品の色を含む前記第１描画情報を生成し、前記第１描画情報と前記第２描画情報とに基づいて、前記第２フレームから前記第１フレームまでの前記構成部品の色の変化を前記第１動き情報として生成する請求項４に記載のフレーム補間装置。     The data storage unit
    Storing information representing the color transition of the component as the drawing configuration data;
    The drawing control unit
    The first drawing information including the color of the component is generated, and the color of the component from the second frame to the first frame is changed based on the first drawing information and the second drawing information. The frame interpolation device according to claim 4, wherein the first motion information is generated.
  8. 　前記フレーム補間部は、
    　前記第１表示データと前記第２表示データとの間に前記補間データを挿入した表示データを補間済表示データとして出力し、
    　前記フレーム補間装置は、
    　前記フレーム補間部から出力された前記補間済表示データを表示装置に表示する表示部を備える請求項１から７のいずれか１項に記載のフレーム補間装置。     The frame interpolation unit
    Outputting display data in which the interpolation data is inserted between the first display data and the second display data as interpolated display data;
    The frame interpolator is:
    The frame interpolation device according to any one of claims 1 to 7, further comprising a display unit that displays the interpolated display data output from the frame interpolation unit on a display device.
  9. 　前記フレーム補間装置は、
    　前記描画制御部と、前記描画部と、前記データ格納部とを有するフレーム描画部を備える請求項３から７のいずれか１項に記載のフレーム補間装置。     The frame interpolator is:
    The frame interpolation apparatus according to claim 3, further comprising a frame drawing unit including the drawing control unit, the drawing unit, and the data storage unit.
  10. 　前記フレーム描画部は、さらに、前記フレーム補間部を有する請求項９に記載のフレーム補間装置。 The frame interpolation device according to claim 9, wherein the frame drawing unit further includes the frame interpolation unit.
  11. 　前記表示部は、さらに、前記フレーム補間部を有する請求項８に記載のフレーム補間装置。 The frame interpolation device according to claim 8, wherein the display unit further includes the frame interpolation unit.
  12. 　前記複数の画像フレームの各フレームは、複数の構成部品を含み、
    　前記描画部は、
    　前記複数の構成部品の構成部品毎に異なる複数のレイヤーデータを含む前記第１表示データと前記第２表示データとを出力し、
    　前記フレーム補間部は、
    　前記複数のレイヤーデータのレイヤーデータ毎に、前記補間データを生成し、前記第１表示データと前記第２表示データとの間に前記補間データを挿入する請求項１から１１のいずれか１項に記載のフレーム補間装置。     Each frame of the plurality of image frames includes a plurality of components,
    The drawing unit
    Outputting the first display data and the second display data including a plurality of layer data different for each component of the plurality of components;
    The frame interpolation unit
    The interpolation data is generated for each layer data of the plurality of layer data, and the interpolation data is inserted between the first display data and the second display data. The frame interpolation apparatus described.
  13. 　描画部が、連続する複数の画像フレームのうち第１フレームの１つ前の画像フレームである第２フレームを描画するピクセル形式のデータを第２表示データとして出力すると共に、前記第１フレームを描画するピクセル形式のデータを第１表示データとして出力し、
    　描画制御部が、前記第２フレームの１つ前の画像フレームから前記第２フレームまでの画像の変化を表す第２動き情報をベクトル形式で生成すると共に、前記第２フレームから前記第１フレームまでの画像の変化を表す第１動き情報をベクトル形式で生成し、
    　フレーム補間部が、前記第１動き情報と前記第２動き情報とに基づいて、前記第２フレームと前記第１フレームとを補間する補間データを生成し、生成した前記補間データを、前記第１表示データと前記第２表示データとの間に挿入するフレーム補間方法。     The drawing unit outputs pixel format data for drawing the second frame, which is the image frame immediately preceding the first frame among a plurality of consecutive image frames, as the second display data, and draws the first frame Output the pixel format data as the first display data,
    The drawing control unit generates, in vector format, second motion information representing an image change from the image frame immediately before the second frame to the second frame, and from the second frame to the first frame. Generating first motion information representing changes in the image in vector format;
    A frame interpolation unit generates interpolation data for interpolating the second frame and the first frame based on the first motion information and the second motion information, and the generated interpolation data is converted to the first motion information. A frame interpolation method inserted between display data and the second display data.
  14. 　連続する複数の画像フレームのうち第１フレームの１つ前の画像フレームである第２フレームを描画するピクセル形式のデータを第２表示データとして出力すると共に、前記第１フレームを描画するピクセル形式のデータを第１表示データとして出力する描画処理と、
    　前記第２フレームの１つ前の画像フレームから前記第２フレームまでの画像の変化を表す第２動き情報をベクトル形式で生成すると共に、前記第２フレームから前記第１フレームまでの画像の変化を表す第１動き情報をベクトル形式で生成する描画制御処理と、
    　前記第１動き情報と前記第２動き情報とに基づいて、前記第２フレームと前記第１フレームとを補間する補間データを生成し、生成した前記補間データを、前記第１表示データと前記第２表示データとの間に挿入する補間処理と
    をコンピュータに実行させるフレーム補間プログラム。     The pixel format data for rendering the second frame, which is the image frame immediately preceding the first frame among the plurality of consecutive image frames, is output as the second display data, and the pixel format data for rendering the first frame is output. Drawing processing for outputting data as first display data;
    The second motion information representing the change in the image from the image frame immediately before the second frame to the second frame is generated in a vector format, and the change in the image from the second frame to the first frame is generated. A rendering control process for generating first motion information to be expressed in a vector format;
    Interpolation data for interpolating the second frame and the first frame is generated based on the first motion information and the second motion information, and the generated interpolation data is converted into the first display data and the first motion data. A frame interpolation program for causing a computer to execute interpolation processing inserted between two display data.
PCT/JP2015/061187 2015-04-10 2015-04-10 Frame interpolation device, frame interpolation method and frame interpolation program WO2016163020A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/061187 WO2016163020A1 (en) 2015-04-10 2015-04-10 Frame interpolation device, frame interpolation method and frame interpolation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/061187 WO2016163020A1 (en) 2015-04-10 2015-04-10 Frame interpolation device, frame interpolation method and frame interpolation program

Publications (1)

Publication Number Publication Date
WO2016163020A1 true WO2016163020A1 (en) 2016-10-13

Family

ID=57072205

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/061187 WO2016163020A1 (en) 2015-04-10 2015-04-10 Frame interpolation device, frame interpolation method and frame interpolation program

Country Status (1)

Country Link
WO (1) WO2016163020A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019176218A (en) * 2018-03-27 2019-10-10 株式会社リコー Frame interpolation device and frame interpolation method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008517343A (en) * 2004-10-19 2008-05-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Animation judder compensation
JP2009194518A (en) * 2008-02-13 2009-08-27 Sony Corp Video processing apparatus and video processing method
JP2013532418A (en) * 2010-05-26 2013-08-15 クゥアルコム・インコーポレイテッド Camera parameter assisted video frame rate up-conversion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008517343A (en) * 2004-10-19 2008-05-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Animation judder compensation
JP2009194518A (en) * 2008-02-13 2009-08-27 Sony Corp Video processing apparatus and video processing method
JP2013532418A (en) * 2010-05-26 2013-08-15 クゥアルコム・インコーポレイテッド Camera parameter assisted video frame rate up-conversion

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019176218A (en) * 2018-03-27 2019-10-10 株式会社リコー Frame interpolation device and frame interpolation method
JP7114975B2 (en) 2018-03-27 2022-08-09 株式会社リコー Frame interpolation device and frame interpolation method

Similar Documents

Publication Publication Date Title
CN110377264B (en) Layer synthesis method, device, electronic equipment and storage medium
CN110377263B (en) Image synthesis method, image synthesis device, electronic equipment and storage medium
CN112596843B (en) Image processing method, device, electronic equipment and computer readable storage medium
KR102304891B1 (en) Method and system for generating mask overlay for display panel corresponding to touch path
CN110363831B (en) Layer composition method and device, electronic equipment and storage medium
US9883137B2 (en) Updating regions for display based on video decoding mode
US10147226B1 (en) 2D motion vectors from 3D model data
US11037268B2 (en) Method and device for improving image quality by using multi-resolution
JP2018512644A (en) System and method for reducing memory bandwidth using low quality tiles
US10482850B2 (en) Method and virtual reality device for improving image quality
WO2023160617A9 (en) Video frame interpolation processing method, video frame interpolation processing device, and readable storage medium
US20180033185A1 (en) Texture mapping apparatus, texture mapping method, and computer readable medium
US9774821B2 (en) Display apparatus and control method thereof
US11954765B2 (en) Applying random patches to pixel block of an image utilizing different weights
CN112862659A (en) Method and device for generating a series of frames by means of a synthesizer
EP2487915A1 (en) 3d format conversion systems and methods
CN112740278B (en) Method and apparatus for graphics processing
KR20170031480A (en) Apparatus and Method of rendering
WO2016163020A1 (en) Frame interpolation device, frame interpolation method and frame interpolation program
TW201842775A (en) Systems and methods for deferred post-processes in video encoding
TWI566205B (en) Method for approximating motion blur in rendered frame from within graphic driver
JPWO2014171066A1 (en) 3D image display system, 3D image display system server, and 3D image display method
CN111918099A (en) Video processing method and device, electronic equipment and storage medium
CN109859328B (en) Scene switching method, device, equipment and medium
US9767602B2 (en) Techniques for reduced pixel shading

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15888512

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15888512

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP